贾似道又上疏乞求归乡，赵禥命侍从传旨挽留。大臣、侍从传圣旨挽留他的一天来四五次，有名分的中使一天来十多次，晚上就轮流睡在他的府第外守候。他被任命为太师、平章军国重事，一月三次去经筵入侍讲读，三天一上朝，去中书堂办公。赐给他府第在葛岭，让他在此养老。官吏抱着文书到他的府第让他签署，朝中大小事，全由他的门客廖莹中、堂吏翁应龙裁决，宰执不过是摆设而已。
贾似道虽然深居府中，凡是台谏弹劾、各部用人及京尹漕运等一切事情，不向他请示都不敢施行。李芾、文天祥、陈文龙、陆达、杜渊、张仲微、谢章等，稍违背他的意思就被斥责，严重的就贬去，终身不录用。正人君子，被贾似道排斥殆尽。官吏争相纳贿求得美差，那些想当统帅、监司、郡守的人，给他的贡奉不可胜计。
赵潜等争相献宝玉，陈奕甚至为了升官，拜贾似道的玉工陈振民为哥哥，一时间贪污的风气盛行。咸淳五年，贾似道又以有病为由辞官。赵禥哭着挽留他，不同意他的请求，命令他六日上朝一次，一月去经筵讲读两次。咸淳六年，又允许他入朝不行拜礼。退朝时，赵禥要起来离开御座，目送他出宫门后才坐下来。接着又允许他十日上朝一次。
贾似道每天呆在葛岭，修建楼台亭榭，娶宫女、伎女、尼姑美貌的为妾，日夜享乐。只有从前的赌友每天都来赌博，没人敢偷看他的府第。他一个小妾的哥哥来了，站在府门像是要进的样子，贾似道看见后，就绑着他投入火中。贾似道曾与群妾蹲着斗蟋蟀，与他亲近的客人开玩笑问道：“这是军国重事吗？”
贾似道酷爱宝玩，修建多宝阁，每天去玩赏一次。他听说有个玉带，就想去要，但玉带已做了殉葬品，贾似道就掘开坟取出玉带。别人有宝物，他索求不给，就加罪别人。从此，他有时几个月不上朝，赵禥去景灵宫，他也不跟从。咸淳八年，完成明堂礼，在景灵宫祭祀。
这时天降大雨，贾似道希望赵禥雨停再动身。胡贵妃的父亲胡显祖为带御器械，请皇上不要乘车，乘逍遥辇回宫。皇上问贾似道的意思，胡显祖说道：“平章已允许乘逍遥辇了。”皇上就回宫。贾似道大怒说道：“我为大礼使，陛下的举动不能事先知道，请罢我的职。”当天就出了嘉会门，皇上挽留不下，罢了胡显祖的官，流泪赶出胡贵妃为尼姑，贾似道才回来。
贾似道日益专横，怕人们议论自己，就用权术驾驭众人，他不吝惜官爵，以此笼络当时的名人，又增加太学餐钱，放宽科举考试的恩例，用小利引诱众人。于是言路断绝，贾似道也能肆意作威作福。
再说蒙古人忽必烈，早就想侵宋，只是因为阿里不哥抗命，于是他亲自督军征讨，到了昔木土的地方，双方交战了一场，阿里不哥败逃，蒙古军队追赶了五十里，敌将大多投降。
忽必烈于是返回，到了中统五年，阿里不哥自知穷蹙，不能再逃。原来他和与诸王玉龙答失及谋臣不鲁花等。
忽必烈汗赦棉了阿里不哥，怪罪不鲁花等几个人，说他导王为恶，被处以死刑。赵禥命刘秉忠为太保，参领中书省事。刘秉忠请迁都燕京，忽必烈准如所请，就在燕京缮城池，营宫室，择日迁都，并改中统五年为至元元年。又过了四年，忽必烈才命征南都元帅阿朮，与刘整等经略襄阳。
阿朮驻马在虎头山上，看着汉白河口，不禁欣然说道：“如果在白河口筑起壁垒，断绝宋军粮道，襄阳不难攻取。”于是他督兵兴役，筑城在白河口。当时知襄阳府为吕文焕，听说蒙古兵在白河口筑城，心知不妙，急忙通报其兄宣抚使吕文德。
之前忽必烈采用了刘整的计策，送给吕文德玉带，求他在襄阳城外答应建立榷场。吕文德好利贪婪，请求诸朝廷后，答应他开榷场于樊城外。于是他在鹿门山筑起土墙，对外通互市，在内筑堡壁。蒙古兵也在白鹤山设寨，控制了南北要道，还经常派遣哨襄、樊城之外，大有反客为主的情状。
吕文德弟吕文焕，知道其兄已经堕入敌计，急忙发书谏阻，可已然不及。吕文德还并没着急，等白河口筑城一事，吕文焕很是惶恐。吕文德反而谩骂道：“你不要妄言徼功，就使有了敌城，也不足虑。襄、樊城池坚深，储粟可支十年。叛贼刘整，如果敢来窥伺襄、樊，但叫你等能坚守半年。等到春水一涨，我顺流来援，看刘整如何对待？恐他就要逃走呢！”吕文焕无可奈何，只得缮城兴甲，准备固守。