端平三年二月，蒙古军队侵入蕲、黄、广等地。余玠应蕲州守臣的征召，协助组织军民守城，配合宋军援兵击退蒙古军。凭此战功，他补任进义副尉。余玠在赵葵领导下率部增援安丰军守将杜杲，击溃了蒙古军，使淮右得以保全。朝廷论功行赏，余玠进官三级，被任命为知招信军兼淮东制置司参议官，升任了工部郎官。
嘉熙二年九月，蒙古大帅察罕进攻滁州。余玠率精兵前往支援，大获全胜。次年，余玠带着人马长途奔袭，突击开封。当时蒙古人在开封大造战船，为后续从水陆强攻江南做准备。然而，令蒙古人始料未及的是，余玠的部队突然出现在开封，一把大火将开封的造船厂烧成灰烬。蒙古人集结军队准备切断余玠后路，可余玠却没有后撤，反而率部杀向归德府。等蒙古人赶到归德府时，余玠已带人攻破宿州了。
之后，余玠率部退回南宋境内。只付出了极小的损失，却将敌方阵地搅得天翻地覆。余玠的打法将自认为战无不胜的蒙古人打得灰头土脸，余玠因此声名远播。察罕再出兵安丰军，余玠率舟师进击。激战四十余日，使蒙古军溃退。凭此军功他被拜大理少卿，升淮东制置副使。
蒙古大汗窝阔台病死，内部纷争汗位，无暇全面部署对宋大规模战争，宋朝得以暂时休整和调整防御部署。赵昀命在淮东屡立战功的的余玠为兵部侍郎、四川制置使兼知重庆府，全面负责四川防务。
他到任之后，大力改革弊政，遴选郡守县宰，在自己的帅府旁修筑招贤馆，陈设完全同主帅的住所一样，下令:"集众思广忠益，是诸葛孔明用来治理蜀地的办法。有策谋想告诉我的人，在近处就径直来公府，在远处可自行到所在的郡府，官府要以礼相送。高爵重赏，朝廷也会不吝惜以此为酬报的。"士人来到后，余玠不厌其烦以礼接待。来者都得到余玠的真诚欢迎，建议有可采纳的，余玠按照献策人的才能予以任用，如果不能采用，也赠厚礼对其表示感谢。
播州冉琎、冉璞兄弟俩，有文才武略，隐居在少数民族区域，之前有几任外任的将帅征召，他们坚决不肯就职。听说余玠贤明，相互商量道:"这样，可以与他谈谈。"于是前往帅府。余玠素闻冉氏兄弟之名，看到名片请冉氏兄弟进府邸并立即会见他们，施以平等的礼节，给予他们在宾馆休憩的待遇。冉氏兄弟以平常的心态接受。过了数月，也没有谈什么建议。
余玠准备向他们问候请教，于是为他们设宴。余玠亲自主持宴会。酒喝到畅快的时候，在座的来客纷纷争着讲自己策谋的高明，而冉氏兄弟只是饮酒用餐而已。余玠以含蓄的话语引导他们，他们还是默默无言。余玠心想：“他们不过是在看我将怎样礼待有识之士罢了。"第二天，他让二人换住另一处宾馆，并派人天天在暗
中观察他们的作为。派去的人发现冉氏兄弟终日不讲话，只是面对面蹲着，用白垩土在地上画些山川城池的图形，起身之后，就涂抹掉。
余玠听说后，也觉得莫名其妙。又隔了十多天，才见他兄弟进谒，并请求屏退左右。余玠立即答应了，冉琏于是献计道：“为今日西蜀筹划，莫过于迁徙合州城。”余玠不禁起身，说道：“我也想到此着，但是觉得无处可迁。”冉琏又说道：“蜀口形胜之地，莫过于钓鱼山。请迁城到这里，择人驻守，积粮以待，可胜过十万雄师，巴、蜀自然固若金汤。”
余玠大喜道：“我知道先生不是一般人，现在得了这样的好计策，我不敢掠为己美，自当上报朝廷，即日照行。”冉琏兄弟退下。余玠立刻上表，照议陈请，乞求授二人官职。朝廷下诏命冉琏为承事郎，暂时发去合州。冉璞为承务郎，权通判州事。徙城的事情，全部委托给二人。府里听说此事，顿时大哗。
余玠忿然大怒，说道：“此城如果建成，蜀地将赖以保全，否则余玠独自领罪，与诸君无关。”其他人这才不敢再说。于是他建筑了青居、大获、钓鱼、云顶等十余城，并迁郡治于山城。调整兵力部署，移金州戍军于大获；移沔州戍军于青居；移兴元戍军于合州，共同防守内水。移利州戍军于云顶，以备外水。诸城依山为垒，据险设防，屯兵储粮，训练士卒。经数年建设，逐步建成以重庆为中心，以堡寨控扼江河、要隘的纵深防御体系，边防稍安。