宗泽逝世后，宋廷以杜充为东京留守，岳飞仍以统制隶其麾下。

宋建炎三年（1129），金左副元帅完颜宗翰举军南侵，杜充弃开封南逃建康（今江苏南京）。岳飞力谏不可，亦随之南下，充江、淮宣抚使司右军统制。未几，金军统帅完颜宗弼（兀术）率兵直插江南，杜充竟紧闭城门不行御敌之事。直至金军自马家渡渡江，兵抵建康城下时，杜充方令诸将出击，独岳飞顽强抗击，而他将皆溃败而逃。建康陷落，杜充逃奔真州（治今江苏仪征），叛宋降金。所隶部将多溃散劫掠，唯岳飞军秋毫无犯。完颜宗弼兵进杭州，岳飞领兵攻击金军，接连获捷。又招集散兵游勇，整饬所部，转战于广德军（今安徽广德）等地。建炎四年，岳飞率军屯驻宜兴（今属江苏）。完颜宗弼于临安府（今浙江杭州）、越州（治今浙江绍兴）、明州（治今浙江宁波）等地“搜山检海”之后，率军北撤，再攻常州（今属江苏）。岳飞与金军四战皆胜，又尾袭金军于镇江（今属江苏）之东；又战于清水亭，再报捷，使金军横尸15里。此后，岳飞数次击败金军，收复建康，遂受任通、泰镇抚使兼知泰州，屯兵驻扎于江北泰州（今属江苏）。不久，金军进攻楚州（治今江苏淮安），宋帝赵构令御营前军统制张浚领兵救援，张俊推辞，又改令岳飞出兵，另以殿前都指挥使刘光世领兵援应。岳飞率所部赴援至承州（治今江苏高邮），与金军三战三捷，俘虏金军将校70余人。然而刘光世等却畏敌不敢进兵，致使岳飞所部孤军奋战，与金军鏖战数日后，终因寡不敌众，被迫退兵江南，楚州失守。宋帝又令岳飞回师驻守通州（治今江苏南通）、泰州，且称能守则守，不可则掩护该地百姓渡江。岳飞认为泰州无险可守，便放弃拒守，率领军民渡江。然而宋廷却以泰州失守，令岳飞停职待罪。