岳飞哀叹道：“是啊！为兄壮志难酬，不得平生所愿也！已经写好乞罢军职的奏折，不想再过问军中事务了。”说完就要伸手点香，白菱赶忙喊道：“霖儿，赶紧过来拜见爹爹！”“哎！”岳霖答应一声，走到岳飞正面，堆金山，倒玉柱一般给岳飞叩头，口中喊道：“霖儿见过爹爹，愿爹爹身体安康，福寿延年！”说完，一连叩了三个响头。
岳飞再看岳霖，嗨！身材虽然有些瘦弱，脸型却像从自己脸上扒下来一样，身子骨长得结结实实，眉清目朗，两耳垂轮，既有自己一样的敦实，又有白菱一样的清秀。岳飞一把拉起岳霖，道：“霖儿！我的好霖儿！爹爹让你和娘吃苦了！”说完，岳飞将岳霖揽入怀中。岳霖也非常乖巧，任由爹爹抱住自己，脸贴着脸，抚摸自己的后脑勺，一种从未有过的温暖传遍全身。
一旁的白菱眼泪如断了线的珍珠一样，劈哩叭啦往下掉，但脸上始终洋溢着幸福的微笑。接着，她对岳霖道：“霖儿别再缠着爹爹了，爹爹还没有给奶奶上香呢！”“嗯！”岳霖答道。
这时，岳飞才想起自己还没有给娘亲上香叩头，遂松开岳霖，取过三支丹香，用媒子点着后，对着娘亲的坟头恭恭敬敬地拜了三拜，口中不住地念叨：“娘啊！飞儿回来看您来了！飞儿不孝，没能为您守孝三年，确因前线战事吃紧，不得不奉诏离开！这次飞儿回来守制，打算一直守候在您身边。”
祷告一毕，岳飞将手中的丹香插在香炉里，退后三步，撩衣跪倒，以头伏地，规规矩矩给娘亲叩了三个响头。
白菱过来将岳飞扶起，对霖儿道：“霖儿，你去山前玩耍一会儿，娘跟爹爹说会儿话。”岳霖乖巧地离开，白菱让岳飞到茅舍中歇息一会儿，边走边问道：“岳哥哥缘何写了乞罢军职的折子？难道朝廷又有变故？”
见白菱问起，岳飞一边走，一边哀叹道：“唉！当今圣上，圣意不坚，狐疑不定，飞恐难伸展大志耶！”接着，岳飞把高宗如何诏见自己，皇上如何将刘光世军交给自己节制，张浚、秦桧如何阻挠，张浚如何讥讽自己等等，告诉白菱。
白菱听后，劝讲道：“岳哥哥文韬武略不逊淮阴侯，可大志难展，甚为可惜，菱妹为岳哥哥深表惋惜。佞臣作祟，岳哥哥还是应该多作隐忍，不要性情过于刚烈，这样有伤君臣之谊。若得圣上御札，还是以江山社稷为重。”
岳飞知道白菱的话不无道理，可心头的这口气就是出不来，气咻咻地说道：“这次无论如何也要为娘亲守制期满！”白菱说道：“既然岳哥哥在娘亲坟前守制，菱妹就留下来伺候岳哥哥！”
“不可！在娘亲坟前守制，怎可有女眷陪伴？菱妹与霖儿早早下山，回归太湖，等娘亲守制届满，岳哥哥定当将菱妹与霖儿接回！”岳飞言道。白菱无奈，只好领霖儿下山，回归岘空岛。当岳飞二次下得庐山后，金人再度撕毁绍兴和议，岳飞奉命领兵四伐中原，直至十二道金牌召回，也没有实现接回岳霖母子的誓言，岳霖也因此躲过一劫，没有遭到朝廷的充军发配，这是后话暂且不表。
高宗赵构得知岳飞在没有御批的情况下，自行乞罢军职，非常震惊和气愤。要说第一次岳母去世，为了给娘亲守制，邓琮三诏而不起，高宗赵构虽然震惊，但不气愤，因为，毕竟身为人子，以尽人伦，此为孝子之道，可以理解。而此次仅仅因为没有将刘光世行营左护军划拨给他，他就撂挑子，这明摆着是伸手要兵权，桀骜不驯，这样的臣子将来如何驾驭？再加上秦桧火上浇油，廷报说：“岳飞乞罢，部将称病，不理军务；部曲汹汹，生异语。”高宗赵构对张浚所说“功盖天下，威略震主”的话不疑有他。
尽管宋高宗很气愤，但是，他还是派张宗元到鄂州军中做宣抚判官，并带去诏令命李若虚、王贵前往庐山请岳飞回到军中，还敦促鄂州将士联名写信让李若虚带给岳飞。李若虚与王贵到了庐山，一连苦劝岳飞六日，岳飞方才与李若虚回到鄂州，一场君臣不快暂且烟消云散，绍兴七年十月，岳飞二度见到高宗赵构后，嫌隙进一步加深。
按下岳飞回归鄂州暂且不说，且说张浚奏请高宗，将刘光世部将王德任命为左护军都统制，郦琼为副都统制，吕祉以兵部尚书、都督府参知军事随军节制。
论军中资历，郦琼早于王德从入军中，早年随老帅宗泽征战，战功也多于王德。但是，王德善于溜须拍马，见风使舵，尤其对上司刘光世和老官长张浚，更是竭尽阿谀奉承之能事，深得张浚喜爱，故而，张浚偏向王德，保荐王德为都统制，郦琼对此不服。
绍兴七年三月，张浚命王德率八千人回驻健康，吕祉、郦琼领四万余人驻守淮西。郦琼心中忿忿不平，杀死吕祉，裹挟、鼓噪四万多兵马、百姓六七万人投靠伪齐，后世称之为：淮西军变。
张浚因用人不当，终于招致淮西军变，张浚因此引咎辞相。岳飞得到兵变的消息，立即上疏表示愿率军进屯淮甸，拱卫建康行在。赵构只让岳飞到江州驻扎，若因情势需要，随时候听。
郦琼投靠伪齐后，刘豫大喜过望，亲自将郦琼迎进自己的内庭，并授郦琼为靖难军节度使，知拱州。并就南宋之势相问，郦琼答曰：“江南军势怯弱，皆败亡之余，又无良帅，何以御我?颇闻张浚当国用事，志大才疏，刚愎自用；秦桧风头正劲，不过老儒也，兢兢自守，不足为惧。”刘豫欣喜。
调防江州后，岳飞抛开心中的不快，整顿军马，了解军情。这一日，岳飞在军中翻阅最新战报，一行文字吸引了他的注意，曰：“金将粘罕、挞懒喜欢刘豫，金将兀术讨厌刘豫。”岳飞心有所动，何不利用这二人嫌隙，破坏他们的关系，削弱金人力量。
功夫不负有心人，几天后，岳云的踏白军抓获一名金人的细作，送到岳飞这里来。岳飞略加思考后，心中暗道：何不借细作的嘴巴用一用呢！想到这，他让岳云将细作押了进来，见了细作，岳飞屏退左右，告诉岳云百步之内不得有人。
岳飞突然对细作怪罪道：“你不是探马张斌吗？前几天，我派你到齐王刘豫那里去，约刘豫和我一起把四太子金兀术诱骗来杀死，你却一去不回。”
顿了一顿，岳飞提高嗓门道：“我又派别人到刘豫那里去约定这事。刘豫已答应联合，今年冬天，我们以打过长江为名，引诱四太子到清河，围歼他的人马，活捉四太子。我问你，这等计谋，本节使如此信任你，你却带着我的书信，竟敢不到刘豫那里去，反而往四太子那里去，这是为何？如实答来！”
细作被岳飞问得云山雾罩，一头雾水，虽然迷乱，但头脑立即反应过来，心中暗想：“俺是四太子派来探听军情的细作，哪受过岳飞的指派？估计俺长得像那个派出去的张斌，岳飞一定是认错人了。”
细作心中盘算一遍：“自己在岳飞手里，若不承认自己是张斌，小命玩完，干脆来个借坡下驴，保命要紧！”
想到这儿，细作扑通跪下道：“小的张斌不敢忘了将军的重托，只是在前往刘豫军中时，被金人盯梢，小的不得已才与金人兜圈，假装去金国，打消金人细作的疑虑，然后再去刘将军的营中，不想，耽误了时日，望岳将军饶恕小的罪责！”
岳飞似乎很认真地审视了细作一番，转身走到书案前，笔走龙蛇，“刷刷刷”写好一封信，迅速装在蜡丸里。他站起身子，对细作说：“给你一次将功补过的机会，把这信送给刘豫，一定不能外泄，切不可耽误时日。为了不丢失密信，只好委屈你受点皮肉之苦啦！”说完，他唤来亲信，在间谍大腿上割了个口子，将蜡信塞进去藏好，然后将伤口缝合，涂上止血药包裹上，命他快去快回。
细作拿到密信，如获至宝，根本顾得腿上伤痛，马上跑回去将密信面呈金兀术。金兀术打开一看，咬牙切齿道：“好个刘贼！你这个吃里扒外的东西。金国册封你为齐王，享中原之地；俺金兀术对你也不薄，时常出兵相援，你竟敢跟岳飞暗通曲款，明着拥护金人，实则藏蛇蝎之心，与岳飞暗自联络，想诱骗本王。若非本王的心腹细作得到这封密信，本王岂不人头落地！”金兀术越想越生气，马上赶往中京，向新皇完颜宜一五一十地诉说。
金兀术对金熙宗言道：“一进中原时，为了金宋混同，扶植张邦昌、刘豫，建立大楚、大齐以为缓冲。如今赵宋避于江南，中原之地归附金国有年，无需屯养刘豫。更何况，宋人素来奸诈，金来归金，宋来归宋；赵宋刚刚打败刘麟、刘猊、刘复、孔彦舟等人，取得大胜，郦琼没有理由背叛赵宋，归附刘豫。臣以为：郦琼一定是诈降，是岳飞派出的内应。”
金熙宗听后觉得颇有道理，以攻打南宋为名，让粘罕、挞懒、刘豫等人入朝，再议伐宋之事。粘罕坚执以为可伐。兀术曰：“江南卑湿，今士马困惫，粮储未丰足，恐无成功。”粘罕曰：“都监务偷安尔！”
金熙宗询问刘豫，刘豫欣然同意粘罕的意见，趁江水日下，进攻江南，并以立其子刘麟为大齐太子来试探熙宗。金熙宗一听，刘豫果然如金兀术截获密信里说的一样，主张攻宋，诱使金兀术至江边。
金熙宗不动声色，委以挞懒为行台尚书兼领右丞相，解除军权，明升暗降，继续回到南京主和议之事。与宗弼（金兀术）、宗干合力，以叛逆罪名诛宗磐、宗隽，然后命金兀术以清剿郦琼诈降之名，一举将刘豫父子带回中京，废刘豫为蜀王，刘麟为庶人。
至此，一场折腾八年之久的伪齐闹剧终于收场，随后，金熙宗命刘豫迁到临潢府，不得回归中原。
得知伪齐被废，宋高宗派遣王伦为迎奉梓宫使到达开封，求挞懒索还河南、陕西之地。挞懒对王伦道：“好报江南，既道途无壅，和议自此平达。”挞懒的意思是：你告诉江南的赵构，金宋交往的道路没有阻塞，只要和议，没有什么达不成的。
由于淮西军变给高宗带来的打击很大，沸沸扬扬的抗金热情自此懈怠，而秦桧和议之声再度响起，高宗又转而向着秦桧和议之声。
金熙宗给挞懒的和议底线是划长江而治；宋高宗心有不甘，认为和议的条件必须划淮水而治。九、十月间，金人觉得宋高宗的态度强硬，放出口风：要放归钦宗的太子赵谌，以威胁宋高宗的皇位。
宋高宗对此表示担忧，再次诏见岳飞，对恢复中原能有多少胜算进行询问。在入觐赵构时，岳飞言道：“金人废除伪齐，正是北伐中原的大好时机。此前刘豫虽为金狗，却是汉人，无知百姓皆以汉人统领而无奴役之感，现伪齐已去，自断一臂，金人宋人矛盾尖锐，金人伐我，举步维艰。”
赵构听了异常兴奋，正要褒奖岳飞，却听岳飞言道：“近谍报，虏酋以丙午元子（钦宗太子赵谌，因丙午年确立的太子，故称丙午元子）入京阙，为朝廷计，莫若正资宗之名，则虏谋沮矣。国无储君，国本空虚，圣上当立其养子赵瑗（即后来的宋孝宗）为储君，挫败金人争嗣乱政的阴谋。”
然而，赵构听后，脸上闪过一丝不悦，曰：“卿言虽忠，然握重兵于外，此事非卿所当预也。”高宗说的话虽重，但岳飞抱着对高宗的一片忠心，道：“臣子一体，也不当顾虑形迹。”说完，自行离开赵构的寝阁。
接着薛弼入见宋高宗，赵构跟他说起刚才岳飞建议立储之事，又说：“飞意似不悦，卿自以意开谕之。”就是让薛弼去安慰开导一下岳飞。
这真是：患得患失志不坚，瞻前顾后情难怯；只因膝下无庶子，非所宜言惹祸根。设计谋岳飞巧破豫伪齐良马对君臣廷前生嫌隙