为了回援金国太子完颜宜，金兀术不得不放弃庐州，撤回人马，伪齐的秋季攻势随之瓦解。岳飞上书朝廷“……敌国丧，宜收复失地”的奏请，并没有得到南宋朝廷的同意，原因很简单，那就是“大圣大王”杨幺在洞庭湖越来越猖獗，队伍已经发展壮大到几十万人（当然，杨幺的人马亦兵亦民，甚至包括家属、小孩），高宗赵构认为：“湖匪为腹心害，不先去之，无以立国。”
自靖康之难以来，一个颇为强悍的大宋王朝，已经变得千疮百孔，满目疮痍。二帝被掳之后，有的州官投靠金人，有的州官携家逃遁，有的州官发生叛乱，盗匪四起，民不聊生。中原有杜叔五、李成之乱，福建路有范汝为、曹成之乱，荆湖路有孔彦舟、杨幺之乱，势大者自立为王，钟相、杨幺就是这样的混世魔王。
杨幺的人马为什么会如此迅速地壮大起来？原来，靖康之难时，钟相长子钟子昂招募一支三百人的勤王队伍，到达赵构即位的南京应天府后，初登帝位的赵构不仅将大元帅府的人马重新编制，而且为了安抚百姓，将钟子昂带领的三百人队伍随即遣散。但钟相父子看到天下已经大乱，便将原来招募的“百姓兵”团集在家，结成队伍，多置旗帜、器甲，打着“勤王”的旗号，作乱世之资。
建炎四年二月，原出身盗匪的京东西路东平府钤辖孔彦舟作乱，并杀到鼎州北面的澧州。钟相乘着地方官逃遁的机会，也发动叛乱，自立为楚王，建立了割据政权，并很快占据了洞庭湖周边的大部分州、县，包括鼎州全境的武陵、桃源、辰阳、沅江。
因为时局动荡不安，百姓为求自保，纷纷加入到钟相父子的队伍中来，钟相的地盘逐渐发展到澧州全境的澧阳、石门、安乡、慈利四县，荆南府的枝江、松滋、石首、公安和峡州宜都县，岳州华容县，辰州沅陵县，潭州的益阳、宁乡、湘阴、安化等，也尽在钟相父子的手中。
俗话说得好：卧榻之旁岂容他人鼾睡。为了抢夺地盘，盗匪出身的孔彦舟，如何能够容忍钟相父子与自己争地盘，一来二去，两军发生火并，钟相在与孔彦舟的交锋中，舟船兵甲不如孔彦舟锐利，不懂治军之法，惨遭大败，孔彦舟军俘虏并处死了钟相及其妻伊氏、长子钟子昂，然后北上投靠了伪齐。
钟相死后，澧州的余部杨太转移到辰阳县，和钟相次子钟子义一起形成了一股较大的势力。钟子义被称为“太子”，封黄诚为军师、左仆射，杨钦为军马太尉，设总寨于宝台山，杨太、夏诚、杨华、杨广、李合戎、英宣、田明、周伦、刘衡、金琮、刘诜、黄佐等十几人充当首领，因为杨太在众首领中年龄最小，遂被称为杨幺。此时，孔彦舟离去，能够称霸洞庭的只有钟子义杨幺等人，人马、地盘迅速扩张。
建炎四年六月，宋廷任命程昌寓为鼎州澧州镇抚使兼鼎州知州，担负剿匪大任。听说南宋朝廷派兵来围剿自己，钟子昂多番鼓噪、恐吓、拉拢被孔彦舟冲散的人马，集结了八万之众，伐木为船，垒土成寨，与程昌寓打起袭扰战，沿湖一带，寨栅林立，风帆栉次，锄镰并举，声威大震，由于钟子义的人马熟悉地形，善于泅渡，将程昌寓的官军打得大败。
程昌寓大败，赵构心中不悦，为了保住头上的这顶乌纱，昱年一月，程昌寓再次整顿人马前来剿灭钟子义、杨幺等人，钟子义杨幺等人瞅准季节变化，水涨入湖，水落上岸，将平庸无能的程昌寓弄得精疲力竭，最后，程昌寓不得不采用大宋最拿手的办法——招安，招降了钟子义身旁的大将杨华，钟子义的权利逐渐被架空，实际*控洞庭湖的人，就是大圣大王——杨幺。
为了剿灭湖匪，高宗赵构多次想派岳飞前往荆湖路镇压杨幺，但是，淮南路不断遭受伪齐的袭扰，赵构不得不放弃岳飞军。绍兴三年，朝廷任命王燮为荆南府潭州鼎州澧州岳州鄂州制置使，以其“神武前军”一万多人为主，共五万多人马围剿杨幺。但是，王燮的“神武前军”基本是半军半匪，剽掠杀伤，莫知其数，当地百姓莫不“愿食其肉而不可得”，所以，杨幺组织受残害的百姓，以其水军的优势，全歼统制崔增和吴全的一万水军，缴获舰船不计其数；又在陆上乘胜追击，打败王燮的“神武前军”主力，高宗赵构实在无法容忍，将程昌寓调离鼎州，王燮的“神武前军”改隶为韩世忠辖制。
绍兴四年九月，朝廷得知岳飞救援淮南西路成功后，迫不及待地要岳飞人马回驻鄂州，稍作休整后，准备开赴潭州剿灭杨幺。绍兴五年二月，岳飞从池州前往高宗赵构的“行在”平江府，岳飞第三次觐见赵构，他与赵构一起回归临安。
一路之上，赵构与岳飞同食同驻，对岳飞剿灭湖匪寄予厚望，但岳飞依然念念不忘北伐攻金，收复河东失地。他对赵构曰：乱民起，乃金之害，金兵所到之处烧、杀、*、掳，百姓无以为继，故金为疮湖匪为疥，若朝廷举旗伐金，国人将同仇敌忾，湖匪不战而散。赵构谓曰：梁山太湖为前车鉴，无金之忧矣！岳飞无言。
回到临安之后，高宗赵构除任命岳飞为两镇节度使外，还加封他为荆湖南路荆湖北路襄阳府路制置使，“神武后军”都统制，赐钱十万贯、帛五千匹，朝堂嘉许，恩宠有加。朝堂之上，赵构谓曰：杨幺匪众狡诈异常，卿以何策剿灭湖匪？岳飞答曰：兵亦何常，惟用之如何耳！今国势如此，而心腹之忧未除，岂臣子辞难时耶？（岳飞的意思是：水无常形，兵无常势，只有根据具体情况用兵，如今国难当头，湖匪既然是陛下的心腹之患，心腹之患不除，作为臣子的怎么能畏难而推辞呢？）
三月，岳飞从池州前往潭州，四月上旬到达，朝廷派右相张浚前往军中督军。到达潭州后，岳飞第一件事就是将被招安的田明、杨华请来，询问杨幺军的大致情况。田明、杨华告诉岳飞，杨幺军之所以能够打败官军，队伍能够越来越大，原因很简单——陆耕水战。所谓的陆耕水战就是：春夏水涨宋军不能出兵时，他们耕种田地，囤聚粮草，召集更多难民；秋冬水落，宋軍发动攻势时，官军陆袭则入湖，水攻则登岸，让程昌寓、王燮等人毫无办法。
不经意间，杨华告诉岳飞，杨幺意欲拜黄佐为相，被黄佐多番拒绝，这句话，不禁让岳飞根毛倒竖，虎眼圆睁，他立即向杨华询问细节，细问之下，更加坚定岳飞剿灭杨幺的决心。然后，岳飞向右相张浚建议，任命田明为衡州兵马钤辖，杨华为潭州兵马钤辖，以示朝廷反正有功，既往不咎。
入夜，岳飞再招杨华，谓曰：杨钤辖可否重返宝台山？杨华听后，当即一愣，双膝跪倒道：杨某逞岳侯恩宠，死心塌地，绝无二心，此生不复湖贼矣！岳飞立即将杨华搀扶起来，道：“杨钤辖请起！岳某非此意耳！”杨华半信半疑道：“岳侯何故？”
岳飞请杨华坐下，如此这么这么回事对杨华这般讲来，杨华听后，挺着胸脯道：“岳侯待杨华恩重如山，杨华绝无二心，只要岳侯能信得过杨华，杨华赴汤蹈火在所不辞！”岳飞哈哈大笑道：“杨钤辖多心了，此番前往宝台山，事关重大，如若信不过杨钤辖，何故有此一问？”
杨华感激涕零，双膝跪地道：“岳侯，诚人也！杨华若有异心，必遭天谴，请问岳侯，我们什么时候动身？”“兵贵神速，不可耽搁，岳某现在就随杨钤辖前往宝台山，只是到了宝台山，杨钤辖一定要记住岳某叫丘山，不要露出半点儿破绽。”岳飞言道。“岳侯请放心，您就是杨华的再生父母，即使杨华死在宝台山，也确保岳侯无恙。”杨华信誓旦旦道。说完，岳飞脱去铠甲，罩上书卷气十足的服饰，趁着夜色，随杨华一起向洞庭湖走去。
抛开岳飞杨华暂且不说，且说龙阳宝台山大寨，旗风招展，号带飘扬，人声鼎沸，舟船林立，二十八家大小头领齐聚大寨，共同商讨如何对付官军。只见大寨中间的虎皮椅上坐着一位年约二十五六岁的男子，身高在七尺开外，身着铠甲，金黄色的头盔之上飘着血红的簪缨，簪缨下一张黝黑的脸庞，透着坚强和刚毅，宽脑门、尖下巴，粗重的眉毛下，一双炯炯有神的大眼，只是双腮有些塌陷，表示他对目前的形势过于担忧，整个人显得有些憔悴，此人正是杨幺。
在杨幺身旁坐着一位年约三十五、六岁的文人，身材不高，一脸狡黠，极富智慧，此人就是杨幺的军师、左仆射黄诚；右手坐着一位武将，身高八尺，虎背熊腰，身后插着一柄五十多斤重的钢铁鱼叉，此人正是兵马太尉杨钦。依次坐在下首的是夏诚、李合戎、英宣、周伦、刘衡、金琮、刘诜、陈寓信、黄佐等二十八家聚义首领。
只听杨幺沉声问道：“各位首领，程昌寓、王燮兵败后，朝廷派遣鄂州节度使岳飞，领‘神武后军’三万多人前来剿灭我等，素闻岳鹏举武功高强，智谋过人，连金国四狼主金兀术都不是他的对手，我等应如何应对？”
素有小诸葛之称的沅陵狐周伦起身说道：“大王，兵来将挡，水来土掩。想当初程昌寓、王燮也是来势汹汹，结果还不是被我等打得落花流水，此次，岳飞前来，我们如法炮制，管叫他体面而来，落荒而去，洞庭依然是我等的洞庭，八百里烟波浩渺，唯大王放舟湖面，笑赵构那厮辱没祖宗的龟儿子。哈哈哈……”说完，笑声不绝，似乎要把大寨的顶棚掀翻。
英宣起身道：“大王，小诸葛说的没错，您就是洞庭湖上的苍龙，岂是赵构那厮可比的，大王，您就把心放在肚子里吧！”“各位头领，勇气可嘉，话说得也不错，但岳飞非寻常人可比，此人爱兵如子，用兵有方，青龙山八百破十万，还是令本王担心啊！”杨幺言道。
“大王担心的甚是。各位首领切莫低估岳飞的能力，据舍弟黄佐所言，此人上知天文，下知地理，逗引埋伏，无所不精，我们还是谨慎的好。当务之急，大王要催促船工尽快打造车轮战舰，以备不时之需。”坐在左手的黄诚起身言道。