原来北京大名府留守杜充的与张所共掌北京，常有摩擦，两虎不能共容。加上张所招抚司广收各地游兵散勇，四下流寇巨盗往往来投，北京城内一时鱼龙混杂，粮草支费巨大，杜充支持不住，拒不支付招抚司粮草，并上书朝廷，痛说招抚司之失，指其与地方分权，徒乱政令，请朝廷及早罢去招抚司。
　　本来这只是简单的权力之力，但此前张所曾上书指责朝廷留驻南京，导致河北军民俱怨，人心难受。黄潜善对张所早有不满，此次便抓住杜充所论，主张将张所的河北招抚司与傅亮的河东经制司一并裁撤。这等于全盘否定李纲新政，如果成功，则李纲必得请辞。
　　日期：2012-02-16 15:19:44
　　赵构看罢枢密院奏疏，见其中有指其“逗留不进”之语，即出手诏将傅亮所部划归东京留守宗泽节制，并令其即日渡河收复河东州县。傅亮闻诏大惊，急忙上书自陈道：“今河外皆属金人，而急促我部以乌合之众渡河，不知何地可为家计，何处可以得粮？”此书上至中书，李纲方知枢密院逼令傅亮渡河之事，当下赶到枢密院面见汪伯彦，请给傅亮宽限几日。汪伯彦早就有话等着他：“此事经黄相公奏于圣上，且圣上已出手诏明令进军，卑职恐不便更改朝令。”李纲再去找黄潜善，却被黄潜善毫不客气的顶了回来：“相公当初设置经制司时，即为渡河收复河东失地，现因河外有金兵而不敢前进，则卑职不知经制司更有何用。如相公仍欲宽待数日，却不知傅亮上任月余，到底有何进展。卑职以为，相公但应督促傅亮，不宜为其拖延。”

　　李纲闻言大怒，不与二人争吵，直接请见赵构，见面便说：“陛下圣明，前方用兵，路数不明，政府实不宜从中节制。”赵构说：“黄潜善称傅亮好为大言，逗兵不进。”李纲道：“王师屡挫，当慎于出战，以免伤损国威。傅亮赴任不足一月，军兵未练，粮草未足。立即出兵河东，恐事力不济。”赵构不屑道：“如傅亮这等人才，如今岂属难得？”李纲说：“傅亮谋略知勇，可为大将，今未尝用而轻易罢之，古之用将，恐不如此。”赵构并不愿辩解，只拿出了对付李纲的老招数：沉默不语。

　　日期：2012-02-16 16:30:31
　　李纲忧愤难当，不顾一切的大声道：“黄潜善与汪伯彦力阻傅亮，实因傅亮为臣所荐，经制司由臣所设，切责傅亮，只为使臣不安其职。臣每念及靖康大臣不和之失，凡事未尝不与二人熟议，而二人设心如此，逼迫傅亮进兵竟然不与首相关报，此举着实令臣心寒。”说到这里，仍未平息心中怒气，继续抱怨道：“臣所断之政，事后多被修改。所进机务，多未批降实行。臣为首相，而政令不行，此必有间臣者，自古君子与小人不可并立，臣请陛下明察圣断，清明朝纲。”

　　赵构仍是默然。
　　见此态度，李纲数日来积蓄的愤怒终于爆发，伏地叩首道：“陛下用臣，宜用而不疑。然臣近之所言，陛下均不能用。陛下如以臣之才力不可为相，请容臣去职。”
　　赵构这才出声说：“卿方才所争，不过细事，何出此言？”
　　李纲说：“人主之职在论相，宰相之职在荐贤。方今人才以将帅为急，不是细事。”
　　赵构假意说：“朕不忍卿为傅亮区区细事，便离朝廷。”
　　李纲说：“择人而用，宰相之本事，现不能择人任用，则臣不敢再居相位，容臣回府进逞辞职折子。”说完再三行礼，叩谢而去。

　　看着李纲走远，赵构也终于爆发，对康履怒道：“李纲孩视朕，稍无人臣之礼！”又骂：“说什么君子小人，他李纲就是贤人！黄、汪就是小人！朕信用黄、汪，朕就是昏君！”
　　日期：2012-02-16 19:13:48
　　李纲对于内侍向来不假辞色，不如黄潜善和汪伯彦那样常加笼络，所以康履早就对李纲不满，当下逢迎道：“小的早看出李纲不是宰执之才，只不敢说，前日小的送圣旨交于都堂，亲眼看见李纲竟然任意帖改圣旨。”赵构几乎不敢相信康履的话：“真有此事？”康履惶恐伏地答道：“小人不敢多言，恐被指为馋言乱政。”赵构怒道：“尽可说来！”康履便接道：“小人听说，李纲姻亲翁国彦犯法被究，李纲在朝中百般庇护，最终事败，翁国彦自杀，皆被中书按下不报。”赵构双眼盯着康履：“若果此话有半点非实，朕拿你试问！”康履道：“陛下，此事朝中共知，只陛下不知。”

　　赵构一时不知说什么才好，揉了揉太阳穴，半晌道：“找黄潜善来。”
　　日期：2012-02-16 20:22:01
　　黄潜善见赵构招见非时，知事不妙，匆匆整衣入殿，叩问已毕。赵构令坐，让康履把刚才的话又说了一遍，直问黄潜善：“此事果有果无，卿可从实说来。”
　　黄潜善脑门上立时出了一层细汗，他没有想到这一时刻来的如此快速，见赵构态度决绝，这才添油加醋的把外间所传之事说了一遍，其中真假虚实缠夹一处，大抵指李纲挟名自重，举措大而无当，负天下之望而无平天下之才，受陛下重托却一再败事，任人惟亲不能惟贤，执政以来，官民俱受其扰，一无是处。
　　赵构沉默片刻，这都是张德远说过的：“此语朕曾风闻，据卿所见，果如其言否？”黄潜善小心的选择着字句说：“陛下明断，当年渊圣皇帝对李纲信任有加，命李纲领西军精锐以解太原之围，结果大军溃散，而太原不保，时局终至不可收拾。后许翰催促种师中进兵太急，导致种师中兵败自杀，当时已有定论。李纲执政以来，百般为许翰掩饰，实为自己涂布兵败之责。此外如责张邦昌，斩宋齐，名之为公，实则无不杂以私愤，此事皆班班可考，无一虚造。余皆小事，不足为陛下道。”黄潜善故意绕过康履所说之事，因为他断定赵构必然单问此事。

　　日期：2012-02-17 10:10:05
　　赵构果然问起翁彦国一事。
　　黄潜善故作想了想，这才说：“确有此事，江宁经制使翁彦国接旨整修城池，花费巨大，有人到应天府击登闻鼓，状告他横征暴敛，民不堪扰。因翁彦国是李纲之弟李维的岳丈，所以李纲百般巧护，此事中书人人尽知，只瞒着陛下。”
　　赵构沉默半晌，说了一句：“如此看来，李纲确不能大公无私。”
　　黄潜善说：“翁彦国已病死任上，臣以为此事不宜再加深究，以全李纲之体。”
　　赵构点头，继续追问李纲有没有贴改过圣旨。
　　黄潜善对此有些紧张，毕竟他是右相，弄不好会把自己也牵连进去。这时康履站在赵构身后，正对着黄潜善，向黄潜善使了个眼色，黄潜善立时明白，便道：“臣知罪，臣只以为李纲已得陛下应允方才贴改。”这句话即坐实了李纲确实贴改圣旨，又把自己开脱了出去，实是一举两得。
　　赵构听罢，起身在殿内踱了两趟，扶案对黄潜善口谕：“速着朱胜非与张德远起草制词，明早即行下发，罢李纲为提举杭州洞霄宫，即日起程，不许辞行。”

　　黄潜善叩谢出殿，到自己阁间时仍觉心有余悸，他着实被这个年轻的皇帝在瞬间作出如此严厉的决定吓了一跳，而令朱胜非张德远起草罢相制词，实已为制词定下了基调：张德远一向忌恨李纲，而朱胜非则是张邦昌的连襟。李纲没有机会翻身了。
　　日期：2012-02-17 10:47:28
　　建炎元年的第一个中秋刚过三日，李纲被罢。罢相制词对李纲德能才绩给予全面否定，且用词空前严厉，立时传遍应天府的大街小巷。许翰见辞大惊，当即求见赵构，进言道：“李纲忠义英发，不世良臣，而遭此指责，实为政争所致。臣为李纲所荐，李纲既罢，臣亦当去职。”
　　赵构看了看许翰，半是安慰半是责备的说：“李纲荐卿是为朝廷，不是为李纲。卿为朝廷所用，非为李纲所用。”