接连传来的败讯，令曾国藩恼怒不已。由于曾国藩的湘军建军之初，胜少败多，甚至使他投水自杀，根据自己的经验，他认为刚刚建立的楚军也必然会有同样的经历，一定会有许多败仗，因此，即使楚军获得若干胜利，依然是不足恃的，到了这种危机时刻，能够自立就不错了。然而，实际情况却并不是这样。
　　曾国藩十一月十八日（12月29日）的家书中说：“自十一月来，风波迭起，初四日建德失守，十二日浮梁失守，十三日饶州失守，十五日江湾营盘徽防兵一千二百人失陷，十六日尚溪口营盘徽防兵二千余人失陷，十七日贼再破羊栈岭而入，实属万分危急。幸十七日接左公信，浮梁之贼，经十三、四日两战，竟于十五夜遁去。十八早接凯章信，已将羊栈之贼击败，得以化险为平。”

　　曾国藩十一月二十四日（1861年1月4日）在家书中又说：“此间风波尚未平息。左季翁驻守景德镇，于十三日克复浮梁县，十四日又获胜仗。于是余与江西文报之路始通。老营派唐义训等三千人于十七日克复建德县。于是余与安庆文报之路始通。”
　　二十三日(1月3日)，黄文金集合湖口、彭泽、鄱阳、建德四、五万人分五路发动进攻，直逼景德镇，企图“两路夹攻左军”。左宗棠分兵守卫婺源、浮梁，自率楚军主力在景德镇正面迎敌。第二天，经过反复激战，将黄文金击退，“寇大败反奔，蹙之河滨，坠水毙以千计”。于是，黄文金退往鄱阳、建德，但是，他经过休整之后又卷土重来，“复图上犯”。刚刚缓解了几天，形势又紧张起来。

　　这时，曾国藩调鲍超赶来增援，但因“会天大雨雪”，无法开战，鲍、左两军与黄文金遥遥相持。
　　十一月二十八日（1月8日），曾国藩向清廷奏报了左宗棠军攻克德兴婺源的经过，并且说：“自此股剿败后，即有池州大股，扑陷建德、直犯浮梁景德镇，亦惟左宗棠一军独当其常。左宗棠初立新军，骤当大敌。昼而跃马入阵，暮而治事达旦。实属勤劳异常，惟系襄办京堂大员，应如何优擢奖叙之处，出自圣裁！”于是，左宗棠“得旨以三品京堂候补”。

　　咸丰十一年正月，黄文金在鲍超军营对岸筑垒，“绵延二十里之遥”。正月初九（2月18日），太平军分三路进攻，按照事先由左宗棠制定的对策，鲍超率霆军出迎，而楚军负责保护鲍军的后路，并派出一支人马埋伏在河岸边，防备敌军包抄。就在这时，太平军果然乘虚前来偷袭鲍超的营垒，“楚军力扼之，寇不得济”。鲍超没有了后顾之忧，挥军纵击，鏖战二时之久，“大破之，毙寇凡四千人”，黄文金也受了重伤。接着，鲍左两军合进，太平军分别退往青阳、彭泽。

　　事后，曾国藩在奏折中叙述这一仗的战况：“逆首黄文金为著名枭悍之寇，自扑陷建德、浮梁等县。其时，臣在祁门，三面皆贼，仅留景德镇一线之路以通接济。该逆欲得甘心。赖左宗棠之谋，鲍超之勇，以守则固，以战则胜，乃得大挫凶锋，化险为夷。”
　　曾国藩的祁门大营终于逃过一劫，可以舒一口气了。
　　此时，李秀成率部进攻建昌府城，陈玉成则率三万人马直逼安庆，并向西攻克英山，威胁蕲黄，向北又占领德安。江北形势吃紧，曾国藩将鲍超所部抽出，支援江北，这样，南岸的防务，就全靠楚军了。
　　黄文金撤走之后，太平军另一支人马侍王李世贤又开始了进攻。
　　李世贤是李秀成的堂弟，也是太平天国后期的名将。他曾经在三河之役大破湘军，将身经六百余战的湘军骁将李续宾和曾国藩的六弟曾国华击毙，威名大震；后来又击破清军江南大营，挟得胜之威，挺进江西。
　　二月初一（1861年3月11日），李世贤攻破婺源，从清华街威胁浮梁、景德镇，并进入乐平、鄱阳一带，准备包围楚军。左宗棠将人马一分为三，派王开琳、罗近秋带一队赴清华街，自领其余人马趋婺源。就在半路上，听说李世贤已经全部由中云进入乐平，立即改道柳家湾拦截，将敌击溃。由于担心景德镇空虚，便立即回军景镇。
　　二月二十三日(4月2日)，曾国藩在给曾国荃的信中说；“二十一二日两信言贼若扑安庆官军之背，弟坚守七日，即派军渡江北援云云。顷查贼之大股环聚乐平、饶州一带，恐非左军所能了，鲍军须击退饶乐一股而后祁休三万余人乃有粮路”，按照曾国藩的估计，左宗棠的楚军兵力太单，是对付不了这么强大的敌军的。
　　曾国藩此前在二月十五日(3月25日)的家书中说：“左军分八营在甲路者，以王开来、王开琳为主。十二日贼众围营，十二夜三更挫溃，退至黄港、景镇一带，不知与左公自带四营会合后尚能成军否？兹将王开来与梅村之信抄寄一览，弟可转呈润帅阅也。现调陈余庵（大富）赴景镇，又调鲍公援景镇，不知左公能支持十日八日否？”
　　如果曾国藩这封信所说的情况属实，楚军遭到重创，就此不能成军，那么，左宗棠也就只好结束襄办曾国藩军务的差事，回湘阴种田，以后的晚清史上还有没有这个人，恐怕也就很难说了。然而实际情况并非如此，王开琳等人当晚率队出击中了埋伏，发现情况不对，立即借夜色退回了景德镇，此战阵亡五十人，其中包括营官陈南明，另有上百人负伤。

　　曾国藩在二月二十四日(4月3日)的家书中作了更正：“左军分出八营在甲路地方小挫，退扎景镇。贼幸未跟踪追犯，左公得以整顿数日，锐气尚未大减。”
　　这时，曾国藩调总兵陈大富率四千人移防景镇。于是，左宗棠率部前往鄱阳、乐平，并在砮丹街击败守敌。这时的战场形势是极其严峻的。
　　二月二十九日（4月4日），曾国藩在给曾国荃的信中说：“弟欲余移住江滨，余久有此意。此时伪侍王大股十余万麇集于乐平、饶州，不特祁门之粮路接济已断，即景镇亦无粮路，余与左公俱在围困之中。祁、休等处军心方欲动摇，余岂可出岭独处乐地？”这时候，曾国藩的大营粮路已断，军心动摇，处于极度危险的境地。左宗棠也被敌军围困，同样危险，平日里祁门倚为粮路的景德镇，此时自己的粮草供应也被切断了。

　　接着，李世贤进攻景德镇，一击而下，守军四散溃逃，总兵陈大富负伤后投水身死。陈大富的部队不是湘军，而是安徽防军，此时曾国藩已总督两江，节制江苏、江西、安徽三省。在所有安徽的绿营中，陈大富是佼佼者，曾国藩曾对他寄予厚望，却没想到此战他的四千人马竟然不堪一击。
　　这样一来，不仅祁门被围，就连楚军也被抄了后路，形势更加险恶，左宗棠只好退保乐平。李世贤占据景德镇之后，开始不断袭击祁门、乐平两地。
　　曾国藩三月初四日（4月13日）的家书中说：“闻景德镇于二月三十日失守，陈一军溃散，左京堂亦被围困，不知能守住营盘否？景镇既失，祁、黟、休三县之米粮接济已断。若能打开徽州，尚可通浙江米粮之路，若不能打开徽州，则四面围困，军心必涣，殊恐难支。”
　　为了解救祁门，左宗棠作出了狠狠出击，以吸引李世贤主力的决策。三月初五(4月14日)，左宗棠遣部将黄少春在桃岭埋伏，自己与太平军在马家桥交战。一个时辰以后，太平军退却。太平军首领李尚扬在桃岭山脊上指挥撤退，黄少春突然发起攻击，事出意外，太平军大乱，李尚扬丢了代表身份的舆盖，慌忙逃走，黄少春乘胜追击，斩杀三千多人。

　　第二天，李尚扬败回景德镇，李世贤听到消息，立即把祁门方向的部队全部调来助战，果然减轻了祁门的压力。
　　这时，左宗棠一直以虚实相应的方法与太平军周旋，“迭出奇兵败之”。
　　初十（4月19日），李世贤的人马越来越多，楚军预先选精兵设伏，刚刚安排好，李世贤派万人列队诱楚军出战，楚军始终坚守不出。一直到下午申时———四点钟左右，看见太平军有点松懈了，楚军的伏兵突然出击，太平军轮番应战，楚军也不断轮番出击，激战良久，太平军终于开始溃退，楚军追击二十里，杀伤一千余人。
　　曾国藩在给弟弟的家书中说：“左季翁于初六、初十两获大胜，兹将原信抄览，望即寄胡宫保一阅。鲍公初十日由湖口起行，十二日至乌石岭，十五六日当可至鲶鱼山一带，与左公渐渐通气。左、鲍相合，则余处又可转危为安，弟可放心。”