兄弟几个中，曾国藩最偏爱的，就是九弟曾国荃了，花费心血也最多。曾国藩最担心国荃的急躁脾气，几乎每次给曾国荃写信，都要告诫他不要冒进，要稳扎稳打，步步为营。对于大他十三岁的家兄，曾国荃当然非常尊敬，曾国荃统领“吉”字营时，曾在军营中手书一联，挂于帐中：打仗不慌不忙，先求稳当，次求变化；
办事无声无息，既要jīng到，又要简捷。
曾国藩还写过一首《忆弟诗》送给曾国荃，这诗曾在湘军中广为流传：无端绕室思茫茫，明月当天万瓦霜。
可恨良宵空兀坐，遥怜诸弟在何方？
纷纷书帙谁能展，艳艳灯花有底忙？
出户独吟聊妄想，孤云断处是家乡。
每一次写信，曾国藩总是不厌其烦，细致无比。读曾国藩的信函，可以感觉到的是，无论什么时候，曾国藩的气脉都非常顺畅，仿佛这些信函不是写自剑拔弩张的军中大帐，而是置身于恬静安宁的乡野古舍。当然，在家书中，曾国藩也流露出他的迷茫和痛苦，告知家人一些棘手的事情，比如他身患癣疮所遭遇的折磨——这种皮肤病自曾国藩三十岁时感染后，一直没能见好，曾国藩整天感到瘙痒，尤其是到了夜晚，更是奇痒难耐，无法入睡。曾国藩每到一地，就遍寻名医，但几乎所有中医对这种奇怪的皮肤病都束手无策。在信中，曾国藩经常向他的亲人们叙述自己患病的痛苦和无奈，排遣郁闷，也寻找慰藉。曾国藩就是这样心无旁骛地写着家信。家信对于曾国藩来说，就像是每天必需的修身功课，让曾国藩在肃杀冰冷的战争岁月里，感受到来自老家的温暖，也让他冶炼安详凝重的静气。
进军皖南，是朝廷的旨意，刚刚就任两江总督的曾国藩自然不好违背。因为江南大营溃败，金陵附近清军势力不再，朝廷想让曾国藩领军东援，继续给金陵施压。曾国藩也知道孤军深入的危险，移师祁门，在很大程度上，曾国藩只想做一个姿势给朝廷看。此次屯兵祁门，也是跟胡林翼商量过的。之所以把大营选择在祁门，主要出于多重考虑，一是湘军的钱粮供给大都来自江西，驻军祁门，可以保证江西的安全，确保饷源的供给；二是根据事态发展的情况，可以随时从皖南东进浙江，攻克杭州、湖州，在南部，对金陵形成包围；三是可以兼顾安庆那边的战局，如果时机不成熟，就掉头回安庆城下。在曾国藩心目中，真正重要的，不是迅速进驻浙江，杀到金陵城下，而是步步为营，把长江沿岸的各个城市，逐一收复，稳扎稳打，然后由西向东推进，直bī金陵城下。在曾国藩看来，安庆的位置太重要了，它就像是太平天国长江沿岸的一个桥头堡，如果这个桥头堡占领了，大势就会逆转，胜利的天平也就会倾斜。曾国藩率领人马到达祁门之后，太平天国立即有了激烈反应，调集了李世贤部和李秀成部，全力堵截湘军的进攻路线。这样，一直以来富庶宁静的皖南，不可避免地成为双方厮杀的战场。那段时间里，大大小小发生在皖南的战役，竟达百余次之多。由此可见战争的频繁和惨烈。
徽州的战斗差一点让曾国藩身败名裂。这个时候，曾国藩的主力部队一部分在安庆城下，一部分在江西境内，战线拉得过长。一万多人进入徽州后，一下子掉入太平军的包围圈中——当时，在皖南的东北面，由太平军李秀成据守；在南面，则是太平军李世贤部；在西北，太平军英王陈玉成的大军一直在长江沿岸，总兵力在五万左右。置身这样的局面，无疑岌岌可危。湘军在徽州的崇山峻岭中一再受阻，通向浙江的道路无法打开。这当中，最严酷的战争是徽州府的失陷。1860年10月，太平军两路夹击，一路从北到南，从宁国方向杀向祁门；另一路则由南至北，从景德镇方向杀来。从宁国方向杀来的太平军连续攻克旌德、绩溪，兵临徽州府城下。曾国藩下令徽州府的将领李元度坚守不出，李元度违背命令，轻易出城，结果被打得大败。徽州府失守，李元度无脸见曾国藩，南下逃走。曾国藩勃然大怒，要将李元度军法治罪，李鸿章等一帮幕僚苦苦相劝。为此，曾国藩还跟李鸿章翻了脸，致使李鸿章后来出走南昌。
危机之时，一件意想不到的事情发生了——第二次鸦片战争爆发，英法联军侵犯天津、北京，击败僧格林沁的军队。咸丰只好带着皇妃、皇太子及亲信大臣肃顺、载垣、端华等逃往热河承德避暑山庄。十万火急中，咸丰降旨，要曾国藩速派鲍超率jīng兵数千拱卫京师。接到诏书，曾国藩和胡林翼一下子慌了神，此时此刻的曾国藩正是泥菩萨过江自身难保，正指望鲍超军从江西赶往皖南救援，如果鲍超军此时转赴京城，皖南的战局将彻底崩溃。如果不派部队进京，曾国藩又会背上一个“抗旨”罪名，同样也承担不起。情急之下，曾国藩赶忙召集幕僚商议，李鸿章的一个建议解了燃眉之急，那就是采取“拖”的方式——派人送信给朝廷，堂皇地建议：鲍超人地生疏，断不能去，是否由曾国藩和胡林翼二人中酌派一人进京，这一招，明显的是给朝廷出难题，因为朝廷最忌讳手握重兵的“节度使”进京。这样，朝廷当然不同意，还会下诏来调人。这样，信在路上一来一往，就会占用很长时间——也就达到了争取时间、调集人马的作用。这一招果然有效——不久，京城的事态得到了有效缓解，曾国藩接到朝廷新旨：清廷与八国联军已议和，鲍超军不用北上。
一个危机躲过去了，另一个危险接踵而至。1860年12月，太平天国忠王李秀成部由羊栈岭进山，攻克黟县，距祁门湘军大营仅有六十里。此时此刻，祁门已是一座空城，除了大营内的一些亲兵之外，其他湘军全距祁门很远，曾国藩想调集部队回援已不可能。曾国藩长叹一声，准备原地等死。那天晚上，曾国藩努力克制自己的情绪，将亲兵全打发到内室之外，一个人在灯下安静地写自己的遗嘱，让人连夜送往湖南老家。天亮之时，一个好消息传来，湘军鲍超部和张运兰部昼夜行军，赶到祁门附近，全力抵挡李秀成部的进攻。由于李秀成不知道曾国藩的大本营在祁门，没有全力进军祁门，部队退出了羊栈岭，绕道进了浙江。
虽然皖南的形势得到了缓解，危机并没有解除。不久，太平军又先后兵分两路进军祁门，这一次，是太平天国主将陈玉成亲自率领人马。形势变得异常紧急：在北面，太平军攻到了仅离祁门二十里的地方；在南面，太平军李世贤部攻克景德镇，皖南镇总兵陈大富战死；在东面，李秀成部也从浙江境内掉转方向，再次向徽州发起攻击。曾国藩又一次陷入了包围之中。1861年4月，曾国藩由祁门赴休宁，调集徽州境内的各军进攻徽州府，以期打开通往浙江之路，徽州府的太平军乘夜出城偷袭，湘军大败溃散，太平军乘胜追击，将曾国藩围困在休宁。高度危机之时，曾国藩只好坐在大帐之中，再次给儿子纪泽、纪鸿写信。从这封信中，我们看不到慌乱，却能感受到事态的危急；还可以管窥曾国藩的真实思想——很明显，这已算是一封遗书了：接到你们二月二十三日来信，知道家中兄弟五房都很平安，心中很安慰。我在初三日到达安徽休宁县，就听到景德镇失守的消息。初四日所写的家书，托你们九叔曾国荃寄回湖南老家，已经讲到此地的局势十分危急，恐怕难以支持下去。但还想到可以qiáng攻徽州，如果得手，还是一条生路。初五日qiáng攻徽州，qiáng中营和湘前营在西门受到一次挫败；十二日再攻，未能引诱敌人出城一战；当夜二更天，敌人偷偷出城打劫营寨村庄，qiáng中营和湘前营大败。……目前的局势更加紧急，四面都被阻塞，外面的接济已断绝。经过这次大败，军心受到很大的震动。我所盼望的是左宗棠的军队可以打败景德镇和乐平的敌人，鲍超的军队能从江西湖口迅速来救援，事情或许可能有转机，不然的话，这里就不堪设想了。