个人书生气太浓，纸上谈兵的话太多了，加之赵烈文当时年纪很小（赵烈文生于1832年，此时23岁），因而对其并不十分信任。曾国藩命初到的赵烈文先参观驻扎在樟树镇的湘军水陆各营，想让他先见识一下。没想到，赵烈文一来就提了一堆意见，他居然很不客气地说：“樟树营陆军营制甚懈，军气已老，恐不足恃。”曾国藩听罢很不高兴，因为曾国藩最不待见说大话的书生。赵烈文可能也看出了曾国藩的态度。碰巧在这个时候，赵烈文的老母生病，所以就以母病为由，向曾国藩辞行，曾国藩也没怎么挽留就准许了。
就在赵烈文要走而未走的时候，传来驻樟树的湘军部队大败的消息。曾国藩开始对赵烈文刮目相看。之后赵烈文母亲病故，赵烈文回到老家守丧，一待就是五年。但曾国藩始终没有忘记这个青年，咸丰十一年的时候，曾国藩专折奏调他进入军营。此时，赵烈文才真正开始了在曾国藩门下的幕僚工作。这一年他刚满三十岁。
两年后，也就是同治二年，由于兵法对策的出色，就连在攻打南京城的曾国荃都曾多次向曾国藩索要赵烈文辅助他。赵烈文在日记写了这样一件事：“示知沅帅（曾国荃）欲烈赴其营，前面请之，昨又屡函来说，相国（曾国藩）问烈意如何。”赵烈文当时回答说：“我赋性疏拙，不谙世务，到那里恐怕对他没有多大帮助，所以还是不去为好。”曾国藩却坚持要他去，赵烈文只好以缓几天再答复为借口，告辞而出。过了两天，赵烈文还是决定不去，于是请欧阳兆熊向曾国藩转达此意。想不到第二天欧阳兆熊回话说：“曾公还是想请你去一趟。曾公还说：到金陵后，是去是留，悉听尊便，或者往返金陵和安庆两处，也无不可。”意思是赵烈文可以“身兼二职”，同时做曾家兄弟的秘书和“高参”，由此可见曾氏兄弟对赵烈文是如何器重了。
在此后一年半左右，赵烈文见证了曾国荃围困天京（今南京）的所有细节，期间也与曾国荃发生过一些不愉快，尤其在湘军大破天京城后，赵烈文眼见有些官军统领在城内肆意杀戮掠夺，十分痛心，感叹“此地不可居矣”。曾国荃处理完几件大事之后，害怕赵烈文向曾国藩反映问题，赶紧约见赵烈文，并“色甚忸怩，有读书太少，义理不能制血气”的道歉话，在那么忙乱的时候还不忘张罗着请赵烈文吃饭，可以想见，赵烈文在曾国藩那里是何等的受重视。
拜师
太平天国运动失败之后，湘军军中大部分幕僚都希望凭借军功被推荐做官。曾国藩心里也斟酌着赵烈文的人生选择去向。同治四年三月的一天，赵烈文与曾国藩聊天，谈到将来打算，赵烈文坦诚地说：“余云烈出处之计，本无成算，荷相国及少帅盛意，未敢牢拒。然仍愿追随相国……”此前，赵烈文已经被曾氏兄弟奏保“以直隶州仍留浙江补用”。一个月后，曾国藩要北上，赵烈文要求从行，然而曾国藩希望他不再鞍马劳顿，跟随自己再次受罪，希望他能够出仕，赵烈文此时依旧没有答应。
送别曾国藩的这一天，曾国藩儿子曾纪泽奉命给赵烈文送来一副曾国藩的书法，落款称他为：“弟余其相爱，可谓诚挚。”感动处，赵烈文再也忍不住，就跑去找曾国藩拜师。赵烈文说：过去我也想拜您为师，可是害怕别人说我“徒以功名之会”，所以不敢跟您太过昵近，现在我们要分别了，这些嫌疑没有了，我平素之愿可以说出来了。曾国藩感动地答应了，离别的时候赵烈文非常伤感，曾国藩亦面有凄色。
离开曾国藩的日子，赵烈文回到老家赋闲，开始在故乡虞山脚下筹建自己的书屋。过去，他跟随湘军四处漂泊之时，不忘到处购买书籍，至彼时已蔚为大观。他给这个书屋取名“天放楼”。两年后，赵烈文收到曾国藩的信，让他继续来这里工作，于是赵烈文又一次来到了他十分想念的老师身旁，也就是在同治六年，他们师生二人的感情极其亲切，朝夕共处的这段日子，开始了毫无保留的谈话。在他的日记里，多见到的是“涤师（即曾国藩，曾国藩号涤生，其弟子及下属均尊称他涤师。后同）来久谈”等等字句。有时候曾国藩心情不好总要找他倾诉，遇到问题也跟他讲。这段日子里，赵烈文成了曾国藩的精神依靠，虽为师生，情同父子。
预见
细心研读《能静居日记》会发现，曾国藩与赵烈文彼此价值观非常契合，聊天中，往往由曾国藩开头，然后赵烈文再与之对答。从传统文化到宗教哲学，从时政军事到臧否人物，谈话内容十分广泛。由于互相认可，谈话都是发自内心，毫无掩饰、敷衍，属于典型的性情聊天。这在曾国藩的交际圈里弥足珍贵，赵烈文成了曾国藩最激赏最珍惜的弟子。有时候谈至感动之时，赵烈文会潸然泪下，连曾国藩也会被感动得“师亦为之闵然”。
一日，曾国藩心情忽然抑郁起来，于是来找赵烈文聊天。曾国藩说：“昨天收到严厉的旨意，说捻贼到处流窜，全无堵截，各帅都被斥责，曾国荃也被摘去了顶戴，交部议处。”圣旨的措辞极其严厉，过去从来都没有，曾国藩担心带兵的将帅们不能很好克制，恐生兵变。曾国藩“神气凄怆”地说，恐怕还要北上，可是现在他精力颓唐，也不再是能掌控大局之人，现在只能期望早点死去。说完，赵烈文一时竟找不到安慰的话，只是劝老师安心休养几日，不要以境遇累心。接着赵烈文又劝慰了一番，看到老师艰难，赵烈文回到屋里竟然为此失眠一夜。他比其他人更了解曾国藩这大半生是怎么走过来的。有一回曾国藩说自己靠自强不息之道“粗能有成”。赵烈文笑着对他说：“师历年辛苦，与贼战者不过十之三四，与世俗文法战者不啻十之五六。”在众人看来，曾国藩的功绩自然是依靠对太平军作战的胜利而得来的，或以为这就是其精力花得最多之处，却不懂他与世俗文法战的消耗其实是“十之五六”。
什么是世俗文法？所谓世俗，就是指那个时代的腐败政治系统、颓唐的士林以及失去规范的社会。所谓文法，就是指官场和军中的各种潜规则。可见，当时的赵烈文目光已经触及到咸同年间动乱的本质。
更令曾国藩没有想到，也不愿意去想的，是赵的下面这番话：“今师一胜而天下靡然从之，恐非数百年不能改此局面。一统既久，剖分之象盖已滥觞，虽人事，亦天意而已！”以曾氏为首的湘军的胜利造成了什么局面？这就是后来王闿运在《湘军志》中所说的：“其后湘军日强，巡抚亦日发舒，体日益尊”的局面，也就是曾国藩所极不愿见到的“外重内轻”的局面。
正是基于这种透辟的认识，赵烈文成为那个时代准确地预见清王朝崩溃的第一人。
几日后，师生二人聊天，谈及了一个最重大的话题，那就是关于清朝兴亡。
同治六年六月二十日（1867年7月21日）晚，“初鼓后，涤师来畅谈。言得京中来人所说，云都门气象甚恶，明火执仗之案时出，而市肆乞丐成群，甚至妇女亦裸身无裤，民穷财尽，恐有异变，奈何？”曾国藩再一次蹙着眉头问赵烈文。
赵烈文平静地说：“天下治安一统久矣，势必驯至分剖。然主威素重，风气未开，若非抽心一烂，则土崩瓦解之局不成。以烈度之，异日之祸必先根本颠仆，而后方州无主，人自为政，殆不出五十年矣。”就是说，时至今日“天下”治理已经发生了太多败坏问题。只是由于皇上在民间仍是权威的代表，中央政府才得以勉强维系，尚未分崩离析。但据他估计，今后的大祸是中央政府会先垮台，然后出现各自为政、割据分裂的局面。他进一步判断，此番局面大概不出五十年就会发生。
曾国藩一惊之后，继续深入探讨：“然则当南迁乎？”
此番询问也有来由：中国历代政权绝大多数都是在黄河流域建都的。但也有政权因为战乱，迁都南方，留得半壁江山。
赵烈文的看法是：“恐遂陆沉，未必能效晋、宋也。”
意思是，清政府已不可能像东晋、南宋那样南迁偏安一隅。接着赵烈文又详细地说出了一些看法，最后曾国藩愈加绝望 ：“吾日夜望死，忧见宗祏之陨”，寄望赵烈文能重视当朝的恭亲王的“聪明”和慈禧太后的“威断”，以此希望他们能够避免“抽心一烂”“根本颠仆”的结局。而赵则坚持己见，认为奕訢“聪明信有之，亦小智耳”，慈禧“威断”反将使她更易受蒙蔽。
翌年七月下旬，曾国藩被任命为直隶总督，终于有机会第一次见到慈禧太后、同治帝、恭亲王奕訢等高官，在几天之内四次受到慈禧太后的召见。直隶总督之职位使他能近距离观察清王朝的“最高层”领导，终于曾国藩说出了“两宫才地平常，见面无一要语，皇上冲默，亦无从测之。时局尽在军机恭邸、文、宝数人，权过人主。恭邸极聪明，而晃荡不能立足。”此时的曾国藩彻底相信了赵烈文的判断。此系后话。
出仕
曾国藩对赵烈文人生走向极其关心，由于赵烈文家族庞大，生活压力和经济来源全都来自于赵烈文幕府工资，曾国藩为赵烈文生活艰难多次“蹙眉”，他深知一旦自己年迈，赵烈文恐无保障，所以想让他出来做官，以此彻底摆脱这种幕僚的不稳定状况，并企图说服他：“否则竟去做官，家世令长，且惟此可以历练人才。足下天分绝顶，世间学问事理有虚实二宗，无虚则实，有时而窒碍不行；无实则虚，又无所附丽。论虚处则足下当世无敌，惟实处讨探未尽，再能勉力，便为全才。”曾国藩对赵烈文给予了很高的评价。在外人看来，赵烈文身份虽然卑微，在曾国藩的眼里，他的形象是令人尊敬的君子，是“天分绝顶”，也是有可能成为全才的人。
然而，赵烈文却说出了以下的一番话：做官未必能了负累，我现在一个幕府人员，可是请我办事的人还这么多，更何况做官？爱钱无以对知己，不爱钱无以了一身，更何况我一旦当官，大家都知道我会打着您的威望旗号，就算那些高级官员没有意见，可是跟我同辈中的人能不侧目吗？所以用做官去谋划生计，真非我所想。
两年后，曾国藩北调直隶总督，赵烈文跟着北上，几经劝勉后，赵烈文勉强出仕。
同治八年，曾国藩保举赵烈文署理广平府属之磁州。获悉之后的第二天，赵烈文亲自去找曾国藩，力陈磁州属肥缺非初任所宜，不适合自己去担任，希望找一个偏远贫乏的地方去给百姓办点实事，以此报答老师。曾国藩坚持不同意。在此之后的几年里，赵烈文又转任易州知州。
在他并不漫长的仕途时间里，他对百姓非常爱护，为政清廉，查案、断案迅速公平，是一个典型的晚清良知官员。在同治九年的三月里，他在为官所在地带领民众开凿水利，深得民心；他劝当地游手好闲的人要勤耕作、戒赌博，通常一直忙到午后才找个地方休息、吃午饭。吃的都是自己带的干饭小菜，有的村民给他送来一壶热水，他都要付钱。赵烈文这些为政品德，在晚清官员大多糜烂腐坏的时代显得非常可贵，果如曾国藩曾经所预料的那样“伊必一好官，能做事。”自此赵烈文与曾经的师友多以书信来往，全力安心工作。
同治九年，赵烈文日记中记述了这样一段非常值得回味的话“涤师复任两江，李合肥（即李鸿章）移督畿辅，可为怪事。并闻江都马新贻被刺（曾轰动一时的“刺马案”）而死，尤为可诧。”
几天后，李鸿章见到赵烈文。在称赞了赵烈文的工作能力后，李鸿章说：“足下文学优雅，然我向以足下为办事之才，今事理明白如此，我见果不谬，可惜往年不肯至我处，若早来，彼此有益多矣。我自愧幕中未有造就一人，皆我无才德之故。”赵烈文听了这话自是表示谦逊感谢。李鸿章接着又说：“磁州大道首站差使如何？足下初仕，曾老夫子即畀（给予）以盘错之任，想有所见，然亦大胆矣……”通过这段对话，李鸿章似乎透露出一种嫉妒的意味，并且对曾国藩如此“重用提拔”赵烈文有所腹诽。紧接着用其“听取汇报”式的问话跟赵烈文沟通了几个问题。赵烈文对答后，遂向李鸿章问起曾国藩南下日期。于是就有了曾国藩与赵烈文二人最后一次短促的会面。
与曾国藩诀别
次日，赵烈文起了大早，匆忙去追赶曾国藩一行。见到曾国藩后，赵烈文先是表达了对曾国藩六十寿诞的祝贺，继而便以为官一年无所政绩表示惭愧。曾国藩却称赞说：官声极好，足见有才。接下来，曾国藩叮嘱赵烈文说：“素性高尚又最多情，做此小官，既不能展抱负，而我又要南下，不能履行过去你我约定，现在竟然不能为足下摆脱奈何？”
在别人眼里赵烈文这个职务极其耀眼，让很多人嫉妒，在曾国藩眼里，赵烈文做的是“小官”，不能真正施展他的才华，可见他对赵烈文的看重。
赵烈文自是表明自己的态度：过去我跟随老师您，都是因为追随您的杖履是种人生乐趣，没有奢望老师还有南下任职的机会。现在学生既然有了工作职责，过去一年工作压力很大，内外贡献都不大。当初老师奏调学生为政，也是勉励我整饬吏治，现在一点成绩也没有，看到老师南下我就要南下，这样会让别人以为结党营私成为笑话，而且在仕途上也没有这样的政体，我现在因老师为我个人的融入让老师多次为难，这也不是我当初的愿望。
师生对答间，彼此一番感动。几天后，看着恩师曾国藩远去南下的背影，赵烈文写下了“十六年来馀别泪，三千里外抵归程”的感伤诗句。
同治十一年二月的一天对于赵烈文来说无异于是最痛苦的日子。这一天他得知恩师曾国藩在江都官署病逝。
赵烈文在当天日记这样形容自己感受“惊悉涤师于二月初四日在江都官署薨逝之信，五内崩摧，顷刻迷闷，奋力一号，始能出声。”这个噩耗对于赵烈文来说实在太突然了。
由于相隔千里，公务在身又不能亲身前往悼念，接下来的几天中，赵烈文因为过度悲伤成疾。这段日子，赵烈文打听问询着老师去世详情。在得知曾国藩去世前并未遭受痛苦，“吉祥善逝，安坐含笑”后深得安慰。他在给曾纪泽的信中曾这样深情地回忆着与涤师最后分别时的场景：“忆前年送行，师尊于车马纵横之中，送烈至门，坚辞不可，怆然而别。情景犹在目前。每一念及，心如糜割。”
十月之后，赵烈文已经苦于官政，要辞职，于是向时任直隶总督李鸿章报告，李没同意。就在第二天发生了一件让赵烈文更震荡灰心的事情。同治皇帝因患天花去世，“午刻至督署上谒，则已接凶问，于初五酉刻上宾矣。疏远小臣，无涕可挥，惟觉心中震荡不宁而已。”当他再次求见李鸿章时，李鸿章正闭门谢客，听说是赵烈文来了，就让他到内室说话。当时李鸿章非常不安，赵烈文安慰了他几句后，又提出辞职，李鸿章非常真诚的加以挽留。赵烈文坦率地跟他说：“余云烈辈在世，譬一草芥，自揣无益于人，胡为久恋栈豆……”在此之后的不长时间，赵烈文终于获准辞职，飘然回乡，经历了大格局之后，他知道距离大清王朝“陆沉”的时间越来越近，目睹了所有希望都破灭后，他终于飘然回到江南，开始回归书屋、旅行、照顾家人……
历史苍茫如雪，透过并不显赫的人物，从一个小人物视角，窥看处于乱世中晚清那些风雨飘摇的片段历程，也许会对历史有一种不一样的体察。这其中有当时那些重要人物在这个变局中的焦虑与无奈，还有一段关于幕僚与政客之间、师友之间平实而真挚的情谊，可供后人回味。