李鸿章回到庐州之后，便开始兴办团练，顿时得到安徽士绅的拥戴，由于当时天军在安微一带兵力溥弱，安庆天军在江北大营及各方团练的重大压力之下退回了南京外围。李鸿章回乡时，当时在安庆兴办团练的潘鼎新，吴长庆等人因是李鸿章父亲的门生，得到李回乡兴办团练的事后，便与李鸿章建立了联系，积极拥戴李鸿章。
得到了拥戴李鸿章的信心倍增，将回乡时的郁闷之气一扫而空，胸中报复再次燃起。回乡月余，李鸿章便根据两淮地区民风强悍的特性，在庐州地区组建武装团练，当时庐州地区有三股最大的武装自保组织。由于两淮之地，常年匪患丛生，又有捻军做乱，各地百姓纷纷结寨自保，这就有了当时的三大自保武装。李鸿章到了庐之后，先后拜访了庐州周边三山，既周公山，紫蓬山，大潜山的武装头目张树声，周盛波以及刘铭传等人。三人对李鸿章的才学推崇倍致，纷纷投效李鸿章门下，至此淮军初具规模，李鸿章更得到了淮军的第一位大将——刘铭传。
收服了三股势力，又得到广大士绅的拥戴支持，李鸿章信心大增，决心与盘据在安微的天军来一场较量。正好，当时天军北伐，李开芳部兵围庐州，攻打数日不息。李鸿章在大将刘铭传的建意下，发表檄文，痛阵天军在南京的恶行，号招官民团结一致共保庐州。顿时庐州城里的官民纷纷响应，士绅大户将家丁遣上城头，百姓自愿上城助战。大大减缓了庐州兵力不足的缺点。最终李开芳在庐州城下连攻数月不得而不得不转而北上。
第一场战便获得了胜利，李鸿章一时得意莫名，信心空前高涨。淮军也因此成名，成为安微地区主要的武装力量，咸丰三年，太平天国派兵北上，援救被困的北伐军，兵至池州。信心满满的李鸿章便命手下率淮军出击，欲与僧格林沁联合夹击北上之陈玉诚部天军，奈何陈玉诚指挥果断，意然放弃池州城池，主动出击，打了淮军一个措手不及，淮军大溃败，损失过半，退回庐州。陈玉诚趁胜追击至庐州，连日猛攻庐州。淮军新败士气低落，加之琪善闻得淮军败北，不战而逃。庐州在李鸿章的坚守下，死守五日，最终失陷，李鸿章被部将刘铭传率军杀开一条血路，逃回扬州，淮军一战几乎覆灭。至此李鸿章才知道天军的厉害，心灰意冷之下，想解散淮军。
“大人，胜败乃兵家之常事，只要我们重整旗鼓，定能再创发贼。大人不可轻言放弃啊。”扬州城内，部将刘铭传向心灰意冷的李鸿章郑重道。
刘铭传在历史是也是大大有名的人物，台湾的第一任总督，打败过法军舰队的进犯，是洋务派的重臣和骨干。刘铭传出生于普通的农民家庭，在家排行老六，小时得到过天花，于是在乡里，人称他六麻子。刘铭传十一岁时父亲与两个哥哥去世，没有父亲约束的刘铭传顿时参加了当地的护送私盐的队伍，后来，刘铭传因杀了一个地霸，而与乡里揭竿而起，成立乡间自保组织。成了庐州大潜山自保会的头目，但是刘铭传起事，却吓坏了他的母亲，“吓破了胆，惊吓而亡”，这成了刘铭传一生的悔恨。
刘铭传素有报国之心，只是社会黑暗，成立自保组织也是无奈之举，不然他大可以起义造反。当听说李鸿章要招募淮军的时候，刘铭传迫不及待地带着他的手下投效了李鸿章，此时李鸿章因为了一场败仗而自暴自弃，要解散淮军，刚刚找到奋斗目标的刘铭传怎能坐得住。
“唉，省三，本官只一介文士，哪里是打仗的料。”李鸿听了刘铭传的话，不由再次唉声叹气起来。他现在都快成了全安徽的笑话了，淮军尽丧他手，叫他哪里还有心思东山再起。
“大人，古之大将哪有一开始便能顺风顺水的事，我军之败不过败于轻起冒进，装备不足。若能像僧格林沁那样的全是洋枪洋炮，收拾发贼还不跟玩一样。”刘铭传继续给李鸿章打气。
李鸿章一听，顿时眼冒金光。是啊，自己怎么没想到呢。要是能够装备出一支像新军那样的军队来，那打起仗来就轻松多了。毫州一战，李鸿章是知道了，三万天军瞬间即灭，无一漏网，如此战力，让李鸿章确实眼红不已。可是想想，李鸿章顿时又泄气了：“洋枪洋炮，朝廷都不足，哪里能给咱们？”
“朝廷没有，咱找洋人买，洋人不是在山西建了个兵工厂吗，”看到有希望，刘铭传哪里会放弃。
李鸿章听了，也是一振，不过现在淮军几乎全军覆没了，还得从头再来，李鸿章在屋子里打了几个转，似乎下了很大的决心一样，一拍桌子道：“好！省三，你马上再去招募兵员，本官去招集扬州士绅，看看能不能再募得一些军费购买洋枪洋炮。”
“得令！”终于打动上司了，刘铭传心喜苦狂，抱拳应了声便急匆匆地下去了。洋枪洋炮啊，要是以后淮军也能像新军那样，那可是威风八面了。刘铭传似乎看到朝廷的奖赏奔自己来了。
打发走了爱将，李鸿章也没闲着，马上让家人拿出帖子四处出动，招集扬州城里有头有脸的干绅富翁商议筹款买军火事宜。
李鸿章凭他的个人魅力，很快便从扬州富商财团手里募集到一笔可观捐饷。扬州历来是中原富城，地临运河，南北交通的要地。各地盐商云集在此，富人到处可见。天军兵临庐州，扬州士绅大户人心紧张，生怕发贼进城之后的手段。天国喧传的是物物归上主的教义，在南京城就遍搜富户财产土地充公。这让扬州城的富商们担忧不已，李鸿章于此时向富商们痛陈利害，赢得了士绅们的赞赏，纷纷捐资相助。李鸿章手下大将刘铭传于扬州再次募集了两淮子弟五千余人，再次组成淮军，在扬州开始新一轮的练兵。两淮子弟多悍勇，时有生活无以为继的乡民上山落草为匪，尤以大别山区为最。天军攻克庐州，相继将临近的六安，金寨等一并划入版图，当地乡民纷纷往扬州逃难，于是淮军募兵工作进展顺利，这年头，能吃饱饭管他是干什么的呢。
七月中旬，募集了近百万两银子的李鸿章亲自踏上了赶往山西的路途。之所以亲往山西，李鸿章还有一个原因，那就是借道去河南参观刚刚归入肃顺名下的新三师，看看到底新军是怎么组建的。
李鸿章取经的路途是充满振惊的，与安徽接壤的河南比之纷乱的安徽来说简直是天壤之别。河南等地在经过了捻军之乱之后，劝减工作才得以顺利展开，各地都是因为减租息得到好处的农民欢天喜地的笑声，收获之季即将到来，百姓们脸上充满着收获的喜悦。李鸿章很奇怪，那些被减了租息的地主乡绅会这么大方吗。李家本身就地主阶层，家里上百顷的良田，上上下下上百口人都指望着这些地地活呢。这租子减下去了地主们吃什么？
当好奇的李鸿章向农民们问起这些来的时候，往往百姓们都脸带鄙夷的目光看着他说道：“不减能成吗？青天大人可是发下话来了，不减租子就请去衙门里喝茶。听说万岁爷的皇庄都不用交租子了，这些地主佬还能比万岁爷金贵？”人人都认为李鸿章是一个吃人血的坏地主。
自小在世家大族中长大的李鸿章被一束束鄙夷的眼光看得有些来气，但是一时又不好发作，只得再去问那些被减了租子的地主们。地主们好像对减租子很欢迎一样，往往面带笑容地答道：“减了就减了呗，总比被别人造反把老本都抢去了好。再说了，减租子的可以入城办厂，还可以免税。唉，您是不知道，这工厂一开，半年的利润抵得过以往两三年的。现在办厂的人少，谁办谁准发财。老弟您啊，抓紧机会赶紧下手吧，晚了就没您什么事了。守着一亩三分地有啥盼头？”
一路走来，李鸿章不由感叹。咸丰在北京时下的劝减政策，李鸿章也有反对。这样下去李鸿章担心会把士绅阶级给逼到发贼那一边去。可谁知道发贼比皇上来得更狠，不但要充公了你的财产，连人都得抓起来，不是杀掉就是坐牵房。比起这样来，皇上的政策算是优厚的了。怪不得这些地主老财们这么合作。看着百姓欣欣向荣的日子，李鸿章相信，要是自己住在这里，也不愿跟着发贼去造反，谁吃饱了撑得去做那杀头抄家的事啊？
从毫州一路走来，李鸿章越走越心惊，惊是惊喜。皇上的德政得到最好的报答。现在哪家百姓家里不是把咸丰的画像挂在家里供着，希望这个好皇帝能长命百岁，让老百姓多享几年福？
走了十多天，李鸿章终于到达了河南的第一座大城——商丘。商丘在捻军之乱时，受到过战火的创伤，但是由于清军的顽强，捻军最终没有攻进这座历史名城，反而在永城与商丘之间饮恨。在商丘，李鸿章终于看到了新式工厂，轰鸣的机器带着动着生产机左飞速转，各种各样的生活用品，工业用品成堆生产出来。刚刚从农民转变成工人的百姓满脸笑容地在车间劳作着。
自咸丰向德国全面开放中国口岸以来，就不断有从德国不远万里闻风赶来发财的洋人，这些有的带来的新式的技术，有的带来的新式的商品，有的则带来的新式的机器。河南一经平定，在华北寻找商机的德国商人们都纷纷跑到了这里，在北京发了财的中国商人们也纷纷将目光投向了这片相对安全的土地，随之而来的是外来的商人兴办的工厂产生的巨大利益带动了当的商人把目光放开，纷纷投入到新式工厂的兴办之中。加之肃顺对咸丰的命令执行有力，政策施行得当，又被肃顺将河南等地的吏治全面整顿了一番。华北平原上可谓成了一片祥和的乐土。