咸丰三年十一月，余初造战船，办水师。楚中不知战船为何物，工匠亦无能为役。因思两湖旧俗，五日龙舟竞渡，最为迅捷。短桡长桨，如鸟之飞。此人力可以为主者，不尽关乎风力水力也。遂决计仿竞渡之舟，以为战船。时守备成名标自长沙来衡州，始告余以广东快蟹船式、舢板船式，同知褚汝航自桂林来衡州，告余以长龙船式。于是纠集衡州、永州工匠，又分厂于湘潭，共造快蟹四十号。长龙四十号，舢板八十号。快蟹配四十五人，摇桨者廿八人，橹八人。长龙配廿四人，摇桨者十六人，橹四人。舢板配十四人，摇桨者十人。每船柁工一人，头工一人，炮手数人。四年五月，每船添立管驾者一人，名曰哨官。五年十月，每船于众桨手中，置火弹手数人。于是规模略备。……
余既于癸丑（咸丰三年）冬创造战船，设立水师十营。甲寅（咸丰四年）三月廿八日，以五营击湘潭之贼，以五营击靖港之贼，军士溃败。五月以后，在长沙修复船只，重整规模。六月，克复岳州。七月、闰七月扫荡岳鄂之间江面七百余里。搜剿黄盖、斧头等湖。八月，克复武昌、汉阳。于是水师之规制略定，将卒亦略谙水战之法。83
水师而外，陆勇之最大变化，是他对陆勇的营制与招募遣散方式进行了改革。而之所以锐意改革，是他决心“卧薪尝胆，勤操苦练，养成艰难百战之卒，预为东征不归之计”。84湖南乡勇，最早出自江忠源编练的新宁勇，统称楚勇。楚勇在广西全州蓑衣渡一战成名，此后随江忠源四处征战，俨然劲旅。曾国藩起先也看好楚勇，但不久后发生的事情，使他产生了怀疑。第一件事是，江忠淑带楚勇赴援江西途中，未遇强敌即闻风溃散。
楚勇尚剽锐，营制疏略，（国藩）乃命千总张登科领湘勇二十人为前哨。戒忠淑、登科曰：“哨探必百里，至瑞州待湘军而行。”忠淑狃于其家军称劲旅，心笑曾公怯，驱而前，中途讹言寇至，哗而溃走，奸民譟惊之，弃军械、饷银、退保义宁。85
另一件事是，太平军撤围后，江忠源所部楚勇二千余人拥到江西巡抚衙门求赏闹饷，甚至对江兵戈相向。其中千余人，次日哗散还乡。曾起初不信，后亲见数百人逐队而归，“以是寸心日夜焦虑”，原拟练勇六千交江忠源带领东征的想法也发生了动摇。“若如造谤者之言，万有一实，则勇之不可用，与兵相去亦无几耳。”86于是两人书信往来，讨论兵勇之优劣。江忠源认为，“勇之不可用，其故仍不在勇而在带勇之人”。“论目前搏击之用，则兵不如勇；而论异日遣散之难，则勇不如兵。然忠源终不欲以兵易勇者，兵之患在本源，仓促而难拔；勇之患在流弊，先事而可防。且急则治标，今日之实势，宁取其勇悍搏击之用，而后日遣散之难，尚可求其人求其法以治之也。”他认为，只要多物色罗泽南、王錱这样的将领统带乡勇，“则收勇之利皆可弭勇之害，而贼不难平矣”。
曾国藩接受了江的意见，且未雨绸缪，从训练、择将、招募、遣散与营规营制等各个方面，都进行了有针对性的改革，订立了一系列规章制度，以求打造一支全然不同于八旗与绿营的、有纪律和战斗力的军队。下面简略介绍一下他的做法。
首先是训练。清军战斗力之窳弱，一个根本的原因就是缺少训练，而缺乏训练的军队无异于乌合之众。训练分两个方面，一是练，指军事；一是训，指纪律。“练则武艺稍熟，不使见贼奔溃；训则去讹诈之风，惩骚扰之习，不可不痛加整治。本部堂现在募勇，自辰（上午七～九时）至申（下午三～五时），无刻不练。亲与训诫，有扰民者，立即正法，或可稍解积习之万一。”
在募勇上，曾国藩坚持宁缺毋滥，尤其注重新勇的素质。他认为“良民有职业者，皆不肯应募。其应募者，皆游手浮滑之徒，无事则坐领工食，有事则闻风溃散；一有征战，见贼则退，扰民则勇往”。故首要的，就是把住招募这一关。他所制定的营规，最前面的两条，一是入募的兵勇，必须造册具保，籍贯里居、父母兄弟妻子姓名必须登录，做到有案可查；好处是，一可戒绝游民混入，二可详细掌握士卒的情况，聚则易于管束，散则便于遣归，遇有开小差逃亡者，也便于按册查捕。一是入募者以“年轻力壮、朴实而有农夫气者为上。其油头滑面、有市井气者，有衙门气者，概不收用”。 这样做是取法于戚继光，“第一切忌，不可用城市游滑之人，……第一可用，只是乡野老实之人。” 曾国藩之所以看重农夫，亦出于这样一种观念：“山僻之民多悍，水乡之民多浮滑，城市多游惰之习，乡村多朴拙之夫，故善用兵者尝好用山乡之卒，而不好用城市近水之人。” 有了好素质的兵勇，还要约束以好的营规，共计七则：
禁止洋烟：营中有吸食洋烟者，尽行责革（处罚后开除）。营外有烟馆卖烟者，尽行驱除。
禁止赌博：凡打牌、押宝等事，既耗钱财，又耗精神，一概禁革。
禁止喧哗：平日不许喧哗，临阵不许高声。夜间有梦魇、乱喊乱叫者，本棚之人推醒，各棚不许接声。
禁止奸淫：和奸者责革，强奸者斩决。
禁止谣言：造言谤上、离散军心者严究。变乱是非，讲长说短，使同伴不睦者严究。张皇贼势，妖言邪说、摇惑人心者斩。
禁止结盟拜会：兵勇结盟拜会、鼓众挟制者严究。结拜哥老会、传习邪教者斩。
禁止异服：不许穿用红衣、绿衣、红带、绿带，不许织红辫线，不许扎红绿包巾、印花包巾，不许穿花鞋。
曾国藩所定营规，寥寥数条，甚为简约，目的是造成一种不尚虚文的风气。“勇丁帕首短衣，朴诚耐苦，但讲实际，不事虚文。营规只有数条，此外别无文告，管辖只论差事，不甚计较官阶。而挖壕筑垒，刻日而告成，运米搬柴，崇朝而集事。兵则编籍入伍，伺应差使，讲求仪节，即有一种在官人役气象。及其出征，则行路须用官车，扎营须用民夫，油滑偷惰，积习使然。”
此外，他还专门制定了“禁扰民之规”，为使人人牢记，曾国藩后来还亲自编写了《爱民歌》，以歌谣的方式要兵勇们背诵牢记，可称是中国军事史上最早的爱民教育素材，也是曾国藩的一大发明。后来之治军者，均不能出其范围。
三军个个仔细听，行军先要爱百姓。贼匪害了百姓们，全靠官兵来救人。
百姓被贼吃了苦，全靠官兵来作主。第一扎营不要懒，莫走人家取门板。
莫拆民房搬砖石，莫踹禾苗坏田产。莫打民间鸭和鸡，莫借民间锅和碗。
莫派民夫来挖壕，莫到民间去打馆。筑墙莫拦街前路，砍柴莫砍坟上树。
挑水莫挑有鱼塘，凡事都要让一步。第二行路要端详，夜夜总要支帐房。
莫进城市占店铺，莫向乡间借村庄。人有小事莫喧哗，人不躲路莫挤他。
无钱莫扯道边菜，无钱莫吃便宜茶。更有一句紧要书，切莫掳人当长夫。
一人被掳挑担去，一家号哭不安居。娘哭子来眼也肿，妻哭夫来泪也枯。
从中地保又讹钱，分派各团并各都。有夫派夫无派钱，牵了骡马又牵猪。
鸡飞狗走都吓倒，塘里吓死几条鱼。第三号令要严明，兵勇不许乱出营。
走出营来就学坏，总是百姓来受害。或走大家讹钱文，或走小家调妇人。
邀些地痞做伙计，买些烧酒同喝醉。逢着百姓就要打，遇着店家就发气。
可怜百姓打出血，吃了大亏不敢说。生怕老将不自在，还要出钱去赔罪。
要得百姓稍安静，先要兵勇听号令。陆军不许乱出营，水军不许岸上行。
在家皆是做良民，出来当兵也是人。官兵贼匪本不同，官兵是人贼是禽。
官兵不抢贼匪抢，官兵不淫贼匪淫。若是官兵也淫抢，便同贼匪一条心。
官兵与贼不分明，到处传出丑声名。百姓听得就心酸，上司听得皱眉尖。
上司不肯发粮饷，百姓不肯卖米盐。爱民之军处处喜，扰民之军处处嫌。
我的军士跟我早，多年在外名声好。如今百姓更穷困，愿我军士听教训。
军士与民如一家，千记不可欺负他。日日熟唱爱民歌，天和地和人又和。94
《爱民歌》而外，曾国藩还撰有此类歌谣多种，多是用以训育乡勇的，范围十分广泛。如《保平安歌》、《水师得胜歌》、《陆军得胜歌》、《解散歌》，等等。其时参军农民多不识字，以这种歌谣形式传授军规与作战要领，便于他们记诵、遵守。他制定的营规，除约束乡勇，防止扰民之外，还有一层爱护陶铸的含意：“吾辈待兵勇如父兄带子弟一般。无银钱无保举尚是小事，切不可使他因扰民而坏品行，因嫖赌洋烟而坏身体。个个学好人成材，则兵勇感恩，兵勇之父母妻子亦感恩矣。”95
为了克服绿营兵“兵与兵不相得，兵与将不相习，将与将又各不相下”的弊端，湘勇的招募，均由统领亲自坐镇，而不假手于他人。曾国藩将之归结为湘军建军之“良法美意”之一。“勇营之制，营官由统领挑选，哨弁由营官挑选，什长由哨弁挑选，勇丁由什长挑选。譬之木焉，统领如根，由根而生干、生枝、生叶，皆一气所贯通。是以口粮虽出自公款，而勇丁感营官挑选之恩，皆若受其私惠，平日既有恩谊相孚，临阵自能患难相顾。”96如此，则由统领至兵勇皆由自选，层层递进，每一兵勇与其直接长官，每一级主官与其直接上级，均同乡同里，不仅熟识，而且忠诚，故能收如身使臂，如臂使指之效。
但有一利必有一弊，这种由私人关系为纽带的军队，只效忠于原招募者，故外来将领难于统带，即使一时统带得了，也难以保证其始终服从与忠诚。这样，湘军中就出现了这样一种奇特的现象：一旦某军统帅病故或战死，除非本部有受拥戴的继任将领，否则必全军遣散回乡，另行招募成军。如新田县令施济之子施恩实，募新田勇五百随曾国藩东征，恩实病归，曾氏檄唐训方代恩实为将。唐训方是常宁人，不为新田勇所认同。“公（即唐训方）曰：将与兵不习，非计也。乃资遣新田勇，而募常宁勇训练之，命曰训字营。隶罗公（泽南）部下。”97
又如，湘军大将鲍超因病回籍调养，其所部“霆字营”需派任新统帅。鲍部下最具资望者有宋国永与娄庆云二人，宋国永一直在军中，而娄庆云早已调任正定总兵兼署直隶提督。曾国藩认为宋治军不严，故奏调治军严明的娄庆云接任主将。不料消息传开，“霆军各将领久畏娄庆云之严明，公禀不愿隶其部下”。霆军拒娄拥宋，大出曾国藩意外。他原以为娄出自霆营，回任应无问题，孰料娄离军已久，原有的人脉散失。娄庆云亦以“霆军人数太多，弹压匪易。各将领共事已久，势分本相等夷，……情谊既有未孚，临急必难得力，不敢冒昧接统”。98曾乃不得不下令将霆军遣散，由娄庆云从旧勇中另行招募成军。胡林翼亦曾以枝叶相生譬喻此制：“凡勇总要撤后另挑乃服管束，不可就现在的营伍而易将。旧营伍而易新将，犹束散枝而为薪，不能枝枝叶叶相对相当，生气勃勃也。撤后即日招募，则耳目精神归于一，如活草活树，枝叶自然相生也。”99
曾国藩认为，湘勇虽最初为朴实强健的农民，但当兵久了，朝气渐消，暮气渐深，同样会变成兵油子。“恶差与骄兵之气习，皆经渐染日深，凶悍讹诈，习惯成风。”100为此，他采用戚继光“澄定浑水，再汲新水”之法，101对军纪不良之部队，战事稍纾，便会予以遣散，派将领还乡重新招募组建新的营伍，一求更新素质，二为保持朝气。久之，这种遣散整编或重新征募的做法，便成为湘军不成文的惯例，是湘军得以吐故纳新，长久保持其朝气与战斗力的基本原因。
许多研究者认为，曾国藩编练湘军，将本该属于国家的军队，变成了效忠于私人的军队，是开了近代军阀的先河。但分析曾国藩建军的初衷与本旨，这种说法未免倒果为因，过于表面化了。曾国藩的军事改革，乃鉴于八旗、绿营之腐败，其措施均针对官军之弊端而设。他募兵之所以注重同乡同里之人，其命将之所以强调待士卒如父兄手足，是基于一种最为朴素的认识：打虎亲兄弟，上阵父子兵。非如此不能打硬仗、恶仗，不能扭转官兵胜则相争，败不相救，一遇强敌，稍触即溃的状态。而后来之军阀任人唯亲，则唯恐属下跟从不久，绝无遣散老兵，重募新军的举措。一为公，一营私，其动机判若云泥，又岂可同日而语呢？譬如历史上岳飞有岳家军，戚继光有戚家军，从没有人说他们是为军阀开了先河，曾国藩的湘军也是如此。慎哉今之学者，不可厚诬于古人也！
曾国藩是文臣，并无督带兵勇的经验，以一外行人而负担练兵作战的大任，一切都要从头学起。其入门的军事老师，即是明代名将戚继光。戚继光（1528～1587），字元敬，号南塘，祖籍河南，生于山东济南鲁桥，出身于将门之家。戚“幼倜傥负奇气。家贫，好读书，通经史大义”。嘉靖朝嗣父职，后历任都指挥佥事、都司、参将，先后在山东、浙江布防倭寇。在浙江时，招地方剽悍之民三千人，“教以击刺法，长短兵迭用，由是继光一军特精。又以南方多薮泽，不利驰逐，乃因地形制阵法，审步伐便利，一切战舰、火器、兵械精求而更置之。‘戚家军’名闻天下。”嘉靖四十年后，倭寇连续进犯浙、闽，戚继光屡挫凶锋，连战克捷，斩俘数千人，东南宿寇几乎扫数而清，朝论以戚为首功，升任总兵。其为将“号令严，赏罚信，士无敢不用命”，故能“飚发电举，屡摧大寇”。隆庆初年，北方边患严重，戚调任京师，以都督同知总理蓟州、昌平、保定三镇练兵事。后又以总兵镇守山海关至薊州一线长城十六年，任内加筑敌台千二百座，“精坚雄壮，二千里声势联接”，京师赖以为安数十年。我们今日所见雄踞京、津、冀一带敌楼逶迤挺拔的明长城，多成于戚氏。权相张居正死后，遭万历皇帝清算，戚继光以亲附张遭贬黜，郁郁不得志�