胡林翼，字贶生，号润芝，湖南益阳人。生于嘉庆十七年（1812）7月14日。父胡达源，官至少詹事。道光十五年（1835）举乡试，次年中进士。道光二十年（1840）秋，胡林翼充江南副考官，受正考官文庆舞弊案牵连，降一级调用。道光二十一年（1841），因父去世，胡决定以“池圃足高卧，图书供古欢”的生活独善其身。道光二十六年（1846），对胡林翼颇了解的林则徐再度被启用而出任云贵总督，林极力敦劝胡出山。同年，胡林翼捐升知府发贵州。离乡赴任之际，在祖宗墓前起誓，“不以官俸自益”。此后无论是在贵州的9年，还是湖北巡抚任上的6年，他果然恪守了为官清廉的诺言。在贵州期间，先任署安顺，后历署镇远、思南知府。咸丰元年（1851）年补黎平知府。咸丰四年（1854）擢贵东道。同年，奉调领黔兵千余入湘鄂参与镇压太平军离开了贵州。他任职贵州的9年，为其后与曾国藩、左宗棠齐名、成为晚清中兴名臣奠定了政治基础。

第一次鸦片战争后，处于穷乡僻壤的贵州，匪盗遍布各地，勾结营兵胥役四出劫掠，地方官吏无敢捕治。黔中腹地安顺，素有“滇之喉、黔之腹”之称，且“商业之盛，甲于全省”。在此期间，郡内冒顶山的大五、小五诸匪时常抢劫过往客商和附近山村百姓，甚至于大白天，扮成商贩进城劫掠事先盯上的商家。得手后纵马飞驰出城，待守城官兵闻讯赶来，匪盗早已不知去向。面对这样的社会治安状况，胡林翼上任伊始，不动声色，而是著麻鞋短衣到四乡走村串寨，并在各村寨安插耳目。当侦知匪众将在除夕聚会辞岁时，亲率经过挑选的强健彪悍的捕快，骑快马至匪众聚会处，一举擒获匪首余绕贵等，其党羽无一漏网。仅一年多，先后擒获巨盗300余名，安顺地方得以绥靖。

胡林翼勤于政务，注重地方教育，每日必在府衙坐堂，遇有人击鼓告状，立即剖断。在任期间清理积案300余件。他还倡导修建义学十数所，搜集节孝800余人，报请朝廷旌表。清代，安顺地方政府详报节孝始于胡林翼，故曾国藩后来盛称他是“变风气为第一，而荡平疆土二千里次之”。胡林翼在安顺的7年里，注意修整府治城垣道路，裁减官府的办公经费和书吏的薪俸。有关作法所积累的经验使其后来能在湖北巡抚任上实行“建议减漕、严裁亢费、利国利民，而不利于官吏中饱私囊”等施政措施、取得每年增收节资白银73万余两的政绩。

道光三十年（1850），胡林翼调署镇远府。到任之际，正值台拱、清江、黄平苗民起义。他奉令带兵剿杀了黄平革夷山等处的苗民义军，俘获义军首领保鹅等300余名，荡平了义军的山寨据点。战后，镇远地方发生了饥荒，胡林翼及时开仓平粜，清理宗祠和村寨中由民众日积月累积贮的公粮，对侵吞者予惩办。湖南新宁也在上一年（1849）发生饥荒，因官署既不开仓平粜，也不劝谕商贾绅粮减低粮价，入秋后，官绅更重利盘剥，激起了李沅发率苗、瑶民起义。次年（1850）该义军进入广西，所过之处，天地会会众纷纷加入，力量不断壮大。义军转战于湘、桂、黔20余县。胡林翼奉调带兵赴黎平，阻止义军进入黔省纵深与黔东苗民联系。李沅发在回师新宁途中被湘军将领向荣俘获，解京就义，起义最终被清军绞杀。事后，胡林冀被任命为思南知府。此后半年，太平天国金田起义爆发。次年，咸丰元年（1851）胡林翼被补为与广西相邻的黎平知府。

黎平地处黔、湘、桂三省交界，山深箐密，不肖之徒、散兵游勇聚集为匪，出没剽夺，剿不胜剿。胡林翼到任后，宴请士绅、寨老、土司等地方人士，详细了解民情和地理环境，从黎平地方民情、反叛的实际出发，胡林翼采取了以下措施:令各村寨相连为堡，择立乡正、团长、牌长，互相稽核，相互救助，捕治诸不法者，以整饬地方秩序；在兵力财力不济的情况下，他招募乡勇，令治下各县1500余村寨办团练、建碉卡450余座，相互守望，在与广西交界的关隘要道设防堵截太平军；同时上书云贵总督吴文镕、贵州巡抚乔用迁，提出“环边要隘，筑堡守禦，以为言战不如言守，用兵不如用民，用民力以自卫，不如先用地利以卫民”的战略主张。并考虑到大战在即的情势，劝民众捐谷置仓，以备城守。此后，黎平累被攻扑而不可摧，都得益于胡练乡勇和贮存粮食之举。

胡林翼在咸丰三年（1853）还镇压了瓮安的“榔党”起义。在瓮安农村，民间因窃盗繁多，官府不能究治，乃创议榔约。其法合几个村择一公所，立会树杆，挂篾篮其上，设约数条，牌悬于下，各村遵守。有事齐集会所公议，不问官府。捉住盗贼就放在篾篮里，沉到水底，也不送官。每年玉麦初熟，即聚众会议，履行其事，其势力渐形盛大（罗尔纲《苗族英雄张秀眉传》）。榔党首领刘瞎么即利用这一组织号召3万各族民众准备起义，其中就有张秀眉。不幸事情暴露，胡林翼用计谋解散了民众，将刘瞎么逮捕杀害。

但胡林翼也深谙民间疾苦。在太平军攻下天京（南京）、清政府封锁长江航运、致使黔东一带靠放排运送木材到长江中下游一带为生者生计艰难时，胡林翼在其《论黔东路事宜启》中即指出，“土司、通事挟其诈力，剥削无已。一切食米、烟火、丧葬、嫁娶、夫马供应之费，无不取之于苗民……借事勒索，不倾其家不止，而苗民之机绝矣。”以致“当秋冬催比之际，有自掘祖坟银饰者。”

曾任云南永昌（今大理一带）知府的湖南巡抚张亮基，与胡林翼一同都是林则徐看重的年轻干练的地方官，对胡的才干早已了解，故在咸丰二年（1852），太平军进军两湖时，张亮基即奏请朝廷调用胡林翼，而贵州巡抚蒋霨远则以胡林翼所辖黎平防务关乎全省大局，奏请留下。已从云贵总督调任湖广总督的吴文镕，于咸丰三年（1853）十月奏请调胡林翼来湖北办理军务。御史王桂发亦以言官的特殊身份，极力向朝廷举荐，称胡林翼捕盗除奸，有超人胆识，所训练的乡勇可以以一当十，应将他及其所训练的乡勇调往湖北，参与对太平军作战，这次奏请获准。

咸丰四年（1854）春，胡林翼擢贵东道并率领经过精心挑选的千余名黔勇，离开贵州前往湖北。当他的部队一路征战到达湖北通城时，闻吴文镕已战死，而自己又不愿意受接任的荆州将军旗人台涌节制，遂率剩下的600名黔勇退到湖南平江。安排好部队后，只身前往湘军大营与曾经同事一年的曾国藩会晤。参加会见的还有左宗棠。曾、左极力劝阻他不要再回贵州。经湖南巡抚路秉章同意，其由湖南藩库发饷。此后，胡林翼以600名黔勇为基础不断扩充队伍，组建了另一支湘军主力。在以后的政、军生涯中，胡林翼遇事果断处置，只要是合符情理的，他都毅然承担责任，不受制度桎梏。用他自己的话来说“守镇远、黎平诸剧郡，捕治盗贼，为民兴利除害，皆默自课程，唯恐大吏闻，有所牵掣。”可见，在贵州9年的经历，对胡林翼的影响是深远的。