不久他即担任湖北巡抚，不仅将“天下第一破烂鄂”治理成“天下第一富强省”，而且和曾国藩实心相处，英雄援手，成为中兴名臣。
在湖北，他留下了几句话。第一句是：“官是苦海，不努力不能保全地方，过努力则一身一心之苦累，不可言状。”第二句是：“吾等做官如仆之看家，若视主人之家如秦越之处，则不忠之大焉。”这里的“家”指的就是国家和人民。为国家和人民，就是苦海也得照闯。胡林翼最后吐血而死，实践了他的“赤心以忧国家、小心以事友生、苦心以护诸将”的为官信条。曾国藩称他“忧国之诚，进德之猛，好贤之笃，驭将之厚，吏治之精，无善不备，无日不新，同时辈流，固无其匹，即求之古人中，亦不可多得”。
