主事见他真傻，也就听其所择。
他弟弟知道了，也骂他傻。他解释道：“天下官方，日趋于坏。捐官的人，都选择富裕之地，准备自肥。贵州，贫瘠之地，偏僻之境，一般人掉首而不顾。你大哥偏偏选择贵州的原因，是看到贵州的官吏还能奉上以礼不以货，讲礼仪则知道自重，不靠贿赂说明懂得恤民，这样的地方治理还有希望。”
他的朋友知道了，也十分不解，捐官的这笔钱本来还是其父辈好友和同学好友一起凑出来的，怎么选择人家不愿去的地方做官？他解释道：正因为我的钱都是大家资助来的，我第一次做地方官，贫瘠之地或许可以保持清白之风，不辜负良友的深情厚谊啊。
于是，胡林翼到贵州报到。
谁都不知道，就在丁忧守孝的几年间，胡林翼已经幡然醒悟，“池圃足高卧，图书供古欢”，自此洗心革面、独善其身。
第一站是贵州安顺，这个地方盗贼太多，身为知府，胡林翼立志安定一方。上任伊始，胡林翼即带头捐俸，倡导官绅百姓集资兴工筑渠，解决旱季供水难题，百姓大悦。他认为“今天下之乱不在盗贼，而在人心”。因此“用兵不如用民”，“用兵”只能治标，收一时之功，“用民”才是治本，享长久安定。于是经常芒鞋短衣，深入群众摸民情探匪情，带领官兵与盗匪作战数百次，积累了丰富的作战经验。又倡立义学，旌表节孝，移风易俗；办案透明公开，杜绝贪渎官吏上下其手，“门无私谒，案无宿牍”。
第二年，调镇远；次年升道员，署思南府；又次年调黎平府；四十三岁授贵东道。在贵州七年，胡林翼刻苦磨砺，修炼心性，励志政事，锻炼出一身带兵的本事，大家说他会做人、会做官、会带兵，口碑传至北京。
咸丰四年（1854年）初，湖北告急，湖广总督吴文镕奏调胡林翼驰援湖北。胡林翼立即率不足七百贵州兵千里驰鄂，从此又开始了人生的另一篇章。
