在国民党军的血腥镇压下，鄂豫区各级党组织和地方政权被迫转入地下，部队多被压缩在山区，昼夜与国民党军周旋，致使部队极度疲劳，加之粮食短缺、武器破损、弹药无着，的确是困难重重。面对这一严重的斗争局面，王树声根据中原局《关于开展大别山游击战争的指示》，明确指出“各级党委和部队要下定与大别山人民同生死共患难的决心，反对任何动摇右倾，部队要建设饱满的战斗意志，打击弱敌，打击土顽，反对清剿，力求打胜仗，是创造大别山根据地的先决条件。”
为了有效地打击敌人，王树声决定改编部队，他强调指出：“坚持大别山就是胜利！”“只要我们能在大别山坚持住，把敌人大量正规军牵制住，使我刘邓大军在外线大量歼灭敌人，将来全国胜利后，毛主席在功劳簿上也会给我们记上一份成绩。”
在王树声的率领下，鄂豫军区部队以百折不挠的精神，经过3个月的艰苦奋战，歼灭国民党军及国民党地方武装4000余人，有力地打击了国民党军的嚣张气焰，在极端困难的情况下站稳了脚跟，胜利地渡过了坚持大别山斗争中最为艰苦的时期。
“不剿灭土匪，我决不下战场！”
1949年6月，湖北军区迁至武昌。此时，鄂豫军区已撤销，王树声改任湖北军区第二副司令员。
国民党军从大别山败退时，有计划留下了部分武装人员，妄图利用大别山重要的战略地位和特殊复杂的地理环境，开辟所谓“第二战场”。大别山的匪患严重威胁着这一地区新生人民民主政权的巩固和社会的稳定，给群众带来了深重的灾难。为此，王树声主动请缨，要求到大别山指挥剿匪。
在军区的一次会议上，王树声站起来说：“我到大别山剿匪去，我要到那里去还账”。就这样，王树声毅然挑起了指挥大别山剿匪的重担。作为剿匪总指挥的王树声，密切关注各线战局的发展，及时调整部署，转变斗争方式，以营、连为单位，在内线控制要点，外线严密封锁，进行分片驻剿；同时展开强有力的政治攻势，发出布告，“凡各地股匪、散匪及其首领，不论过去如何，只要从今悔悟，改过自新，在火线上放下武器，或向政府登记悔过者，一律宽大处理，保证其身家性命之安全”。这一做法果然奏效，受尽饥饿和寒冷折磨的土匪，纷纷下山，缴枪投诚。
