最早的第三集团军番号属于阎锡山的晋系军队。1927年，北伐节节胜利，山西军阀阎锡山立即抛弃北洋政府，下令取消北洋政府任命他的督办名义，改称晋绥军总司令，并声言响应北伐。1927年4月25日，武汉国民政府军事委员会将晋军改编为国民革命军第三集团军，任命阎锡山为总司令。而阎锡山认为武汉政府“为共产党所操纵”，拒绝武汉政府的任命。南京国民政府随后任命阎锡山为北方国民革命军总司令，阎锡山欣然接受，并于6月6日在太原宣誓就职。
1928年2月28日，国民政府第42次会议议决，将晋阎军改编为国民革命军第三集团军，阎锡山为总司令。1930年中原大战失败后，阎锡山的第三集团军瓦解，所部为张学良改编。
抗战全面爆发后，国民政府于1937年8月20日将全国划分为5个战区，每个战区下设若干个集团军。韩复榘的第三路军被改编成第三集团军，隶属第五战区，负责山东南部及江苏一部的战斗，战区司令长官由蒋介石兼任（后李宗仁）。首任集团军总司令为韩复榘、副总司令为于学忠和沈鸿烈，下辖第12军、第55军、第56军和第51军，其中孙桐萱为军长的第12军、谷良民为军长的第56军和曹福林为军长的第55军为韩复榘的部队，51军则是前东北军的部队。
1938年初，韩复榘被国民政府军事委员会下令处决，于学忠继任该集团军总司令。第三集团军曾参加台儿庄会战外围作战，第51军第114师师长方叔洪、第102师第306旅旅长扈先梅均在作战中阵亡殉国。前敌总指挥兼55军军长曹福林以56军军长谷良民作战不力，率先失守河防阵地，导致全线崩溃为由，逼迫孙桐萱撤销了56军番号，谷良民被迫离开军界去重庆经商，所部22师并入12军，74师并入55军。
1938年夏，第三集团军调归第九战区指挥管辖，于学忠改任第五集团军总司令，孙桐萱被任命为集团军总司令，但因第56军番号撤销(其第22师编入第12军，第74师编入第55军)，而第55军加入第二集团军，第51军加入第三十一集团军，仅辖第12军，后第三集团军在江西参加武汉会战。
1939年初，第三集团军调归第一战区指挥管辖，自此长期驻守河南。由于国民党政府对韩复榘旧部采取限制、分化的政策，1939年7月，55军转隶张自忠第三十三集团军，曹福林仍兼第三集团军副总司令、第55军军长。至1943年夏，第三集团军只辖有第12军的第20师、第22师、第81师。
孙桐萱被扣押之后，第3集团军被撤，其基本部队第12军被收编。汤恩伯将营以上军官大部分进行了撤换，贺粹之担任军长，只辖第22和81两个师。不久12军番号撤销，12军下辖的22师、81师拨归曹福林的55军，55军成为4师制的加强军。
第三集团军的番号也曾一度恢复，被转给了国民党中央军嫡系胡宗南所控制的第八战区的部队，集团军总部设在甘肃武威，总司令为胡宗南的老部下李铁军，下辖第91军的暂58师、骑10师、新编第4师等部，李铁军调任国民革命军第二十九集团军总司令后，集团军总司令名义上由第四集团军第38军军长赵寿山继任，但实权控制在副总司令于达手中。1946年8月被国民党当局撤销了第三集团军总司令职务，剥夺了赵的兵权。
抗战后，国民党军实行整编，大部分集团军取消，其余的集团军被改为整编军，下辖若干整编师。原第三集团军第22和81两个师被缩编为整编81旅，并入刘汝明的第四绥靖区整编68师，后来又恢复为68军81师。
解放战争期间，原第三集团军曹福林的55军（整编第55师）被解放军打得一败涂地，解放军发起渡江战役时，55军残部弃阵而逃，退往台湾后番号被撤销。在刘汝明撤往福建时，其68军81师在师长葛开祥率领下起义，副军长王振声和参谋长杜允中也随同起义。
