最早的第三集团军番号属于阎锡山的晋系军队。1927年，北伐节节胜利，山西军阀阎锡山立即抛弃北洋政府，下令取消北洋政府任命他的督办名义，改称晋绥军总司令，并声言响应北伐。1927年4月25日，武汉国民政府军事委员会将晋军改编为国民革命军第三集团军，任命阎锡山为总司令。而阎锡山认为武汉政府“为共产党所操纵”，拒绝武汉政府的任命。南京国民政府随后任命阎锡山为北方国民革命军总司令，阎锡山欣然接受，并于6月6日在太原宣誓就职。
1928年2月28日，国民政府第42次会议议决，将晋阎军改编为国民革命军第三集团军，阎锡山为总司令。1930年中原大战失败后，阎锡山的第三集团军瓦解，所部为张学良改编。
抗战全面爆发后，国民政府于1937年8月20日将全国划分为5个战区，每个战区下设若干个集团军。韩复榘的第三路军被改编成第三集团军，隶属第五战区，负责山东南部及江苏一部的战斗，战区司令长官由蒋介石兼任（后李宗仁）。首任集团军总司令为韩复榘、副总司令为于学忠和沈鸿烈，下辖第12军、第55军、第56军和第51军，其中孙桐萱为军长的第12军、谷良民为军长的第56军和曹福林为军长的第55军为韩复榘的部队，51军则是前东北军的部队。
1938年初，韩复榘被国民政府军事委员会下令处决，于学忠继任该集团军总司令。第三集团军曾参加台儿庄会战外围作战，第51军第114师师长方叔洪、第102师第306旅旅长扈先梅均在作战中阵亡殉国。前敌总指挥兼55军军长曹福林以56军军长谷良民作战不力，率先失守河防阵地，导致全线崩溃为由，逼迫孙桐萱撤销了56军番号，谷良民被迫离开军界去重庆经商，所部22师并入12军，74师并入55军。
