汤一介的祖父汤霖,字崇道,号雨三。汤霖自幼聪颖好学,并在各类科试中屡次拔得头筹,1890年考取进士。此后,汤霖曾在甘肃渭源、碾伯、宁翔、平番等县任知县。
汤霖在任知县期间,推崇文化教育,执政有方、官风清廉。《创修渭源县志·职官表》和《渭源风土调查录·汤霖传》曾载:“汤霖,字雨三,湖北黄梅县人,光绪庚寅科进士。下车观风课士,讲授文学,因以执师生礼,而官民之风变焉。迨后文明日进,先生使然。”
因为执政有方,当地老百姓还送其“汤青天”的美名。1903年前后,汤霖任甘肃乡试同考官、甘肃省优级师范学堂庶务长。1906年,清政府废除科举制度,创办新式学堂。此后,汤霖致力于创办新式学堂,并成为推行新式教育的先行者。1906年3月,汤霖与当时同样来自湖北又为翰林出身、时任甘肃提学使的陈增佑等成功合办了新式学堂——甘肃省优级师范学堂。
关于汤霖参与创办的甘肃省优级师范学堂,在《甘肃文史资料选辑》第十七辑刘尊贤所著《清末甘肃优级师范学堂》文中曾这样记载:“监督为湖北人陈增佑(翰林出身,时任甘肃提学使),教务长为甘肃人张林焱(翰林出身,曾任翰林院检讨),庶务长为湖北人汤霖(进士)和山东人郁华(举人)。教员有张焱(授历史),郁华(授算学、图画、地理)王泽闿(授理化),李兴勇(授博物),邵登凯(授算学),邓宗(授教育、伦理、心理、英文),谭其茳(授伦理、日文),金常(授法制、理财),文琳(旗人,授体操)等。”
汤霖力主创办新式学堂,而且先后将自己的两个儿子,汤用彬、汤用彤送进新式学堂学习。汤用彬,20岁考上同文馆主学俄文,其中国文学造诣同样深厚,曾主编了著名的民国奇书《帝都景物略》。汤用彤则于辛亥革命后考入清华学堂,后赴美留学。