桓温当然是明白人，说：“我晓得了，这是你爹不答应啊。”王述以桓温为“兵”，当时这是强烈蔑视的表现。至于陶氏家族，陈寅恪先生认为本来出自溪族杂处地区“业渔之贱户”，因而士族胜流视同异类，只因东晋初年以军功致显，但仍受到歧视。《世说新语》里记有一则故事：王胡之住在会稽东山的时候很穷，当时陶侃的儿子陶范送一船米给他，结果竟然被拒绝了，王直截了当地说：“我王家的人没米下锅，自会去找谢家的谢尚讨，不要你陶家的米。”研究《世说新语》极为精深的余嘉锡先生对此分析道：“因陶氏本出寒门，士行（陶侃）虽立大功，而王、谢家儿不免犹以老兵视之。”最值得留意的是《世说新语》的这条记载：
袁宏始作《东征赋》，都不道陶公（陶侃）。胡奴（陶范）诱之狭室中，临以白刃，曰：“先公勋业如是，君作《东征赋》，云何相忽略？”宏窘蹙无计，便答：“我大道公，何以云无？”因诵曰：“精金百炼，在割能断。功则治人，职思靖乱。长沙之勋，为史所赞。”
但对这条文字，刘孝标为《世说新语》做注的时候引了另外一本史书《续晋阳秋》的记载：
（袁）宏为大司马（桓温）记室参军，后为《东征赋》，悉称过江诸名望。时桓温在南州，宏语众云：“我决不及桓宣城（桓温之父桓彝）。”时伏滔在温府，与宏善，苦谏之，宏笑而不答。滔密以启温，温甚忿，以宏一时文宗，又闻此赋有声，不欲令人显闻之。后游青山饮酌，既归，公命宏同载，众为危惧。行数里，问宏曰：“闻君作《东征赋》，多称先贤，何故不及家君？”宏答曰：“尊公称谓，自非下官所敢专，故未呈启，不敢显之耳。”温乃云：“君欲为何辞？”宏即答云：“风鉴散朗，或搜或引。身虽可亡，道不可陨。则宣城之节，信为允也。”温泫然而止。
显然，这两则记述极为相似，我们不必追求两者之间究竟是张冠李戴了，还是都曾发生过，桓、陶两家故事可以有这样的纠葛，透露出两家在彼时高门世族视野中彼此地位相侔。就陶渊明而言，其家族从曾祖陶侃开始，为国家勋臣，到诗人这代已然衰落，作为旧家子弟，陶渊明的自我认同或许是很以祖先为傲的，但实际环境之中则远非如此，其不受高门世族之尊重，与桓氏颇为类似。这或许是陶渊明与桓氏之间一种精神合契的基础吧。
说到家族，更进一步的关系，在陶渊明仰慕的家族人物中除曾祖陶侃外排名第二的是外祖父孟嘉。孟氏为武昌地方望族，乃当时名士，陶侃镇荆州时将自己的第十个女儿嫁给他，他们所生的第四位女儿即陶渊明的母亲孟氏。孟嘉在桓温手下做事，两人关系亲密，陶渊明为外祖父写的传记里有不少涉及，比如非常有名的逸事：“温尝问君：‘酒有何好，而卿嗜之？’君笑而答曰：‘明公但不得酒中趣尔。’又问听妓，丝不如竹，竹不如肉，答曰：‘渐近自然。’”这篇传写在陶母孟氏去世的诗人居忧期间，如前所述，正在此前后局势发生巨大变化，桓玄挥戈东下，直至最后代晋立楚；以此为背景看，曾仕于桓玄的诗人走笔书写外祖孟嘉与桓温的往事，除了显示他对自己家族与桓氏家族关系的了解和关切，有没有别的意思，真不那么好说。即便我们不做过度揣测吧，以这样的关系来看，当初陶渊明投身桓玄，至少属于一个颇为自然的选择：在诗人，桓玄是自己崇敬的外祖父的主官桓温的儿子；在桓玄，这是父亲早年一位僚属的外孙。
再次，陶渊明与桓玄之间，也不是仅有故旧亲属之类的关联，说得堂皇一些，可以说他们之间也有思想和信仰上的共同语言。陶渊明比桓玄大几岁，同代人接受了大致类似的教育，拥有类似的文化教养。陶渊明诗里说，自己是“少年罕人事，游好在六经”；而桓氏家族初以儒学立身，作为幼子的桓玄甚受桓温宠爱，传统之教养可想而知，如果要举出例证，不妨看桓玄与当时庐山高僧慧远的交往。《高僧传》记载399年桓玄从江州出发攻击荆州殷仲堪之前，曾入庐山与慧远见面，当时他就佛教徒削发出家，依据《孝经》“身体发肤，受之父母，不敢毁伤，孝之始也”问难道：“不敢毁伤，何以剪削？”慧远早先也是熟读儒书、“博综六经”的，随即以《孝经》下文“立身行道，扬名于后世，以显父母，孝之终也”作答：“立身行道。”显然，他们之间的论辩都基于儒家经典。
