陶渊明的第二次出仕，即他在当时的枭雄桓玄手下任职的经历，过去人们留心的不多。桓玄是一位文韬武略都十分了得，在东晋晚期历史中扮演了翻天覆地的重要角色的人物。他的发迹不妨从公元398年说起，当时青、兖二州刺史王恭与荆州刺史殷仲堪联合对抗朝中摄政的司马道子，结果北府军名将刘牢之倒戈，致使王恭兵败被杀，桓玄和殷仲堪本来就是玄学辩友，这次事变他们是站在一边的，此时乘机成了江州刺史；第二年（399）桓玄又攻杀殷仲堪，再一年（400）为荆州刺史，兼领了江、荆二州。而大约就在桓玄先后据有江州和荆州的这一期间，诗人陶渊明进入桓玄麾下任职。
对此，最确实的证据是陶渊明自己的几首诗。公元400年的《庚子岁五月中从都还阻风于规林》诗二首，其中有“自古叹行役，我今始知之”的句子，表明诗人当时人在仕途无疑；诗中的“都”指东晋的都城建康，而“规林”应在寻阳附近，由此可知，这两首诗写于诗人“行役”赴都城建康之后返回西行，在离家乡不远处遇风停留之时。那么诗人“从都还”，是要“还”哪里呢？当然不是回“规林”附近的家，哪有当官出差完事之后便回家的道理？得销差。去哪儿销差呢？他在第二年也就是401年有一首《辛丑岁七月赴假还江陵夜行涂口》，里面出现了“怀役”二字：“怀役不遑寐，中宵尚孤征。”这与诗题中“赴假”、“夜行”显然是相应的，那么，诗题透露的信息乃是诗人在休假之后返还江陵，经过距武昌不远的涂口。这回销假返回的江陵，理应就是前一年“从都还”的目的地，这也正是前面提到的399年攻杀原荆州刺史殷仲堪而此刻正据有该地的桓玄的府中。鉴于桓玄398年开始领江州刺史，或许有理由推测，陶渊明早在399年桓玄攻灭殷仲堪之前、其据江州时就已投身桓玄麾下。无论如何，由诗人的这三首诗看，可以肯定，大约在401年及之前的两年甚至三年，陶渊明便在桓玄处任职。
毫无疑问，这该是陶渊明一生中最久的仕途经历了。那么，在桓玄手下，诗人有何作为呢？我们已经知道，400年的《庚子岁五月中从都还阻风于规林》显示他为桓玄担任了赴京使者，然而使命是什么呢？现代研究陶渊明最深入的学者之一逯钦立先生觉得，诗人很可能是在为桓玄上疏朝廷请求领兵讨伐孙恩而奔走。孙恩家世奉五斗米道，399年乘乱起事，为被司马道子所杀的叔叔孙泰复仇，一时声势浩大，攻入会稽，杀了当时的会稽内史王凝之，吴地诸郡动荡不已。这次孙恩虽然被刘牢之率军击退，回据舟山一带的海岛，但第二年的五月又卷土重来。在这样的背景下，桓玄请求讨伐孙恩，固然有正当的理由，然而事情往往也是复杂的，背后未必没有隐藏着桓玄借机东下的意图和野心。如果陶渊明担任的是这么一个代桓玄请求东下的使命，那还真是颇关紧要的。
陶渊明结束这段为时最久的仕途经历，倒不像第一次江州祭酒那样是自行一走了之的，而是他母亲孟氏401年冬天去世所致，这在诗人的《祭程氏妹文》里说得很明白：“昔在江陵，重罹天罚。”可见，陶渊明是在江陵桓玄荆州刺史门下得到母亲去世消息的。
或许会有疑问，诗人生平最久的这段仕途经历，何以千年以来颇为隐晦，少受留意呢？了解随后的情势变幻，大概可以悬揣一二。
就在陶渊明离开桓玄返回故乡为母亲守孝之后的两年半时间内，整个形势发生了巨大的变化：402年晋安帝下诏罪桓玄，桓玄因率军东下，几乎有反复倒戈习惯的刘牢之再次重演老把戏，投降桓玄，桓玄顺利攻入建康，杀司马元显，总揽朝政；次年（403）桓玄篡晋，改元建楚；接着的404年初，这一时代的另一位枭雄、后来代晋而立的刘裕起兵讨伐桓玄，双方在寻阳附近便有战事，而与刘裕站在一边的就有当时的江州刺史、刘牢之的儿子建德将军刘敬宣。最后的结果，桓玄兵败伏诛。在这一连串的变故之中，前半场，诗人是看客，后半场，则进场扮演了一定的角色。陶渊明在这时候有一首诗《始作镇军参军经曲阿作》，写诗人虽怀着留恋，但还是告别故乡，一路向东，担任镇军将军的参军去了；这位镇军将军，如今的研究者大致确定，就是刘裕，他当时驻京口，陶诗题中提及的曲阿与之相距不远。
