1927年，陈毅在中央军事政治学校武汉分校，和恽代英、施存统组成校党委，陈毅任书记，公开职务是校政治部的准尉文书。陈毅到任后，即到各大队各支部了解情况，秘密开展工作。由于性格开朗，说话风趣，军校师生都很愿意同他交往。他很会做思想工作，本来政治部组织科长叶镛是国民党员，负责监视共产党人，却在革命低潮期被陈毅发展成了共产党员。
8月1日，南昌起义打响后，陈毅和二方面军军官教导团（原武汉中央军政学校）2000余人从武汉乘大小船只抵达九江，名义上是“东征讨蒋”，归张发奎指挥，实则是奉中共中央军委命令准备加入南昌起义部队。船只尚未靠岸，张发奎就命令官兵把武器留在船上，徒手上岸集合。隐蔽在教导团中的中共党委书记陈毅，感到形势严峻，上岸后立即召集共产党员秘密开会，提出三条应变措施：一是暴露身份的同志连夜出发到南昌，与叶、贺会合；二是有条件的同志分散回家，搞农民运动；三是未暴露身份的同志则留下来，隐蔽待机。大约有200多人愿意留下，这200多人组织了一个党支部。当晚，陈毅与特务连连长、共产党员肖劲步行到姑塘，坐小火轮前往南昌。
陈毅等人从九江出发，一路上敌人盘查得很严，于是，他们抄小路前进，一口气走了100多里，才在一个小镇找到一条船，经鄱阳湖进入南昌。
8月6日，陈毅和肖劲赶到南昌后，发现叶、贺起义军已经撤离，张发奎的部队已进了城。他们好不容易打听到起义军已去抚州方向，于是立即追赶，终于在抚州城里见到了紧张忙碌而秩序井然的起义军，并找到了周恩来和刘伯承。当时起义军后面有朱培德的追兵，抚州附近还有杨如轩的部队。此时，赣东一支绿林武装派人来接头，愿意接受叶、贺军的委任和指挥，条件是给他们一部分枪支。周恩来、刘伯承就要陈毅带着肖劲去联系，到这支绿林部队去做改造工作。但他们按预定办法和对方的司令联系时，起义军已开走，追兵已进了抚州。绿林部队联系代表逃避不见。陈毅、肖劲出城时被哨兵抓住。幸而陈毅说动了哨兵，得以脱险。此后，陈毅摸黑急走50多里，终于于8月10日在江西宜黄再次赶上起义部队。
周恩来与刘伯承等商量后，分配陈毅任第二十五师七十三团的团党代表。周恩来说:“派你做的工作太小了。你不要嫌小！”陈毅真诚而喜悦地说:“什么小不小哩！你叫我当连指导员我也干。只要拿武装我就干！”
