1927年，蒋介石在上海发动了“四一二”政变，江西陷入一片白色恐怖之中。吉安全城戒严，查封工会、农会、学生会、报馆等机构，强行押送国民党左派和革命团体负责人出境，收缴县农协自卫队的武器。共产党人被迫转入地下活动。
叶剑英必须做出抉择。跟着蒋介石，高官厚禄指日可待，政治前途一马平川；而共产党这边的前景还一片模糊，入党恐怕就要隐姓埋名颠沛流离，整个党组织能否生存下去还是个问题。叶剑英多年后回忆道：“宁汉分家以后，蒋介石说汉口反革命，武汉说蒋介石反革命，两下吵。我对武汉没有多少怀疑。但蒋介石还是总司令。究竟跟着谁走？那时没人来，也没电报来。我就自己看报纸，关上门，想了几天，什么问题都想到了。我想到自己年轻时立志为国为民做点事，参加革命后当了师长。那时师长每月差不多都有二三万元收入。二三万元不少了，十个月就是二三十万，公公道道，做二三年师长就是个百万富翁⋯⋯如果只是为了个人，跟蒋介石走，至少可以做大官。但是，蒋介石在上海屠杀工人，屠杀群众，变成了十足的反革命！一个革命，一个反革命，阵线已很分明了。参加革命，还是反革命？想了想，只有革命才有出路。所以我就下了决心。”
1925年，东征陈炯明的黄埔学生军
经过再三考虑，叶剑英决定反蒋。他召集全师军官开会，公开宣布：愿意革命的，拥护武汉政府的留下；拥护蒋介石，想去南京的，也请自便。会后，叶剑英亲自起草并领衔签发了反蒋通电。
叶剑英发出的反蒋电文震惊国民党政界军界。当第四军副军长陈可钰将这件事报告给蒋介石时，蒋介石根本不信，说：“叶师长不会反对我们的。”陈第二次又去报告：“叶师长真的反对我们。”蒋介石看也不看，偏了偏头，说：“好啦，知道了，你下去吧。”
通电反蒋后，叶剑英率领一批左派军官离开了吉安，留下的左派军官发起暴动。蒋介石得知二师暴动，才终于相信了叶剑英已背离他的事实。他愤怒地宣布，开除叶剑英国民党党籍。1927年7月，经周恩来同意，中共中央批准叶剑英为中共正式党员。
