第一次国共合作实现后，国共两党对干部的需求量激增，苏联政府在莫斯科成立的东方大学中国班及黄埔军官学校已不能满足实际需要。于是，苏联方面另外再单独创办一所培养国共两党干部学校的计划便应运而生。
1925年10月7日，苏联顾问鲍罗廷在国民党中央政治委员会第66次会议上，正式宣布为纪念孙中山先生而筹建的莫斯科中山大学建立，同时建议国共两党迅速选派学生赴该校学习。根据他的建议，广东国民政府成立了由汪精卫、谭延闿、古应芬组成的选拔委员会，鲍罗廷任选拔委员会顾问，并立即着手在广州、上海、北京、天津等地选拔学生赴莫斯科学习。
当时正处于第二次东征期间，战事正频，虽然黄埔军校严禁黄埔一、二期学生报考，但基本上还是尊重了学生的个人意愿。蒋经国以及许多国民党党政要员的子弟也都报了名。
广东地区的留学生选拔主要是通过考试来进行的。考题为《什么是国民革命》论文一篇，笔试之后，公布初选名单，然后再进行口试。在黄埔军校学生中，报名也非常踊跃。据不完全统计，仅黄埔第一期去莫斯科中山大学留学的就有梁干乔、陈启科、萧赞育、邓文仪、左权等人。为了能去留学，很多人都开动了“脑筋”。比如邓文仪先去偷偷报考，获得通过后，再绕过学校，直接跑到汕头前线向蒋介石恳请恩准。
这批学生进入莫斯科中山大学后，依党籍、年龄和教育程度进行分班。考虑到回国以后的安全，到莫斯科中山大学学习的每位中国学生都取了苏联名字。
大学的学制为两年，第一学年主要学习俄语，每天为4课时。其他课程有：政治经济学、历史、现代世界观、俄国革命理论与实践、民族与殖民地问题等。第二学年主要课程为中国革命运动史、世界通史、马克思主义哲学、列宁主义原理、经济地理等。此外，莫斯科中山大学还设有军事训练。在军事研究室里陈列着各种普通武器和地形沙盘。学生常去莫斯科附近的军事院校参观和到附近兵营去打靶，接受野战训练。办学期间，列宁夫人克鲁普斯卡娅、斯大林、宋庆龄、冯玉祥、胡汉民、邓演达等曾来大学作过演讲。曾任黄埔军校政治部主任的邵力子是常驻中山大学负责监察的人士之一，他不仅来校视察学生情况，还和他的儿子邵志刚一同听课。
