组建中南海文工团一事酝酿于1953年夏季，这和中南海的舞会有些关系。以前中南海的舞会都是从各部队抽调，每次来人都要做严格的审查。于是罗瑞卿提议在中南海选拔自己的文工队，住在中南海东边的万寿殿。挑人的标准首先是政治好、思想好、作风好，相貌倒是其次。
命令下达到全军各个文艺团体的主管部门，抽调合格演员，到北京中南海报到。陆续来报到的演员，主要来自华北军区文工团、华东军区文工团、总政治部文工团、志愿军文工团、空军文工团、海军文工团这么6个单位，总数有40人左右，文工团就算成立了。以后陆续又有调进调出的，最多的时候达七八十人。
文工团内主要分两个部分：一个是器乐队，把一些领导人很熟悉的中国传统的乐曲，中国民歌，一些根据地传唱的老歌，改编成舞曲，调动领袖们、首长们的跳舞情绪；一个是演出队，包括声乐、舞蹈、自编自演些小节目，同时还陪领袖们跳舞。
文工团的宗旨很明确，为丰富中南海内娱乐活动，主要是春耦斋，以毛泽东、刘少奇、朱德这边为重点。但文工团成立以后，由于水平较高，演出的效果非常好，很受欢迎，结果中南海里各个单位举办舞会时都来邀请。国务院机关在紫光阁举办舞会，军委在居仁堂举办舞会，也来邀请。
然而好景不长，1958年志愿军从朝鲜全面撤军后，军队开始精简，军以下单位不得保留文艺团体的建制，中南海警卫团严格遵循规定，撤销了文工团。文工团员大多数去了北大荒农垦建设兵团；部分留在北京，有到总政文工团的，北京军区文工团的，中央人民广播电台的；还有些去了甘肃、湖南、浙江、福建等地方。
文工团虽然撤销了，但是中南海依旧关心着在各地工作的文工团成员。毛泽东就曾向工作人员询问在北大荒工作的文工团成员近况。
