由此可见，在五四运动及其后那样一个政治、思想上大混乱的年代，杨匏安以超人的前瞻性，预测到中国将来的社会必将是一个以马克思主义为指导的美好社会，为此他热情澎湃地大力宣传马克思主义，已成为我国南方最早的马克思主义传播者，是继李大钊之后，我国第二个马克思主义宣传者。杨匏安还在学校、铁路教职工中宣传马克思主义，对促进马克思主义和华南工人运动的结合，对促进广东党组织的建立，作出了不可磨灭的贡献。
1920年10月间，杨匏安结识了在《广东群报》上介绍马克思主义的谭平山。由于志趣相同，他们过从甚密，经常探讨马克思主义传播等问题。
1921年春夏间，陈独秀来广州任广东省教育委员会委员长后，杨匏安由谭平山介绍加入了广东的共产党发起组，开始从事青年和工人运动，历任广东社会主义青年团代书记，中共广九、粤汉铁路支部书记。1923年6月中共三大以后，他又受中共中央委派参加了由孙中山领导的国民党的改组，此后3年间在国民党中央当过第二届中央委员、中央组织部秘书和代部长等职，以此身份大力发展共产党的组织和工农运动。他是国民党改组后兼职最多、工作最忙的人。他的工作范围，涉及到全国各省、市及各机关、军队、华侨、工商团体等部门国民党的改组工作，主要任务是向“正在堕落中死亡”的国民党注入新鲜血液，将被官僚、政府把持的华侨、资产阶级、小资产阶级的国民党改造成为以工农为主体、四个阶级（即工人、农民、小资产阶级、民族资产阶级）联合的民族革命统一战线的政党。在杨匏安等共产党人和国民党左派的积极合作下，国民党的党员迅速发展到30余万人。其中，广东的党员在1925年11月省党部成立时仅有1.5万余人，到1926年11月，已发展到18.3万余人，一年间增加了11倍多，为全国各省之冠。正是在国共合作的旗帜下，各地革命运动蓬勃兴起，国民革命政府统一了两广，巩固了革命根据地，取得了北伐进军的胜利。
蒋介石逃台后所写的《苏俄在中国》一书，还攻击杨匏安“控制”组织部，“用这一关键地位来执行其渗透工作”。1926年春，蒋介石压迫共产党和左派时自任中央组织部长，杨匏安被迫辞职，后仍在广州做统战工作。1927年春，他到武汉参加中共五大，当选为中央监察委员，8月参加“八七”会议后南下广东，利用老关系以策应南昌起义军。同年11月，因与谭平山的关系，杨匏安被党的领导机构列为“第三党”成员，被撤销了中央监察委员职务，并给留党察看处分。其实杨匏安本人当时是反对谭平山组织第三党的，此处分属于冤屈。尽管如此，杨匏安仍表示“公忠不可忘”，对党的事业矢志不渝，服从党的安排，流亡万里远赴南洋工作。不仅如此，国共合作期间他将每月300多大洋的高薪绝大部分交给党作活动经费，仅留下极少部分作家用。
1929年初，杨匏安从南洋回到上海，参与党中央的报刊出版工作，家人也从广州迁到上海。他参考苏联东方劳动大学和中山大学的历史讲义，编译成20余万字的《西洋史要》，署名王纯一，交由杜国庠主持编务的上海南强书店出版。这是我国最早用历史唯物主义观点编写成的西方史著作，共18章。此书以鲜明的观点，流利的笔锋，扼要地阐述了西欧各国革命史特别是国际共产主义运动史。这是当时国内学习西方史十分难得的参考书，曾再版5次。1930年，杨匏安被捕后关押了8个月，经组织营救而获释，并被任命为中央农委兼农民部副部长。为了借鉴俄国和资本主义国家的经验而解决根据地土地革命后的地租问题，他翻译了拉比杜斯的《地租论》，并把列宁的有关著述译成中文作为附录，仍然署名王纯一，交由南强书店出版。
