在一次学习会上，他直接说出了自己的所见所想。不久之后，王学泰有了好几条罪状，包括破坏生产工具、怀疑“总路线”“大跃进”和党的方针政策，无组织、无纪律等，从此成为了被批判的“落后分子”“反动学生”。1964年大学毕业后，王学泰被分配到了农场，接受“劳动考察”，一直到1969年才结束。
1972年，一向喜欢读书的王学泰结识了一帮书友，时常聚在一起，谈天说地，仍会谈论政治。当时“批林批孔”运动搞得极大，社会混乱，王学泰和一些书友认为这项运动“另有所指”。有一次，王学泰从书友那里借来了预言“国运”的谶纬“奇书”《推背图》，辗转又借给了一位姓顾的高干子弟干部。后来，这位干部因为过激言论被人告发，辗转又牵扯到了王学泰身上。
1975年初，王学泰被拘留了，先是在北京市看守所待了一年，随后以“现行反革命罪”被判处有期徒刑13年。1978年，王学泰平反释放，一共度过了三年的牢狱生活。后来，这些经历被他写成了书，在2013年以《监狱琐记》的名字出版，记录下了形形色色的囚犯、荒诞离奇的故事与“文革”末期的微妙社会心理。
“算起来，我在贫困落后的农村待过近十年、在监狱里待过三四年，可以说，社会底层各色人等都见过一些。”他在书里这样回忆。雷颐也认为，监狱生涯让王学泰能够接触到那些最底层的边缘群体，他们是被抛出社会秩序之外的一群人，这大大加深了他对于社会与人性的理解。
此后，80年代的帷幕开启了。他终于摆脱“落后分子”和犯人的身份，作为编辑和研究者，逐渐成为了大众所熟知的那个研究游民文化的学者王学泰。
江湖里的隐形中国
王学泰在1980年进入《文学遗产》编辑部工作，郑永晓则在1984年进入古代文学教研室，两者都隶属于社科院文学研究所。80年代末，王学泰离开《文学遗产》，也到了古代文学研究室，跟郑永晓熟络了起来。
