作者出生于太平天国战乱之后，当时，“四海平靖，五谷丰稔，国顺家兴”，故取名为“潘国顺”。书中的《自述俚言随笔》，概述了其人的生平经历——潘国顺五岁时父亲就已去世，十四岁跟从族父前往饶州一带经商。据他自述，在饶州的十年间，从商之余，自己每晚读书都要读到三更。由于志不在此，所以在米业中从商颇感吃力。后来，潘国顺一度与朋友合伙经商，但他认为自己所遇匪人，故以折本告终。半年之后只得返乡，在黟县九都的山中做塾师。黟县九都即今屏山一带，地处丘陵地区，根据潘国顺的观感，当地人相当固执，难以教化，故而他在一年多以后便辞去塾师的行当，经新安江前往浙江的杭州、湖州、海盐一带，先后到过当地的木行、盐栈求职，结果都没有成功。当时，黟县的商人遍布于长江三角洲各地，外出求职的徽商，往往循着乡族的网络前往投亲觅友，潘国顺自然也不例外。不过，他找遍了熟识的亲朋好友，结果却没有一个地方可以容纳自己，这让他感慨良深，也颇为惭愧。潘国顺说，在求职过程中，自己相当努力。每到一个地方，只要有人想要他的书画，或者请他代写禀帖、牒文的，他都是有求必应，即便是生病时也不敢怠慢。不过，尽管如此，他还是未能如愿。到了年终，哥哥来函催他回家伺候母亲。考虑到自己在外穷困潦倒，所以也只能回到黟县家中。此后，在家中赋闲了两年，整日幽居斗室，长吁短叹。后来，才在一位朋友的劝说下，到县衙门充当了刑科吏胥。
在清代，徽州人对充当胥吏有着特殊的看法。譬如，歙人江绍莲就指出，书吏鱼肉乡民，虽然到处皆然，但在徽州却有所不同。“充是役者，大都钜姓旧家，藉蔽风雨，计其上下之期，裹粮而往，惴惴焉以误公为惧。大憝巨猾，绝未之闻。间有作慝者，乡党共耳目之，奸诡不行焉。”他认为，这并非徽州人尽皆良善，而是因为聚族而居，在乡里公论的压力下，一般人断不敢为非作歹。故此，在此地充当胥吏总是让人如履薄冰。在这种背景下，潘国顺亦深感此一职役颇为尴尬，随波逐流吧惟恐招致天谴，但倘若凭着良心办事，则又会被县里斥责为办事不力。据说，他很想辞去此一职役，但一想到母亲还得有人赡养，暂时无法脱身，故只能抱着“在家如出家，立志踞德隅”的态度，也就是力图超然物外，立身纯正。这当然是他的一面之词，其间是否有涂饰个人不堪经历之处，实难确知。
除了上述的《自述俚言随笔》之外，《扫愁帚笔谈》中还有一篇潘国顺的自传，其中提到，潘国顺生于同治七年（1868年）。在他出生的前一晚，母亲梦见自己前往一观音堂，抬头瞻望，看到观音大士坐在莲座上，其下有数十个衣红穿绿的婴孩，各执旗幡，嬉戏其间。既而梦醒，则腹中疼痛，随即生下了潘国顺。这当然是民间信仰中“观音送子”的老套路，潘氏藉此证明自己之出身不凡。另外，根据他的自传：
顺一兄一弟，皆壮伟，惟顺即疾病频仍，娇如处子，然性极聪慧，闻此识彼，且孝友弥笃，廉隅慎重，恒择地而蹈。爱读书，工翰苑，不善作生人活业。幼失怙，家贫，喜独居，好雅洁。年方而立，参透炎凉，遂寄情烟酒，托意篇章。每奉《阴鸷文》，勤恳劝世，尝语人曰：人如白驹过隙，一旦殂谢，都埋荒丘。家虽贫窭，亦可尽其心之所能到，徐修德业，未为弗可。若富者拥赀巨万，不知为善，所衣所食，无非温饱，其与贫者何异？……常欲脱颖而作出岫之云。因母年老多病，兄与弟皆贪利远游，嫂等均愚忤，故潜居侍养，宁金尽床头，不敢须臾离也。
