不过，绍兴人并非是一直以“绍兴”这个地名为荣的，鲁迅便不愿意说自己是绍兴人。这两天翻看周作人的回忆录，其中这样一段颇有趣味。
“但是绍兴人似乎有点不喜欢’绍兴’这个名称，这个原因不曾深究，但是大约总不出这几个理由。第一是不够古雅，于越起自三代，会稽亦在秦汉。绍兴之名则是南宋才有。第二是小康王南渡偷安，但用吉祥字面做年号，妄意改换地名，这是很可笑的事情。第三是绍兴人满天飞，《越谚》也登载‘麻雀豆腐绍兴人’的俗语，谓三者到处都有，实际上是到处被人厌恶，即如在北京这地方绍兴人便很不吃香，因此人多不肯承认是绍兴人；鲁迅便是这样，人家问他籍贯，回答说是浙江。”
鲁迅之不喜欢绍兴想必是因为民国时期的人们对绍兴有一种先入为主的成见，反正梁实秋在跟鲁迅打嘴仗的时候便说鲁迅“单有一腹牢骚，一腔怨气”，接着便以他的籍贯来攻击，说因为“他是绍兴人”，便“也许先天的有一点‘刀笔吏’的素质”。
有一些材料可以证明，民国时期乃至更早的人们对于绍兴人的恶感，来自于对于“绍兴师爷”的丑化。
清代流行过这样一句话，“无绍不成衙，无徽不成当”，说当时衙门里的幕僚主要由绍兴人担任，绍兴人天生聪明且擅文辞，又素有读书之风气，但走上功名之途的成功者毕竟是少数，许多人只能选择入幕，再加上老乡之间互相提携与帮助，不止是师爷，官府里很多打杂跑腿的事，都由绍兴人包揽了下来。这些依靠官府为生的胥吏，其实也就是广义的“师爷”。日子一长，“绍兴师爷”的名声便传开去了。
在主张“无讼”的传统社会，这包揽词讼的职业天生招人讨厌。明代小说《醒世恒言》卷三十六《蔡瑞虹忍辱报仇》中就称：
