自幼以才名著称乡里的徐渭，一向颇有些自负自傲，对功名事业充满了向往，然而在科举道路上却屡遭挫折。二十岁那年，他才考中了秀才，此后多次参加乡试，直到四十一岁，考了八次，始终也未能中举。其间二十六岁时丧妻，从潘家迁出，以教书糊口，直到三十七岁时应胡宗宪之邀，入幕府掌文书。徐渭在科举中一再失败，并不是偶然的。他暮年作《自作畸谱》，还特地记下了六岁入学时所读的岑参《和贾舍人早朝》诗句：“鸡鸣紫陌曙光寒”，流露出无穷的人生感慨。
徐渭曾服务于胡宗宪。当时胡宗宪总揽江南7省军务，负责剿除沿海倭患，位高权重。不过，他在政治上却依附奸相严嵩。明嘉靖四十一年（1562年），严嵩倒台后没多久，胡宗宪也被捕下狱，其幕府解散。
此时，徐渭已经43岁，生计没有着落，又因为不肯为礼部尚书李春芳撰写以邀宠为目的的“青词”，受到威胁。此时诸事不顺，精神上的痛苦愈演愈烈，竟使他发狂自杀。
