初被判为死刑。经亲朋好友多方营救，直到万历元年(1573年)新皇帝即位，大赦天下，才重新获得自由。这时，徐渭已经整整坐了7年牢。
最有效的“自杀”——穷死
徐渭出狱后，已经52岁了。在生命的最后20年里，他的个性越孤傲，行为越放肆。
徐渭晚年与儿子不和，生计无着，只能靠卖字画度日。但他极其厌恶权贵，富贵之人的宴请从来不去，反而左邻右舍的平头百姓，一把青菜、一条鱼、一杯酒，往往就能换到他挥毫泼墨。他风趣地自嘲是“数点梅花换米翁”。
70岁时，徐渭意识到自己的生命快走到尽头，开始着手撰写《畸谱》，为自己的一生行事编年。所谓“畸人”，语出《庄子》，指的是特立独行、不同流俗的人。他们乖异于人伦、却合于自然天道。
明万历二十一年(1593年)，72岁的徐渭在自己破旧的小屋中，离开人世，身下是杂乱无章的稻草。门外，是那副流传千古的对联：“几间东倒西歪屋，一个南腔北调人。”
谁也没想到自杀九次不成的徐渭，最终竟是穷死!