祝允明的祖父祝颢是明正统己未（1439）进士，官至山西布政司右参政，六十岁后辞职回乡。他精于文，喜欢写行草书，远近都来求字。苏州的文士都很仰慕，和他一起交游的有几十人。成化癸卯（1483）去世，享年七十九岁。祝允明的父亲祝瓛不如他祖父，生前不太出名，而且比他祖父早五个月就去世了。那一年祝允明二十四岁。祝允明的生母在他十六岁时已经离世。因此祝允明青年时是很不幸的。外祖父徐有贞（1407—1472）字元玉，晚号天全，苏州吴县人。明宣德八年（1433）进士。后来因迎英宗复辟有功，委任为兵部尚书、华盖殿大学士，封武功伯。徐有贞才华绝世，天文、地理、道释、方技都很通。书法擅长行草，深得怀素、米芾笔意，在当时很有书名。