家藏书甚富。自称：平生所购《周易》、《礼经》、《毛》、《左传》、《史记》、《三国志》、《唐书》之类，过3 000卷，均为宋本精椠。前后班、范二书，尤为诸本之冠。家有别墅“弇山园”，自称“吾弇山园之中，为楼者五，为堂者三，为室者四”。于园后建“小酉馆”，贮书达3万余卷。明学者胡应麟记其“小酉馆藏书凡三万卷，二典不与”。另将经学之书专藏于“藏经阁”中。对宋椠元刊之书，另作“尔雅楼”贮之，又于“九友斋”中，藏宋本两汉书，为斋中第一宝。此书后归于“天禄琳琅”。收藏名迹有《哀册》、《汝南志》、《季直表》等；收藏名画有《清明上河图》、《烟江叠嶂》等；与唐顺之为莫逆之交，两人皆以文学、藏书而知名。又与范钦、项元汴等藏书家有藏书互抄之约。家设有专人管理书楼，非常熟悉藏书布局，史称“能解公意，公欲取某书、某卷、某页，一脱声即检出待用”。藏书印有“贞元”、“抚治郧阳等处关防”、“天弢居士”、“伯雅”、“仲雅”、“季雅”、“五湖长”、“乾坤清赏”、“默然守吾口”、“太仆寺印”、“王氏元美”、“有明王氏图书之印”、“汉晋唐斋”、“元美氏”等。