返回苏州，家中非常清贫，妻子大吵大闹，终于离他而去。
他住在吴趋坊巷口临街的一座小楼中，以丹青自娱，靠以卖文鬻画为生。
他在一首诗中写道：“不炼金丹不坐禅，不为商贾不耕田。
闲来写幅丹青卖，不使人间造孽钱。”
以表其淡干名利、专事自由读书卖画生涯之志。
唐寅三十六岁时选中城北桃花坞，建了一优雅清闲的家园，度其清狂生活。
桃花坞原是宋人章庄简的别墅，但经风雨沧桑，早成一片废墟。
不过这里景色宜人，环境十分幽静，一曲清溪婉蜒流过，溪边几株野桃衰柳，一丘土坡，很有几分山野之趣。
第二年唐寅用卖画的钱建成了桃花坞别墅。
虽只几间茅屋，檐下却悬着雅致的室名“学圃堂”、“梦墨亭”、“蛱蝶斋，等匾额。
唐寅一生酷爱桃花，别墅取名“桃花庵，”自号“桃花庵主”并作《桃花庵歌》：“桃花仙人种申晰，又折花枝当酒钱。
酒醒只在花前坐，酒醉还须花下眠。
花前花后日复日，酒醉酒醒年复年……”春日，园内花开如锦，他邀请沈周、祝允明、文徵明等来此饮酒赋诗，挥毫作画，尽欢而散……“日般饮其中，客来便共饮，去不问，醉便颓寝。
明正德九年（1514），他被明宗室宁王以重金征聘到南昌，后发现身陷宁王政治阴谋之中，遂佯装疯癫，脱身回归故里，后来宁王起兵反叛朝廷被平定，唐寅幸而逃脱了杀身之祸，但也引起不少麻烦，从此思想渐趋消沉，转而信佛，自号“六如居士，”“六如”取自《金刚经》：“一切有为法，如梦幻泡影，如露亦如电，应作如是观。”
自治一方印章“逃禅仙吏。”
从南昌回家后因常年多病，不能经常作画，加上又不会持家，生活艰难，甚至常靠向好友祝枝山、文征明俩人借钱过日。
其间有著名书法家王宠常来接济，并娶了唐寅唯一的女儿为儿媳，成了唐寅晚年最快乐的一件事。
明嘉靖二年（1523），54岁他健康状况更差，这年秋天，应好友邀请去东山王家—但见苏东坡真迹一词中有二句：“百年强半，来日苦无多，”正好触动唐寅心境，他一阵悲伤，告别回家后，从此卧病不起，不久结束了他凄凉的一生。
死后葬在桃花坞北。
嘉靖出年迁葬到横塘镇王家村。
他逝世后由其亲友王宠、祝允明、文徵明等凑钱安排后事，祝允明写了千余字的墓志铭，由王宠手书，刻在石碑上。
后世有关唐寅的生平事迹大多是从这墓志铭中得到的。
唐寅仕途坎坷，晚境凄凉，以致身后诗文几近散轶。
明万历年间，常熟书商何君立仰慕唐伯虎的诗文和为人，不惜重金，征求片纸只字，为他搜集整理诗赋词章。
将唐寅生前散较的近百首（篇）诗文核阅后付梓，这就使唐寅有了第一个较完善的诗文集传世，一时洛阳纸贵。
后来，江南著名的出版藏书家。
常熟书商毛晋也十分敬重唐寅才情为人，他在编录《明诗纪事》及《海虞古今文苑》时，又特地详细收录了唐寅生前诗文和较事，丰富和完善了唐伯虎诗文内容，为后代积累了生动的文化资料。
毛晋，后来还独立承担了重修唐寅墓的重任。
据《苏州府志》，崇祯甲申三月十六，毛晋与同郡士人游春至姑苏横塘王家村，因见一代才子唐寅之墓荆棘荒芜，牛羊放逐墓园，顿生哀悯之心。
他询问附近田夫，方知唐寅亡后，后嗣中唯剩一侄孙孀妇，经济拮据，困顿城内，以致唐寅四时之祭匮乏。
毛晋凄然感叹：“是朋友之罪也，千载下读伯虎之文者皆其友，何必时与并乎？”于是，毛晋慷慨解囊，重修墓封，再立碑石，并且择地墓旁造三间祠堂。
苏州地方官雷起剑亲作“重修唐解元墓”碑文，“更勒石以遗千古之有心者。”
现在唐寅故居仅存遗址，但西郊横塘唐寅墓还保存完好，1955年重新作了整修。
动乱期间墓地遭毁坏，后又修复。
唐寅墓包括闲来草堂、六如堂、梦墨堂、墓区、神道、牌坊。
整个墓地错落有致，恬静中透出几分风雅。
墓碑上刻有“唐解元之墓。”
闲来草堂后辟为茶室。
