西华德听说以后，怀着沉重的心情，亲自过去把衣服全都买了下来。
离开白宫时，林肯太太带走了二十个行李箱和五十个包装箱。
这引起了许多不堪的言论。
之前，已经有人不断公开指责她伪造接待拿破仑王子的花销账目，以此来欺骗美国财政部。这次，她的敌人们则说，她进白宫的时候只带了几个行李箱，离开的时候却带走一车的东西……为什么？……她这是要洗劫白宫吗？是把能拿走的东西都拿走了吗？
即使到了1867年10月6日——她已经离开华盛顿近两个半年头——《克利夫兰先驱报》在谈到林肯太太时还在说：
“要让全国都知道，要花费十万美元才能补偿白宫遭受的掠夺，要查出谁才是这掠夺行为的受益者。”
的确，在这位“玫瑰女皇”统治期间，白宫是有很多东西被盗，但这也不能全怪她。当然，她也有错：她刚进白宫，就辞掉了管家和其他几位雇员，说她要亲自管理这个地方，让它走上节约的轨道。
她真这样做了，结果仆人们几乎把除门把手和厨房里的炉子之外的东西偷得一干二净。1861年3月9日，据《华盛顿星报》报道，许多参加白宫首次招待会的宾客丢失了外套和罩衣。不久之后，白宫的陈设也被偷偷运走了。
五十个包装箱，二十个行李箱！里面装了什么？大部分都是没用的东西：毫无用处的礼物、雕塑，毫无价值的画作和书籍，蜡质花环，以及许多过时的衣服和帽子——这是她多年前在斯普林菲尔德时穿戴的衣物。
“她酷爱收集旧物。”凯克莱太太说。
她打包行李的时候，刚从哈佛大学毕业的儿子罗伯特劝她把这些没用的东西一把火烧了。她对此嗤之以鼻，罗伯特说：
“但愿把箱子拉到芝加哥去的马车能着火，把你这些东西烧个精光。”
那天上午，林肯太太离开白宫的时候，“几乎没有朋友来为她送行，”凯克莱太太写道：“这是一种让人痛苦的沉默。”
连新任总统安德鲁·约翰逊也没有向她道别。事实上，林肯遇刺以后，他甚至没有给她写过一句同情的话。他知道她看不起他，他也同样看不起她。
从历史的角度来看，这尽管荒唐，但当时林肯太太却坚定地相信安德鲁·约翰逊是刺杀林肯的幕后主使。
林肯的遗孀带着两个儿子泰德和罗伯特，来到芝加哥。他们在特里蒙特酒店住了一周，觉得太贵，就搬到了“海德公园”避暑胜地“小而陈设简单”的房子里。
她因为住不起更好的房子而哭泣，拒绝跟任何朋友或亲戚见面及写信，只是一心教泰德识字。
泰德是林肯最宠爱的儿子，他的大名叫托马斯，但是林肯叫他“泰德”或“小蝌蚪”，因为他小的时候脑袋特别大。
泰德常常和他的父亲睡。这孩子就躺在白宫的办公室里，等他睡着，林肯再把他扛起来，放到**。泰德一直有语言障碍，他的父亲总迁就着他；他也很机灵，拿自己的口吃当挡箭牌，逃避学习。现在，他已经十二岁了，却还不能读书写字。
根据凯克莱太太的记录，第一节拼写课上，泰德争论了十分钟，坚持说“猿”该拼成“猴”。这个词旁边有一幅木刻版画的插图，他认为画的是一只猴子，结果三个人一起努力才让他相信自己错了。
林肯太太想尽一切办法，试图说服国会把林肯第二个任期的工资共十万美元付给她。国会拒绝了她，她就辛辣地谴责那些用“他们无耻、邪恶的谎言”阻止她的计划的“魔鬼”。
“这些白头发的罪人死后，”她说，“邪恶和谎言之神会找他们算账的。”
最终，国会付给她两万两千美元——接近林肯一年的工资。她用这笔钱在芝加哥购买并装修了一所豪宅。
两年过去了，林肯的财产还未确定，这段时间里，她的花销迅速爬升，债台高筑。不久，她开始把房间短期出租，后来又长租给房客，最后，她不得不离开家，自己出去租房住。
她的进账日渐枯竭，到1867年9月，如她自己所言，她到了“惊人的为生计发愁的窘迫地步”。
