选失败离任。由于总统任内花销太大，离任时他已经没有什么积蓄，经济上陷入困境。
他正式向美国政府提出建议:给每位离任总统12000美元的年薪。他说:“我们的总统们，竟然被冷落地撇在一边，无人理睬，或许还迫于生计，在街道的拐角上开个杂货店，这真是国家的耻辱”。“我们选举一个人当总统，期望他诚实地办事，或许还能放弃盈利的职业。然而，我们在利用他以后，就让他隐居起来，也许还任其陷入贫困。”但没有答复。
菲尔莫尔在1856年大选中失败，便把全部身心投入家乡布法罗的公众事业。募捐以建立布法罗的中学、青年会、历史学会、总医院、图书馆。但已经债台高筑，无力偿还债务。所幸他1858年2月获得一位富有的寡妇卡罗琳的爱情，婚后，卡罗琳还清了他的债务，使他得以在以后的年代里继续从事他热衷的事业。1874年3月8日，菲尔莫尔中风死亡，终年74岁。
六、伍德罗·威尔逊——穷愁潦倒
此外，还有美国第二十八届总统伍德罗·威尔逊(WoodrowWilson)，出身于牧师家庭。
托马斯·伍德罗·威尔逊(ThomasWoodrowWilson，1856年12月28日-1924年2月3日)，美国第28任总统。作为进步主义时代的一个领袖级知识分子，他曾先后任普林斯顿大学校长，新泽西州州长等职，并获得雪城大学荣誉博士学位。1912年总统大选中，由于西奥多·罗斯福和威廉·塔夫脱的竞争分散了共和党选票，以民主党人身份当选总统。迄今为止，他是唯一一名拥有哲学博士头衔的美国总统(法学博士衔除外)，也是唯一一名任总统以前曾在新泽西州担任公职的美国总统。1962年历史学家对31位总统的投票排名，威尔逊高居前4位，仅次于乔治·华盛顿、亚伯拉罕·林肯和富兰克林·罗斯福。
1921年离任之后，威尔逊和他的妻子搬往华盛顿使馆区居住。他依然每天乘车出行，并在周六晚上观看基思剧院的歌舞杂耍表演。
穷愁潦倒地过了四年，全靠他忠实的妻子照料，1924年2月3日，威尔逊病逝于位于S大街的家中。他被葬于华盛顿国家座堂。他是唯一一位葬于此的美国总统。