杰斐遜做了了兩屆八年總統,卸任后回到老家弗吉尼亞蒙蒂塞羅,住進了他自己親自設計的房子。杰斐遜任總統時的年薪是25000美元,公款花費的限制很嚴,不少場合不得不應酬的開銷都得自己掏腰包,再加上他養家糊口的任務很重——他的家人連同親戚仆人上百口之多,因此總統卸任后他欠下了大約五萬美元的債務。當時的美國總統退休就退休了,也沒個退休金,已經六十多歲的杰斐遜只得拼命經營自己的農場和作坊,以期還債。但總是還了舊債欠新債,而且總是新債滾得比舊債多。為著還債而奔波操勞常常使得杰斐遜焦頭爛額。他的大女兒瑪霞在寫給他的一封信中說道:“我什么都可以忍受,就是不想看到您這么大年紀了還要為債務而煩憂。”
國會圖書館被焚燒,他把自己一生的藏書拿出低價賣給國會,所得兩萬多美元,全部用于還債。在窮得自身難保的情況下,他還分出了相當多的時間和精力去多方游說,創辦弗吉尼亞大學。
為債務所累的杰斐遜終于在貧困交加中病倒了,他意識到自己確實老了,看來只有考慮拍賣家中的地產來還債了。消息傳出,舉國震驚,人們為他捐到了一筆錢一萬六千多美元,但仍然遠遠不能解決他的債務問題。
1826年7月4日中午,正當美國舉國上下紀念《獨立宣言》活動進入高潮的時候,它的起草人杰斐遜,在他的家里閉上眼睛,留下一屁股債,撒手人寰。