劉邦回到沛縣，受到父老鄉親的盛情款待，他一住就是半個多月，期間降下旨意，世代免除沛縣人的賦稅徭役，但不包括豐邑。沛人聞之莫不感恩戴德。但臨走的時候，眾鄉親卻攔住劉邦不讓走，跪請劉邦把豐邑人的負擔也免了，說：“陛下雖然是喝沛縣水長大的，號稱沛公，和沛縣的感情深一些，但畢竟是豐生沛養，豐邑和沛縣都是你的老家，兩地又是近鄰，親戚連親戚，陛下怎麽能隻免除沛縣人的賦稅徭役，而不免除豐邑的呢？”
劉邦說：“我在豐邑隻是借生，還沒出娘胎就差點死在那裏，見秦軍來屠嬰兒，鄰裏多自保，不惜陷害我家，致使全家流落沛地，我於豐人有可牽焉？我起義初時，創業艱難，正是用人用物之機，豐邑守將雍齒夥同豐人卻率先叛我，差點把義軍掐死在搖籃中。每念及此，我深恨之，因此我不承認是豐邑人，我與那裏沒有任何瓜葛！”
鄉人齊呼：“陛下一向寬厚仁慈，請您不要計較過去的事，您要不同意，我們就長跪不起！”
劉邦看這麽多父老鄉親一直跪在他的麵前，心中不忍，隻好說：“也免了，你們起來吧。”
眾鄉親馬上站了起來，高呼：“謝謝陛下，皇上萬福！”
劉邦帶領一幫隨從，愉快地返回長安，沿途路過一些城市，地方官員不免興師動眾隆重接待，他們也沒有甚推辭，歇息一下仍舊趕路，又用了半個月時間，回到宮中。
蕭何負責承建的新的皇宮未央宮即將封頂，遠遠看去，巍峨壯觀，氣勢恢宏。劉邦看到這個建築這麽豪華，眉頭一皺，當即讓人把蕭何叫到宮中一頓臭罵：“你是誠心壞我江山，還是腦子裏進水了怎麽的？我讓你負責建設皇宮，你建個稍大一些的院子也就罷了，誰叫你搞得規模這麽大，樓又這麽高，這麽鋪張浪費了？現在國家剛剛建立，經過了這麽多年的戰亂，國家和百姓都很貧窮，哪容得我們這樣糟踏？宮室再小也不影響決策，隻要心裏裝著百姓，在哪兒都能辦公。秦朝的滅亡，很大程度上就是大興土木，不顧老百姓的死活，你這樣做，怎能不遭到天下老百姓的怨憤，是要我劉邦做第二個秦始皇嗎？”