下闋述懷，設想早日“退而相從之樂”。換頭“歲云暮”三字承上轉下，“歲暮”當指年華老大，“早計”是對“遺恨”而言，其內容便是“要褐裘”，亦即辭官歸隱，過平民生活。以下七句是由此產生的設想：在歸鄉的千里長途中，每逢山水名勝或有賢主、良朋接待之類好的去處，可以隨意逗留，盡情游樂，不必如官場中人因王命在身而行道局促，一層：我帶著醉意唱歌時你跟著唱和，我因醉酒倒下時你要攙扶我，——只有酒是可以使人忘懷得失的，二層：這樣，有雄心大志的人會瞧不起我們，那就悉聽尊便好了，我們只管走自己的路，三層：這種種設想，情辭懇切，言由中發，有如駿馬駐坡，不可遏止，充分表現出詞人對辭官歸隱而享弟兄“相從之樂”的夙愿。“我醉歌時君和，醉倒須君扶我”，極寫想象中“退而相從之樂”的情態，簡直是對二人的“合影”。篇末“一任劉玄德，相對臥高樓”兩句，反用典故，并非真要趨同胸無大志的庸人，而只是強調素愿的堅定不移，這體現了用典的靈活性。

同《南鄉子》（東武望余杭）、《醉落魄》（分攜如昨）、《減字木蘭花》（賢哉令尹）等詞作一樣，這首詞著重表現了蘇軾前期思想的另一面，雖然“功成名遂”尚未實現，出仕思想仍占上風，但在某種程度上徘徊于出處之間，卻是可以肯定的。早在嘉祐五年（1060）蘇氏弟兄寓居懷遠驛時，即有“夜雨對床”，“為閑居之樂”（蘇轍《逍遙堂會宿二首》引、《再祭亡兄端明文》等）的口頭約定，這一回正是對前約的重申，當然在很大程度上也是出于對其弟的安慰，詞中流露出深厚的兄弟之情。不過，他在詩詞中不斷表達的這種歸臥故山的雅志，最終還是沒有實現。蘇轍詞中的“但恐同王粲，相對永登樓”，倒成了他們此后生活的寫照。