詩的三、四句緊扣首二句之意、“道人不是悲秋客，一任晚山相對愁。”在這里，詩人以道人自比，表現出詩人對閑適味道。飄逸、淡泊無求境界的向往。詩人之所以能夠“南去北來休便休”，就是因為他不是見秋生悲的“悲秋客”，而是不以物喜，不以物悲的道人。因此，當眾人對秋生悲時，詩人自然無悲可言，“一任晚山相對愁”。此時，作者遠遠望去，楚江兩岸的山脈凄清寥落，像是在颯颯秋風中相對發愁。晚山本來不會悲愁，在超脫淡泊的道人看來，晚山也不會悲愁。只有在悲秋人眼里，晚山連同周圍的一切才看上去象是都在悲嘆哀傷。在此，詩人沒有直接去寫愁容滿面的“悲秋客”，而是通過“悲秋客”眼里所看到的秋暮中凄涼悲傷的景物來寫“悲秋客”，這樣寫，更顯示出詩人超然物外的瀟灑飄逸。

程顥是北宋有名的理學家，他這首詩就有些談禪（佛教道理）的味道。但詩人并不是真的那么曠達，真的能超凡脫俗。其實他寫要“休便休”，恰恰說明他對“南去北來”已經感到疲倦，渴望守著家人過寧靜安逸的生活；他寫“白蘋吹盡楚江秋”，可見他對秋天的到來是敏感的；他寫“晚山相對愁”，恰恰反映了詩人內心深處的憂愁。所以欣賞詩歌，既要看詩歌中的議論，更要看詩歌中所描寫的形象。