《山外小楼夜听雨》的背景故事描绘了一位孤独的旅人在异乡漂泊，思念远方的爱人或亲人。歌曲通过细腻的描写和丰富的意象，表达了深深的思念之情以及无法与所爱之人团聚的无奈与惆怅。
歌词中反复出现的“芙蓉花”、“蝶”、“江水”、“杨柳”等意象，象征着时光的流逝、爱情的美好与短暂，以及离别的痛苦。整个故事充满了对过去的怀念和对未来的迷茫，反映了古代文人墨客常见的思乡与怀旧情怀。
数着春去熟透的红豆 无人黄昏后
庭前寒冷深秋为谁消瘦
月下惟有我的身影投 该与谁厮守
酒入喉却解不了愁
这一段描写了主人公在孤寂中度过春夏秋冬，心中充满思念，但无人陪伴。即使饮酒也无法排解内心的忧愁。
芙蓉花又栖满了枝头 奈何蝶难留
漂泊如江水向东流
望断门前隔岸的杨柳 寂寞仍不休
我无言让眼泪长流
这里用“芙蓉花”和“蝶”的意象表达美好事物难以长久保留的遗憾，而“江水向东流”则象征了时间无情地流逝和个人命运的漂泊不定。
我独酌山外小阁楼 听一夜相思愁
醉后让人烦忧 心事难收
山外小阁楼 我乘一叶小舟
放思念随风漂流
主人公独自在小阁楼上饮酒，听着夜晚的风雨声，沉浸在对远方之人的思念之中。他试图将思念寄托于江水之上，任其随波逐流。
我独酌山外小阁楼 窗外渔火如豆
江畔晚风拂柳 诉尽离愁
当月色暖小楼 是谁又在弹奏
那一曲思念常留
那一曲思念常留
那一曲思念常留
最后几段进一步深化了主题，通过“渔火”、“晚风”、“月色”等意象，营造出一种凄美而悠远的氛围，表达了对往昔情感的深深怀念和无法释怀的心境。