此篇写词人在县衙愁坐的情思。开章“秋晚寒斋”一句，写出了词人愁坐的时间、地点：寒秋季节，傍晚时分，“斋”指县衙斋室，点明了地点，呼应了词题。抒情主人公坐在简陋的藜木床上愁思闷想，看如篆字的熏香袅袅，似轻雾横飘，“香篆横轻雾”在词中既是写实，更有比兴作用，那萦回的篆香如愁绪徘徊，那横飞的轻雾像悲思几缕。“闲愁几许”以直接抒情之笔，写此时此刻内心独特感受。这愁是什么？是离家背井的乡愁，是久别妻室的相思，是羁臣远谪的忧虑……。词人没有明指，只写了一个“闲”字，令读者想像，去品味。“梦逐芭蕉雨”一句颇为精妙。“芭蕉雨”是一个悲愁意象，“雨打芭蕉，分明叶上心头滴”。“香篆横轻雾”这一视觉形象已将词人引入梦幻之中，“梦逐芭蕉雨”这一听觉形象又使词人在梦幻之中听到雨打芭蕉的淅沥之声，在梦幻中仿佛觉得淅沥的雨不是滴在叶上，而是敲击着自己的心头，这岂不更加浓了几许愁思？这句中的“逐”字下得好，将词人追寻“芭蕉雨”的悲愁意象主动化了，从而强调了“芭蕉雨”是情中景，是为表现愁情而设景；如果改为“听”字，则是强调了“芭蕉雨”的客体存在，其艺术效果是颇不相同的。
下片继续写词人在寒斋内所见所感。“云外哀鸿，似替幽人语”写词人仰望室外，只见天高云淡。孤鸿远去，听见那雁声凄厉，如泣如诉，好象替幽人低语，倾诉衷肠。词人将孤雁与幽人类比，因两者有可比性，孤鸿独飞天涯，幽人羁旅他乡，其孤寂凄凉是相同的。一个“替”字将两者关系联系得更紧密了。然而大雁秋去春来，还有归乡之时，而自己呢？却是羁臣远谪难得返乡，故词人感慨道：“归不去”。这三字有多少悲哀与辛酸，有多少惆怅与愤慨。这种感情曾反复抒发过：“流落天涯，憔悴一衰翁”（《江神子》），“羁怀都在，鬓上眉头。似休文瘦，久通恨，子山愁。”（《行香子》），“暮暮来时骚客赋”，“天留花月伴羁臣”（《浣溪沙》）。为什么“归不去”，词人未明写，而是以“乱山无数”的形象出之，“山无数”可见归程障碍重重，着一“乱”字，更加重了归程艰险，这“乱山无数”的形象，自然也就蕴含了词人心绪烦乱与忧愁。这是眼前景，更是心中景。结句“斜日荒城鼓”，暗点词题“愁”字，照应开头，写在深秋的斜晖中，词人身处一片荒城之中，听暮鼓声声，那迁客羁臣凄凉孤寂的感受何处诉说？最后两句之妙，在于以景结情，那乱山、斜日、荒城、暮鼓，都染上了词人的主观色彩，加深了题旨的表达。
全篇紧紧围绕“愁”字展开，以富有特征的景物──晚秋寒斋、芭蕉夜雨、云外哀鸿、乱山无数、斜日荒城、暮鼓声声，勾出了一个典型环境，有力地烘托出一位寒斋愁坐的人物形象，令读者可以见其景、闻其声、感其情、悟其心。此真所谓“心之所思，情之所感，寓言假物，譬喻拟象”（钱钟书语）之佳篇也。