谢灵运本来出身士族高门，更兼“文章之美，江左莫逮”，“自谓才能宜参权要。”(《宋书》本传)但在庶族军阀刘裕的宋王朝建立之后，人的地位便一再降跌，直至被排挤出京，出为永嘉太守。本来就恃才傲物，加上仕途上的再三挫折，其怀才不遇、寄情山水、期仙求道，便不难理解。就在写该诗当年的秋天，任永嘉太守刚好一年，诗人便称病辞官，回到会稽始宁南山经营庄园，与隐士名僧谈玄说法去了。所以，诗人的迷恋山水神仙，正是其内心失意郁结情绪的外化。正如白居易《读谢灵运诗》所云：“谢公才廓落，与世不相遇。壮士郁不用，须有所泄处。泄为山水诗，逸韵有奇趣，岂为玩景物，亦欲摅心素。”
该诗运思精凿丽密，取势宛转屈伸，可谓匠心独运。欲写江屿之秀媚神奇，先写江南胜景历览之倦，一抑一扬，对比鲜明。然后又一笔宕开，“精骛八极，心游万仞”，遥想昆仑山仙人姿容，神会古代安期生道术，进一步烘托和神化了孤屿的幽丽神奇。如此前皴后染，虚实交错，不仅突出了孤屿之美、之奇，也有效地寄寓了诗人孤傲不遇的主观情感。结构绵密而意脉一贯，情景相生而物我融一。
其次是语言精丽工巧。表现在遣词用字的锻炼、传神，如倦、旷、趋、媚、灵、真等词的恰当运用，就使全句意态飞动而蕴含深厚；而乱流、孤屿、云日、空水等意象，亦无不巉峭奇丽。再是用了不少对偶句，不仅十分精工，大致符合后来律句的平仄，而且皆能出之自然。这在声律学尚未建立之前，不能不令人惊叹诗人的神工巧铸、鬼斧默运了。
谢灵运这首诗也是写在永嘉太守任上。江中孤屿，是永嘉江(瓯江)中的孤屿山，在温州南四十里。诗人在去江北游览的行程中，罚邰希葜了风景优美的孤屿山。孤屿山处在江流中间，没有人罚邰希葜和欣赏，那里面的神仙事迹也不为人所知。诗人由此而联想到只有远离朝市，才可以养生尽年。
诗的大部分是记叙游览的历程和孤屿山的风光，“云日相晖映，空水共澄鲜”句，写那白云丽日、澄江蓝天互相辉映的景色，很鲜明生动。最后虽流露一些远处海隅的牢骚，但以慕神仙、求长生而又落入了陈套。