公元1094年（宋哲宗绍圣元年），“穷凶稔恶”的“新党”章惇被起用为相。他握政伊始，即广兴党籍，大肆打击元祐（1086—1094年）时旧党的大小在朝之臣，苏轼、黄庭坚等皆遭贬窜，秦观也未能幸免。他始由国史院编修贬为杭州通判，途中再贬为“监处州（今浙江丽水县）酒税”。公元1096年（绍圣三年），又被削秩徙放到郴州（今湖南郴州市）。这一连串巨大的打击使得秦观陷入一种蒙受压抑而不能自拔的浓重悲哀之中。在郴州旅舍，他写下了著名的词篇《踏莎行·雾失楼台》，这首《点绛唇·桃源》大约也作于词人贬居郴州时。
桃源，即桃花源，是东晋大诗人陶渊明在《桃花源记》中虚构的世外天地，并假称其地在武陵（今湖南桃源县境内）。那儿景色优美，环境宁静，生活安定，人心淳真，没有喧嚣，没有纷争，为后代失意文人所津津乐道。秦观到郴州后，知道陶渊明笔下的桃花源就在郴州以北，不禁怦然心动，眷念不已，在《踏莎行》里，写下了“雾失楼台，月迷津渡，桃源望断无寻处”的名句，流露出对桃花源的向往和望不见“桃源”后的不胜怅惘。在此词中，秦观用梦境和现实交相迭现的手法，更为强烈地表达出对“桃源”的企慕，对现世人间的失望和不满。
“醉漾轻舟，信流引到花深处”。这个“花深处”，就是指桃源。在郴州，词人为了排忧遣恨，不得不借酒解愁。醉眼朦胧之中，词人受潜意识的支配，仿佛觉得自己划起了小舟，正轻松自如地随着溪流浮泛，朝桃花源进发。路上，“忽逢桃花林，夹岸数百步，中无杂树，芳草鲜美，落英缤纷”（《桃花源记》）。词人十分欣喜，他左顾右盼，不知不觉中，已“林尽水源”，来到了“花深处”。阅读这两句，关键是要抓住“醉”这个核心词语。醉入梦乡，本是常事，所以说这两句是写梦境幻象。“尘缘相误，无计花间住。”是词人神志清爽后的抱恨之言。尘缘，本为佛教名词。佛教认为，色、声、香、味、触、法为六尘，是污染人心、使生嗜欲的根源。秦观在这儿是借指世俗之事，如名、利一类。假如自己不出来求仕为宦，就不至于有此时的迁谪之祸，这就是“尘缘相误”。而此刻身受官府羁绊，即使想找一个类似于“桃花源”的远僻之地平安度日也不可得——这就是“无计花间住”。
下片“烟水茫茫”四句，乃是词人有意识地择取人世间的四种凄凉景象，来影射他黯淡、感伤的心境。“烟水茫茫”，则前途渺遥可知；“千里斜阳暮”，暗示着词人的处境将每况愈下；“山无数”，正是阻力重重、难回朝廷的象征；“乱红如雨”，就是说美好事物正在横遭摧折。这四种景象并集一起，凝现出巨大的艺术感染力。词人虽无片言只语关涉愁苦，而愁苦、失望之情已溢满纸面。结句“不记来时路”，源于《桃花源记》。陶潜说，武陵渔人出桃花源后，在返家的路上处处作了标志，“及郡下，诣太守，说如此。太守即遣人随其往，寻向所志，遂迷，不复得路。”这个结句正暗应了题目和开头，道出了词人梦醒之后无路可走的窘境和苦况，表达了他“抽身退步悔已迟”和“世外桃源不可得”的愁怛心堵。
秦观的后半生和苏轼一样，屡遭贬谪，但襟怀却不如苏轼旷达自放，所以他的后期词作中常凝结着浓稠的凄苦、感伤情调。该词开首两句以轻快清丽之笔写梦入桃源，不过是一种衬托，其目的是要借“水落”以见“石出”，凸现现实生活中的种种艰危、困顿。词的基本风格是幽细凄厉的。全篇四十一字，前片三仄韵（处误、住），后片四仄韵（暮、数、雨、路），一韵到底，韵位十分密集，在声调上也给人一种沉郁、凄伤的感觉。