元延祐初年，滕穆二十六岁，是浙江永嘉的一位读书人，擅长作诗，风采韵致优美，备受众人推崇赞许。他平素听说杭州山水秀美，一直很想前去游玩一番。
延祐元年（公元1314年），朝廷下达恢复科举的诏书，于是滕穆便拿着本乡的推荐信前往省城应试。到省城后，他寄居在涌金门外，每天都往来于南山、北山以及西湖边上的各个寺院，像灵隐寺、天竺寺、净慈寺、宝石寺之类，以及玉泉、虎跑、天龙、灵鹫、石屋洞、冷泉亭等这些景点；但凡是景点中深幽的山涧、茂密的树林、悬崖的峭壁等，几乎都能找到滕穆的足迹。
七月半这天，滕穆由于在曲院风荷观赏莲花，因而在湖上留宿，小船就停泊在雷峰塔下。这天夜晚，月光把大地照得如同白昼，荷花的香气萦绕在全身上下，那些大点的鱼儿在湖水中跳跃的声音、归巢栖息的鸟儿在岸边的飞鸣声也都能时不时地听到。当时，滕穆喝醉了酒，无法入睡，于是就起身披上衣服，沿着湖堤观看，而当他走到聚景园时，竟漫步跨了进去。要知道，距离宋朝亡国已经整整四十年了，园中除了瑶津西轩还依旧高高矗立，其他的楼台亭馆，像会芳殿、清辉阁、翠光亭等都已塌坍毁坏了。
滕生来到轩下，靠着栏杆稍作休息。一会儿，他忽然看到一位美女和一个侍女从外面进入园中，其中美女在前面走，侍女则跟在后面。而此美女虽然发髻微乱，但却姿态柔美，看上去恰似神仙一般。于是，滕生在轩下屏气凝神，想着看看她究竟想要干什么。这时，只听此美女说道：“湖光山色如故，风光与以往相比也没有什么不同，只不过是随着时代的变迁，世事已经大不一样了，难免会让人有黍离之悲！”说完，她便走到园北的太湖石边，吟诵起诗来：
湖上园亭好，重来忆旧游。征歌调《玉树》，阅舞按《梁州》。径狭花迎辇，池深柳拂舟。昔人皆已殁，谁与话风流！
滕生生性**不羁，在初见她的美貌时，就早已经按捺不住自己的感情，等听了这诗作，越发地技痒难忍，于是在轩下继续吟诵道：
湖上园亭好，相逢绝代人。嫦娥辞月殿，织女下天津。未领心中意，浑疑梦里身。愿吹邹子律，幽谷发阳春。
吟诵完后，滕生便快步朝她走去。那美女也并未感到惊奇，慢慢地说道：“我原本就知道郎君在这里，这是特意来寻访你。”滕生问美女姓名，她说：“我已经离开人间很长时间了，本想着要自报家门，可是又担心这样有点唐突会令郎君受到惊吓。”滕生听了这番话，虽然已然确定她就是鬼魂，可却一点也不害怕，还要坚持询问她的姓名。美女这才说道：“我名叫卫芳华，是宋理宗朝时的宫女，二十三岁就已经去世了，死后就被葬在了这个园子的边上。因为今天晚上前往演福寺去拜访贾贵妃，承蒙她盛情款待，不想回来得迟了，以至于让你等了这么长时间。”说罢，她随即对侍女说：“翘翘，快到屋里去把坐卧的垫具和酒食水果拿来。今晚月色甚好，郎君恰好也来了，我们就在这里赏月吧，万万不可虚度良宵。”听她这样说，翘翘便领命而去。
不一会儿，翘翘就回来了，只见她带回了紫毛毯等物，摆上了白玉碾花酒樽，拿出碧琉璃杯盏，美酒芳香四溢，简直不敢让人相信这些是人间所有的。就这样，美女同滕生一边谈笑一边吟咏诗词，其诗词大都传递出清新美好的旨趣。接着，美女又让翘翘唱歌以助酒兴。翘翘希望能够咏唱柳永的《望海潮》词。美女说：“新人又怎么能够唱旧曲呢。”于是，她随即就自己填写了一首《木兰花慢》词，让翘翘吟唱。那歌词是：
记前朝旧事，曾此地，会神仙。向月地云阶，重携翠袖，来拾花钿。繁华总随流水，叹一场春梦杳难圆。废港芙蕖滴露，断堤杨柳垂烟。两峰南北只依然，荤路草芊芊。怅别馆离宫，烟销凤盖，波浸龙船。平时玉屏金屋，对漆灯无焰夜如年。落日牛羊垅上，西风燕雀林边。
