这一来，桃花岛上的虫鸟走兽可就遭了殃，不是羽毛被拔得精光，就是尾巴给剪去了一截，昔时清清静静的隐士养性之所，竟成了鸡飞狗走的顽童肆虐之场。
郭靖一来顺着爱妻，二来对这顽皮女儿确也十分爱怜，每当女儿犯了过错，要想责打，但见她扮个鬼脸搂着自己项子软语相求，只得叹口长气，举起的手又慢慢放了下来。
这些年中，黄药师与洪七公均是全无音讯，靖蓉夫妇想起二人年老，好生挂念。
郭靖又几次去接大师父柯镇恶，请他到桃花岛来颐养天年。但柯镇恶爱与市井之徒为伍，闹酒赌钱为乐，不愿过桃花岛上冷清清的日子，始终推辞不来。
这一日他却不待郭靖来接，自行来到岛上。原来他近日手气不佳，连赌连输，欠下了一身债，无可奈何，只得到徒儿家里来避债。郭靖、黄蓉见到师父，自是高兴异常，留着他在岛上长住，无论怎样不放他走了。
黄蓉慢慢套出真相，暗地里派人去替他还了赌债。柯镇恶却不知道，不敢回嘉兴去，闲着无事，就做了郭芙的游伴。
忽忽数年，郭芙已满九岁了。黄蓉记挂父亲，与郭靖要出岛寻访，柯镇恶说甚么也要一起去，郭芙自也磨着非同去不可。四人离岛之后，谈到行程。
柯镇恶说道：“甚么地方都好，就是嘉兴不去。”
黄蓉笑道：“大师父，好教你得知，那些债主我早给你打发了。”
柯镇恶大喜之下，首先便要去嘉兴。
到得嘉兴，四人宿在客店之中。柯镇恶向故旧打听，有人说前数日曾见到一个青袍老人独自在烟雨楼头喝酒，说起形貌，似乎便是黄药师的模样。
郭靖、黄蓉大喜，便在嘉兴城乡到处寻访。所以，柯镇恶才能在这遇到武三通等人。
而这日清晨，柯镇恶带着郭芙携了双雕到树林中玩，凑巧就是在这破窑附近。