郭靖不会下棋是说谎，因为他至少知道拿棋子。杨明却是连拿棋子都不会，只会用大拇指和食指捏住。黄蓉心知郭靖这么做是将杨明比做关羽，她虽然不喜杨明的深沉，也记恨他对郭芙设了圈套，但却佩服杨明这般勇气。当下黄蓉手上一紧，猛的用力将杨明被打断移位的臂骨接回。这般痛苦不是常人所能想象到的。杨明手的那枚上好桃木制作的棋子被捏成两半，原本煞白的脸色更是难看，斗大的汗珠顺着额头流下。此般痛苦杨明依旧不出一言。杨明自有杨明的骄傲。
接骨完毕，黄蓉替杨明上了药，包扎好。杨过也找来的杨明要的木版，杨明让杨过将这些木版绑在刚接好的手臂上，如此一来即能固定已断的臂骨，又能保护断骨处不受外力影响。此番心思即使是黄蓉也不曾有，郭靖大是赞叹，又好生将杨明扶回房间。整整一夜均是杨过在照顾。杨明左臂疼痛，难以入睡，便问起了杨过白天事情的经过。杨过一一道出，却是不出杨明所料。依旧是武家兄弟和郭芙见了杨过，心中多有怨恨，言语不和便开始动手，只是杨过敌不住三人联手，急迫之间无意识地用上了蛤蟆功。
杨过见大哥为自己受苦，心中憋闷，自然将怨气全撒在了郭靖一家子身上：“大哥，与其待在这里看人脸色，不如我们回嘉兴吧！”杨明叹道：“我上桃花岛，本就是想历练你一番，这其中所发生的事情，我都有预料。只是我见不得你受苦，每次都为你善了后。现在想来，我却是成了另一个郭伯母了。”言罢又道：“你若想离开也成，明天郭伯伯或许就回来找你了。你今天骂了柯镇恶，岛上也容不得你了。郭伯伯定会将你送往全真教。”
第二天一早，郭靖便来看望杨明，又将杨过叫出房间，说有要事与杨过说明。杨明听得分明，郭靖是准备将杨过送往终南山全真教。交代完后，郭靖又进了房间，好生安慰了杨明，正待要离开，杨明道：“郭伯伯是要将二弟送离桃花岛？”郭靖见杨明已经知道，点头称是。
杨明道：“长兄为父。养不教，父之过。二弟有了错，我这个做兄长的也有责任，请郭伯伯也将我送走吧。”郭靖道：“明儿莫不是在生祖师爷爷的气？”杨明道：“侄儿不敢。只是二弟惹了祖师爷爷，我又与二弟一般相貌，只怕祖师爷爷见了会生气。”天地良心，谁都知道柯镇恶是个瞎子，又怎么会看得见得杨明是什么相貌？可见杨明心中火气确实不小。只是郭靖拙于言辞，不会辩驳。
郭靖沉默片刻，问道：“你也要去全真教？”杨明道：“我曾修行过少林内功，若再学全真教武学，只怕多有不妥。郭伯伯还是将我送到嵩山少林吧。”郭靖道：“此事我与你郭伯母商议一下。”言罢便出屋离去。
杨过见郭靖已走，问道：“大哥为何不和我一起上全真教？”杨明叹道：“你命中多有磨难，我若和你一起去了全真教，定又不忍看你受苦，那和在桃花岛上有什么区别？莫不是你打算这一辈子都靠着我不成？”杨过不语，杨明道：“生于忧患，死于安乐。玉不啄，不成器。若你这一辈子都跟在我身后，将来又有什么成就？也该你出历练历练了。”杨明拍着杨过的肩头，道：“只要你以后不怨我这个做哥哥便行。”
俗话说：“伤筋动骨一百天。”杨明修行了易筋经，身体比常人要强壮得多，这手臂只用了二十来天便已经完全恢复。
这日，郭靖收拾了行李和银两，与柯镇恶、黄蓉、郭芙、武家兄弟别过，带着杨明杨过二人离开了桃花岛。三人从浙江上了岸。郭靖买了三匹马，一路向北。杨明杨过从未骑过马，只是杨明比杨过沉稳些，虽觉得新奇，却也一直和郭靖并立而行。倒是杨过年少好事，常常驰在二人前面。
出了浙江后，三人展转到了河南嵩山。此时的杨明终于见着了少林寺（少林寺曾经焚毁多次，此时的少林寺却是保存完整）。在山下，有一块石碑，上雕刻孔子、李耽、释迦摩尼三人相貌，下还赋有一诗，诗云：“三教一体，九流一源。众妙同根，万法一门。”杨明看过之后，心中略有所悟。