晚年回到京城时，有一次看到一个歌女脸上的酒涡很可爱，情不自禁赞赏了几句。朱熹为此特地做诗一首：“十年浮海一身轻，归对梨涡却有情。世上无如人欲险，几人到此误平生。”真是小题大作。想到这，孝宗忍不住说了一句：“朱熹是不是还说过“天不生仲尼，万古如长夜”这句话？”王淮起身答道：“确实说过。不过他说是在驿站墙壁上看到的。据说是一个儒生写的。”孝宗忍不住提高了声调：“哪个儒生。姓甚名谁？也不搞清楚就说。再说这句话吧，‘天不生仲尼，万古如长夜。’那尧舜时候都是黑夜喽？”王淮只能点头唯唯。孝宗越说越气，指着王淮说：“爱卿年初举荐朱熹，说他‘学行笃实，拟除浙东提举，以倡郡国。’现在好了，扯出个风流案了。”停了一会，孝宗又说：“不过朱熹提的“社仓结保”之法还是可行的。”王淮低头想了一下，说：“启奏陛下，以微臣的拙见，唐仲友一案不如让岳霖来审，那岳大人一向与朱熹交好。若他审的话，朱夫子也就无话可说了。”孝宗挥挥手：“爱卿即去办理。”王淮这才躬身退了出去。
六
唐仲友在家中听说严蕊已被岳霖当庭脱籍释放，心里十分高兴。他反复吟着严蕊在堂上即兴作的《卜算子》：“不是爱风尘，似被前缘误。花落花开自有时，总赖东君主。去也终须去，住也如何住。若得山花插满头，莫问奴归处。”
孝淳熙九年九月，朝廷下令免去唐仲友的江西提刑职务，按提前退休论处，告“老”还乡。
朱熹也向朝廷递交了《辞免江西提刑奏状》，带着家眷回到武夷山隐居讲学。
转眼到了严寒砭骨的冬日。一场大雪正下得紧，通向黄岩附近山上的石阶悄寂无人，只远远听到山上尼姑庵院里，风吹动檐下铁马的清音。唐仲友穿着蓑衣，独自一人，一路踏着台阶，艰难地行进在风雪之中。他走进庵院时，看见严蕊正手持竹帚，在一棵梅树下，扫石上的积雪，筛好后放置在一个瓦罐中。两人在风雪中对视了半晌。严蕊把唐仲友让进了庵内。
庵内，煮茶的炉火正红。唐仲友手捧茶盏看着严蕊，半晌他说了一句：“磨砖不能成镜，坐禅岂能成佛。”说着，他从怀里掏出了一封信，那是赵烨给严蕊的信。
第二年的春天，又是桃花盛开的时候，严蕊走出了尼庵，被赵烨用一乘小轿接下了山。