偕同悠姬逃离小仓回京之后，武藏在郊外嵯峨附近购了一座小巧玲珑的房子，把悠姬安顿下来，雇用了一个老妈子和侍女。另外，经由光悦、泽庵等知名之士，求得所司代板仓的谅解。悠姬的事原是密探岸孙六所策动，现在父亲兴秋既已自尽，她自己又已离开小仓长冈佐渡的府邸，在所司代是不一定非追究到底不可的。
再加上武藏在幕后为监护人，也只得不了了之了。佐佐木船岛的决斗，早已轰动京城，上自大名公卿，下至贩夫走卒，莫不慑于武藏的剑名。兵法家的地位，他已是磐石之重了。
武藏却也不敢大意，因比试而结的怨敌，不仅甚内、孙六等人，是愈来愈多了。他不敢让悠姬使用原名，诿称是某公卿的遗孤，对外用幼时的乳名，以避人耳目。且从在京的门人中，选武艺特出者专司悠姬的护卫。武藏自己也时常往访，从旁戒备。
悠姬则与知名的文人墨客交往，专心精进于文学。武藏当然不放弃剑术的探讨，应各地大名的邀请，时常离京做茫无定期的旅行。这期间，他曾与著名的剑客做过不知多少次的比试；也曾好几次遭遇铃姑短铳的狙击。所幸悠姬并没有妨碍武藏剑术上的进修，别时相思，见时欢叙，虽是其交如水，却也别饶情趣，反能互相策励。
又两年，大阪的冬、夏两役相继而起，武藏虽曾参加大阪一边出阵，但并未深入。及大阪城陷，仍回复他兵法家超然的地位。不久，悠姬也获得小仓细川家的谅解，时有金钱上的接济，过了好几年优裕平和的岁月。
一天，长冈佐渡到江户向将军府禀见途中，绕道京都来访武藏的寓邸。两人已阔别多年，有着说不完的旧话。最后，佐渡皱着眉说：“武藏，你可知道？阿通于去年二月，终于病势加剧，就此不起了。”
“我倒不曾得悉……”
“据阿松来信说，病体曾一度康复，原想离了本妙寺上京来的……”
武藏黯然闭了眼睛。他对阿通并非无情。她是武藏世俗之爱的唯一对象，但不久，终因剑术的修行与男女之爱不能兼得，毅然斩断情丝。而那阿通，今亦已矣。