据《肥后国记》记载——是中国的佛像和信徒大量东来的奈良朝时代吧，一艘外国的海船，遇飓风漂来河内的海边。樯倾楫摧，触礁覆没。全船的乘客无一幸免。但奇怪的是，船上一尊观音菩萨的石像竟在狂涛怒浪中，坐在板片上漂流到了岸上。
村人惊此奇迹，乃恭迎那尊观音到了河内川上的福地，安置在那半山腰的洞窟中。自此，岩户观音之名大噪，受到四方膜拜。
又数百年，至真和十年，元僧永兴来日，拟在岩户观音附近平地建寺，但其处适临深渊，无法奠基。
一夜，永兴和尚梦渊中贝精来告：“我乃本渊之主，潜修于兹甚久，今知上人有择此地建寺之意，顾献此地，自遁西方杉谷安身。谨留龙鳞一片，贝壳一枚为信。”
翌晨贝渊水已涸，渊底果有龙鳞及贝壳，一如梦中所云。云岩寺于是得以落成。
武藏就住在这个云岩寺中。住持寒池和尚，已是年逾七十的老僧。这里没有懂法的僧众，他只同一个也快到七十岁的老伙夫和十二三岁的小和尚过着悠闲的生活。有和尚来挂单，便发些难题使之发窘取乐。
他常同武藏闲聊，但没有问过姓名，也不晓得武藏是何许人。武藏也从来没有上大殿去参拜过如来。在岩户观音前也是一样，武藏只是为洞窟中那一片肃静的氛围所陶醉。而且那不仅是洞窟本身所有的氛围，还是千百年来千千万万参拜观音的善男信女的一片虔诚，凝结在黑暗之中，形成了冗长的历史细流。
一天，武藏坐在洞窟前的岩石上，偶然想起曾每天来此参拜岩户观音的才女桧垣。桧垣与紫式部或清少纳言等，同是平安朝时代诞生在肥后的不栉进士，擅长诗歌，且是舞蹈名家，曾在当时九州府的太宰府中供奉，后来上京与当代显贵交往，有才色双绝之誉。拜倒在她的裙下的高官显宦虽多，其中她仅倾心于太宰府中的旧知清原元辅一人。元辅是清少纳言的父亲，也是当时蜚声歌坛的诗人。