在大阪，天真正传神道流的田熊左卫门以下，他踹破了五个武坛。正当名震京阪一带的时候，得明石的武将酸浆(19)之邀请，与之比试。酸浆果然不是藏人佐的敌手，便许藏人佐以高禄，劝他出仕明石。但藏人佐以自己得罪主君，形同放逐，不愿再仕二君。于是以客师的名义，担任了明石五十石的武艺师范。
这时，主君相良长每公适居大阪，无意中得知这个消息，说：“一个与柳生但马守平分天下的名人，原是相良的家臣，天下诸侯争相招致但以不顾二君而拒绝受命，是今日不易多得的高洁之士。”
此时，长每公还是才交二十岁的青年，听到这个传闻，却也足以自豪。而藏人佐的获罪，乃先世义阳公手上的事，大石砥上之败，长每公还是刚出世的婴儿，怎能知道？只是砥上一战，对相良家的影响太大了，虽然新君继立，殿上重臣，谁也不敢提起。所以在长每公而言，丸目之名既是初闻，对丸目的兵法更是茫然的了。”
听了近臣的一番说明，他便黯然说道：“当时的敌国岛津，已成今日的盟友，而对一时的失错便这样酷责，也忒煞无情了。何况是卓绝的兵法家，徒显得国小藩量仄，惹人耻笑。”
于是，立即派人召见了藏人佐。
待藏人佐到行辕参谒时，他更推诚相见，吐露真情：“藏人佐，近前！远自父祖以来，同甘共苦的患难君臣，而竟长年不许觐见，是我的不明，委屈你了。希望你把过去的事付之东流，仍旧归来！”
“是是。”
藏人佐俯伏着不敢抬头。想起二十年来把自己埋没在球磨山僻，无非是为了弥补自己的过失；每有战事，他必挺身而起，立功赎罪。但事不如愿，一直过着迍邅的生活。这次失望之余，请长假前往江户，原是决心不再回来了。然而对故乡，谁不依恋？而且他是性格豪爽的人，既得主公谅解，且以善言抚慰，叫他怎不感激？
他抬起头来，谢了主公的知遇之恩，接受了归藩的面谕。