细川家跟武藏的关系肇端于跟武藏父亲新免无二斋学兵法的长冈佐渡。佐渡系细川家重臣，出身姓松井的名门，与细川家有姻亲关系。
佐渡自己也娶忠兴（三斋）之女为妻，领养忠利幼弟寄之为养子。关原之战以来，武勋彪炳，为家康所赞许，赐予山城国二百多石的食邑地。
武藏以佐渡为中介，向佐佐木小次郎请求比武。佐渡诚心诚意为他专谋，获得忠兴侯的许诺。比武当天，小次郎等搭藩主船赴船岛，佐渡为免武藏寒碜，替他准备了自己的船只。
这次大比武时，忠利正在江户，后经佐渡居中斡旋，接见武藏，甚为赏识。武藏亦为忠利侯吸引，彼此都涌现出一股温煦之感。
因而，忠利获知武藏已至小仓，即有意请其赴熊本。不过，忠利也知道武藏独立不羁，曾经拒绝出仕德川家，所以自始即不以臣属，而欲以客卿之礼相待，赐予老后安居之地。
为此，他遣新太郎为使，前赴小仓将此意告知武藏。一天，佐渡在旁，忠利亦若无其事地告以此事。
佐渡向来视武藏如骨肉至亲，当即答道：“武藏谅必感恩图谢。他已年过五十岁，已届应定居一处之龄。然而，无论如何，若为客卿就只能出任兵法指南。因而，至少应给予客将名义。但如此一来，又须虑及久历战场的藩臣之意。”
这实是老臣深谋远虑之见。
“不错！”
忠利亦点头称是，却有一种沮丧之感。佐渡察觉后说道：“主公！虽然如此，武藏却也是难得的人。今以肥后太守出任九州重镇之际，招请武藏以鼓舞家臣士气，实为最佳良策，只是应伺机先使藩士知晓武藏此一人物。”
“是的！”忠利深为颔首。藩士中虽有新太郎等深知武藏其人者，但不知武藏其人者仍居多数。对武藏的恶评也甚为流行。忠利也深知此事。