前一年的永禄八年，将军义辉为叛将所暗杀，弟义昭继立；自此足利家的势力虽渐走下坡，但京都仍不失为当时文武的中心。各地的兵法家，荟萃于此，冀一举成名者，比比皆是。
藏人佐到了京都，竟树立起“天下第一兵法”的高牌，希望有人前来挑战。恩师伊势守壮其志，专差给他送来新阴流兵法的印可证。但京中群雄，知道他是伊势守门下的首座，竟无一人敢来尝试。他便于第二年又回球磨去了。
回球磨后，他再仕义阳公，想不到于数年之后的永禄十二年，竟招致了意外的大失败。
永禄十一年，岛津为夺回被相良占领去的大口城，两军战于初栗之野，岛津大败。翌十二年，岛津再大举进攻，萨摩勇将岛津家久率兵屯于大口城附近之砥上，伏兵诱敌。其时，藏人佐独排众议，率守卒数百人前袭，遇伏大败，死武士三十人，杂兵二百余。主君义阳公大怒，以藏人佐轻躁误国，谕令“永不召见”。
假如换了一个别人，也许就此意志消沉，或者逃亡，甚或自杀见志。但藏人佐非寻常人物可比，对此折辱不仅坦然置之，且更燃起旺盛的斗志，隐忍自重，静待着雪耻复仇之机。
藏人佐确是乱世的英豪，功名心特重，但生性暴躁，只知勇往直前，因此屡遭失败。以他的个性而论，假如不得师傅伊势守的理解，也许不能臻于大成。伊势守对他的粗暴作风虽感棘手，但从来没有深责，反谓际此战国乱世之时，非有此气魄，不能自成一流的兵法家。
这期间，岛津藩整顿内政，积极备战，实力渐增，与相良之间时有接触，互有胜负。直至天正九年二月十四日水俣城包围战中，相良家被迫订了城下之盟，遂此一蹶不振。
是年冬，相良义阳因岛津义久的威迫，为保留球磨一郡，俾免相良家沦于覆亡，毅然与盟友御船城主甲斐宗运兵戎相见。但在出兵之先，义阳公便决心为保全相良的基业且践昔日对宗运的盟约，为两全其美而杀身成仁了。
自此，苇北、八代、下益城、天草等地，尽为岛津所夺，幸赖老臣犬童赖安、深水宗方等之策划，好不容易保有球磨一郡，得以安然无恙。丰臣秀吉讨伐岛津之际，亦以处置得宜，得保独立，以迄于今。