Les familles de Yakusas ont une origine très ancienne, remontant même à l'époque féodale. C'était des paysans pauvres, Ils y avaient 2 groupes différents: les Bakuto (travaillant en ville) et les Tekiya (travaillant à la campagne). Mais à cause de la prolifération des villes, les familles se sont mélangée ou entre tuée.
Les premiers Yakuzas se sont rassemblés pour se défendre contre les samourais et étaient constitués par deux castes distinctes, celles des Bakutos et celles des Machi-yako.
Jusqu'à nos jours, les Yakuzas ont une hiérarchie très stricte et très organisée: le chef de l'organisation à pour nom Oyabun, son lieutenant Wakagashira (N°2 de la famille), Les Kyodai dirigent chacun un groupe de Shatei (homme de mains). Sans parler de son conseiller personnel le Saikon-komon, qui traite l'état-major(avocats, comptables...)