Многие люди и даже целые профессии, например буддийское монашество, придворные, врачи, оказались вне системы четырех сословий. Также данная идеалистичная модель игнорировала внекастовые слои общества. Эта разнообразная группа включала и тех, чье наследственное занятие было связано с нечистотой: мясников, кожевников и могильщиков, вместе называемых эта (в наши дни это слово считается оскорблением), и тех, кто ведет кочевой образ жизни (хинин — «нелюди»): проституток, бродячих актеров, попрошаек и слепых массажисток; а также в нее входило коренное население Эдзо (Северного Хонсю и Хоккайдо), сегодня известное под названием айнов. Каста эта, в наши дни называемая буракумин (жители спецпоселений), сталкивалась с бесчисленными формами дискриминации. Как и остальным париям, им предписывалось проживать в отдельных поселениях, а носить они должны были хлопковую одежду и соломенную обувь, а не деревянные сандалии гэта. Также им запрещалось владеть рисовыми полями и обрабатывать их, а еще они должны были соблюдать комендантский час.