Сам по себе образ черепа и костей возник за несколько веков до появления морского пиратства. В испанской и латиноамериканской культурах череп с костями с древних времен вершит входы на кладбища, чтобы отогнать злых духов и грабителей. Если сильнее углубиться в историю, он присутствовал среди символов Бедных Рыцарей Христа и Храма Соломона, или, как их принято называть, Тамплиеров, членов ордена, существовавшего во времена Крестовых походов.