С таким универсальным умением к началу 1980‐х Джармуш стал приглашенным клавишником в проекте Робина Кратчфилда Dark Day, а затем вместе с гитаристом Dark Day и по совместительству джармушевским однокашником Филом Кляйном создал группу The Del-Byzanteens. Собственно, Кляйн так и остался единственным профессиональным музыкантом в группе, которая просуществовала год, выпустив два сингла и альбом «Lies To LIve By» — который даже стал хитом в андеграундной тусовке. Этот арт-панк-дрон-проект нес идеи No Wave — движения, суть которого заключалась в протесте против блюзовых, панковских и прочих традиций в роке, а также в экспериментировании с музыкальной формой и шумами. Многие критики сходятся на том, что минимализм, цикличность и гипнотизм музыки The Del-Byzanteens напоминают ранние джармушевские фильмы.