Ночью 18 октября заложникам в «Новоевропейской» приказали собраться с вещами в холле. Большинство решили, что их освободят или переведут в лучшее место. Заложников вывели на улицу и вместе с тринадцатью другими заключенными из Пятигорской тюрьмы повели в здание ЧК. Узникам велели снять верхнюю одежду и связали за спиной руки. Двадцать пять человек отвели на городское кладбище, где их встретил кладбищенский сторож. Пятнадцать человек поставили на краю огромной свежей могилы. Все молчали. Им приказали встать на колени и вытянуть шеи. Палачи достали сабли.
Опыта у палачей не было, и большинство жертв были убиты не сразу. Одним из первых погиб генерал Рузский. Его палач чекист Георгий Атарбеков позднее хвастался, как убивал старого генерала. Атарбеков спросил полуголого старика, стоявшего на коленях, признает ли он наконец великую русскую революцию. Рузский ответил: «Пока что я вижу один грабеж». Атарбеков достал свой черкесский кинжал и вонзил его генералу в горло. После пятого удара мертвый генерал упал в яму. Убийство заняло более часа. Все было тихо, слышны были только звуки клинков, вонзаемых в плоть, и хруст костей. Сцена насилия была столь жуткой, что двое палачей отказались выполнять работу и ждали окончания у ворот кладбища. После убийства первых пятнадцати десять оставшихся заложников были зарублены над второй ямой. Прежде чем уйти с кладбища, солдаты велели сторожу не ложиться спать. Перед рассветом были казнены еще тридцать человек, в том числе одна женщина. На следующую ночь новые узники были зарублены на кладбище. Палачам платили по десять рублей за каждую жертву. Когда кладбищенские сторожа утром 12-го числа пришли присыпать могилы песком, оказалось, что некоторые жертвы еще живы. Из-под груды изуродованных тел слышались стоны.