Исконное название переулка произошло от церкви Св. Ермолая, «что на Козьем болоте», находившейся на месте небольшого бульвара между домами № 21 и 23, выстроенными в 1950-х гг