27 апреля Сталин утвердил организационно-штатную структуру Смерш. Она была количественно небольшой и лишена промежуточных бюрократических звеньев. Центральный аппарат включал в себя 14 оперативных отделов, секретариат, подразделения, отвечающие за шифросвязь и использование оперативно-технических средств, а также кадровый орган.
Общая численность аппарата составляла 646 человек.