Филонов родился в Москве в бедной, простой семье. Отец его был кучером, а затем извозчиком, а мать брала в стирку белье. Кроме Павла в семье росло еще пятеро детей – четыре сестры и брат. Все они обладали различными художественными наклонностями, но серьезно искусством занимались только Павел и Евдокия