Я выделяю несколько основных причин:
1. Вы никогда активно не слушали английскую речь.
2. Пропорция незнакомой лексики в фразе настолько велика, что вы не догадываетесь о смысле из контекста произнесенного текста.
3. Вы не знаете грамматической конструкции или идиомы.
4. Вы не можете распознать речь на той скорости, на которой она произнесена.
5. У вас не развита вариативность восприятия, т. е. вы не можете распознать одну и ту же фразу, сказанную разными людьми.