можно просто и ясно сказать им: «Это раздражает меня». Или: «Ваш поступок вызывает у меня раздражение».