Вы отказываете человеку не потому, что плох он (хотя бывает и такое), не потому, что плохая – вы (тоже случается), а потому, что ваш союз невозможен. Точка.