Вместо этого лучше сказать: «Простите, но я не смогу к вам прийти. Спасибо за приглашение». И не нужно добавлять к этому что-то еще.