Не оправдывайтесь ни перед кем, в том числе и перед собой. Вы лишь пользуетесь своим законным правом. Если не можете придумать достойный повод для отказа, оставайтесь невозмутимыми и просто промолчите. Люди часто не задумываясь говорят «да», только чтобы что-нибудь сказать.