Ну а если отбросить шутливый тон, то «нет» других людей не делают ваши отношения хуже. Так же, как и ваши «нет».