Напомните коллеге очевидную вещь: вы на работе, чтобы работать. Скажите, что сначала закончите с работой, а потом с удовольствием поговорите с ним. Если вам очень сложно отказывать, сошлитесь на срочное задание от начальника.