Телефонный разговор тоже должен заканчивать мужчина. Он его начал, он его и заканчивает. Это нормально. Это правило распространяется не только на общение мужчины и женщины, оно распространяется на любое общение.