ошедшем времени to have превратится во вспомогательный – had. Вот готовое предложение: I had come home by the time you came.