Он потерял её ещё в детстве в своей временной линии, и считал её всё время врагов, а когда узнал её в другой временной линии где они стали парой, то тут же потерял её. В общем смотри сериал там всё лучше показано.