Его жизнь оборвалась трагично и неожиданно: Виктор Старухин разбился на машине ночью 12 января 1957 года, ему было всего 40 лет. Машина оказалась на встречном движении и врезалась в поезд перед станцией Мисюку на линии Тамагава в Токио. Причиной этой аварии многие стали называть алкогольное опьянение бывшего спортсмена, однако семья Виктора до сих пор утверждает, что он никогда не пил в таких количествах, чтобы терять над собой контроль.