Двадцать лет назад Deviates считали «будущим панк-рока». Дебютный альбом My Life вышел в 1998 на Theologian Records. За два года, прошедшие после его выпуска, Deviates совершили качественный скачок в своем песенном мастерстве, используя страсть к хардкору и постоянно развивающееся мелодии. Второй альбом Time is the Distance был закончен в 2001 на лейбле Epitaph.
Американский квартет просуществовал около девяти лет, вплоть до 2003 года, когда музыка коллектива попала в компиляцию «Shut the Punk Up! Vol. 3».
Спустя двадцать лет группа вернулась с третьим альбомом Holding Out который представляет собой релиз из семи песен старого и нового панк-рока Южной Калифорнии.