Речь идёт не обо всей съёмочной группе. Кто-то покинул её, но это были «избранные».

Бля, афтар, непонятно нихуя по этому переводу. 

But it wasn’t my entire crew. I had the crew leave the set, and it was just select people.

Имеется ввиду что он попросил команду покинуть место сьёмок и оставил виноватых чтобы их отчитать, а не выгнал кого-то со сьёмок.