Пункт номер один - достаточно захватывать изображение и каким-либо образом куда-то передавать, в таком случае могут подойти устройства захвата и стриминга, дальше уже можешь подрубаться к потоку.
Пункт номер два - тебе нужно расчитывать смещение до объекта по осям, т.е. насколько сильно должен быть отклонен стик и как долго, и это с учетом того, что цель не движется. А тебе еще нужно перемещаться в пространстве, плюс цель тоже не статична. Опять же тебе не достаточно координат правого верхнего угла, тебе в голову ж стрелять поди еще надо.
По поводу usb - тебе нужно передавать на устройства команды смещения и нажатие кнопок, предварительно получая их из расчетов нейронки, тут уже опять же может сыграть свою роль input-lag.
В общем, подумай, надо ли оно тебе так заморачиваться.