Погугли Lock Cursor Tools. Позволяет в настройках выбрать приложение или область экрана, за пределы которой курсор выходить не будет. Работает чуть кривовато (на долю секунды курсор всё-таки может вылезти за пределы, но сразу телепортируется обратно), но работает. Других вариантов не знаю. Ещё в X-Mouse Button Control есть опция "Lock mouse cursor to active window", которая по идее должна это нормально делать, но у меня она почему-то не работает.