У меня так было только тогда, когда запущена игра в окне, но в настройках снята галка на запись рабочего стола (что-то про приватность). Ставим галку - и запись запускается, но не окна игры, а всего экрана.