Увы, захват окна в мак-версии OBS для игр и прочего динамичного контента неюзабелен, это известный недостаток. Используй захват экрана, например, в двухэкранном режие (подключи внешний моник), на данный момент это единственный выход. Можешь попробовать, конечно, снизить фпс, разрешение и поставить пресет ультрафаст, но скорее всего не поможет. Как вариант, ставь на Мак винду (нативно, не через виртуалку!) и юзай вин-версию OBS. Может, поможет.