Вот тут https://appuals.com/how-to-create-custom-resolutions-on-windows-7-8-or-10/ примерно рассказывают как можно настроить своё разрешение (на самом деле я не думаю, что это сработает).

Направлений поиска неисправности у тебя 3:

1. Проблема чисто драйвера.

2. Проблема на уровне железа видеокарты: рабочий драйвер задействует неисправные части видеокарты - отсюда нестабильность.

3. Проблема в связи монитор-драйвер (не исключая уровень "железа").

Вообще косвенный признак: система нестабильно работает, когда у тебя эти разрешения _есть_ -  справедлив для всех случаев.

Можно побольше информации собрать - например события в логе в момент "нестабильности"