Я бы копал в сторону AMD Catalyst. Проверь, не включился ли какой-то VSR или GPU Scaling. У самого RX580, таких проблем не было.

Edit. Вот тут посмотри: https://www.amd.com/en/support/kb/faq/dh-010