Трекинг глаз решает. В некоторых играх в высоком разрешении рендерят картинку в центре экрана. А по бокам мыльцо. Вообще шлемы щас имеют не плохие экраны. Сетку почти не видно. Если включить видео в youtube VR, какое нибудь 4к. То можно глянуть что он может выдавать. Выглядит порой не хуже кинотеатрального IMAX.

А по мне так все решит нормальная физика. Вот беру я кинжал или топор и не чувствую разницу.