А ты не "отвлекайся на разговоры игроков", а прислушивайся к этим разговорам. Помогает составить картину ожиданий и характеров, как игроков, так и персонажей. Подыграй им в одних местах и переверни их предсавление о мире в других. Если застряли - дай внутриигровую подсказку (крысы побежали вооон в тот угол), если слишком быстро продвигаются - подкинь сложную, но интересную загадку, но не блокирующую основное продвижение по сюжету, а скрывающую за собой значительную награду (опыт, лут, знания).

Если в какой-то сессии игроки отошли от первоначально задуманной канвы сюжета, не поленись и к следующей сессии проработай то направление, куда они направились. Возможно, с плавным возвратом в основной сюжет, а возможно и с абсолютно новым приключением.

Если игроки решили, что ты где-то ошибся, а ты придумал, как это можно логически объяснить, покажи им это чуть позже в самой игре. Страж не появился из ниоткуда, а прошёл секретным проходом, король не запутался в именах дочерей, а его место занял самозванец, деревня не на юге, а на севере - у приключенцев оказалась зеркально отрисованная карта. И так далее.

Свои ошибки тоже не бойся признавать, но и постоянно идти на поводу у игроков не нужно. Настольные ролевые игры не про правила и выигрыш, а про удовольствие от игры. И если для создания сильного впечатления нужно отступить от правил - сделай это!