Что будет , если переобучить нейросеть

При изучении нейросетей на самом базовом уровне я столкнулся с термином эпоха (это одно прочтение нейросетью датасета*) , я узнал , что 3 эпохи достаточно для адекватного обучения , но у меня появилась идея , что если обучить ее больше раз . С 5-6 раза у нейросети появится переобучения , она будет путаться в данных и давать несвязные ответы . Но у меня в голову пришла мысль , что будет , если обучить ее не 10 раз , а 1000 , это можно сделать без проблем , я решил сделать все в теории , что бы не тратить электричество зря , возьмем ллм модель на тексте 5 тысяч символов , обучить ее тремя эпохами , мы получим модель которая будет отвечать по тексту , 1 эпоха на rtx 5090 будет ~10 секунд , если ее обучать 1000 эпохами будет 28 часов . 1000 эпох это уже экстремальное переобучение , ее примерные ответы будут очень несвязными , например на вопрос "привет, как дела?" она ответит : "компания BMW делает автомобили"

*датасет - данные на которых обучается нейросеть

Начать дискуссию