Нейросеть ещё не учится, а проблемы уже начались
О том, как я выбирал начальные веса для своей нейросети и почему нельзя просто поставить везде нули.
Котаны и бобришки, сегодня немного отвлечёмся от разработки игр (ссылка на игру) и заглянем внутрь нейронной сети. Не той, которая за секунду рисует котика в космосе (нраица), а той, которую я когда-то программировал сам для одной инженерно-научной задачи.
Котиков она не рисовала. Зато помогала моделировать газотурбинную электростанцию (звучит не так мило, зато как!).
Задача была в том, чтобы получить нейросетевую модель для испытания системы управления. Для этого я реализовывал нейронную сеть: слои, функции активации, обучение методом обратного распространения ошибки и прочие штуки, которые в готовых библиотеках часто прячутся за аккуратным вызовом функции.
И вот ещё до обучения возникает вопрос: какие числа записать в веса, ведь без весов нейронная сеть вообще не сможет работать? Вроде бы мелочь. Но от этой мелочи зависит, с какого состояния стартует сеть и насколько удобно ей будет учиться. Давайте разбираться, почему «поставлю везде нули и погнали» не лучшая идея.
Сначала разберёмся кто тут кому вес
Нейрон получает несколько чисел на вход, умножает каждое на свой вес, складывает результаты и добавляет смещение (крутая штука, тоже разобрался, зачем оно нужно). Полученную сумму он пропускает через функцию активации и передаёт результат дальше.
Если совсем на пальцах, вес показывает, насколько сильно конкретный вход влияет на сумму. Во время обучения эти веса меняются, чтобы ответ сети лучше совпадал с ожидаемым результатом.
Формула для любителей формул (она тут одна, честно):
z = w₁x₁ + w₂x₂ + … + wₙxₙ + b, y = f(z)
Здесь x — входы, w — веса, b — смещение, а f — функция активации. Всё, можно выдыхать. Нам сейчас важнее другое: до первого шага обучения в этих весах уже должны лежать какие-то значения.
Первое, что приходит на ум «А давайте везде поставим нули»
Представим два одинаковых нейрона одного слоя. На вход им приходят одни и те же данные, веса и смещения у них одинаковые, а вклад в ошибку при обучении тоже одинаковый. Тогда на первом проходе они дадут одинаковый ответ и получат одинаковые изменения весов.
На следующем шаге ситуация повторится. И на следующем. Мы вроде бы создали два нейрона, а они ведут себя как два студента, списавшие одну и ту же работу.
Это проблема симметрии: одинаково устроенные нейроны могут продолжать учиться одинаковому, вместо того чтобы искать разные признаки и закономерности (мне нравится слово паттерны). Случайные начальные веса помогают эту симметрию нарушить. Кстати, смещения при этом могут начинаться с нуля: если веса различаются, нейроны уже способны вести себя по-разному.
Тут есть нюанс: симметрия зависит от всей схемы сети и обучения. Речь не о том, что любой одинаковый параметр магически ломает любую нейросеть, а о конкретной ситуации, в которой нейронам просто неоткуда взяться разными.
Ладно, случайные, но какие?
Проблема решена? Рандомим какие угодно числа и идём пить чай? Не совсем. Случайные числа могут быть и слишком большими, и слишком маленькими.
В моей работе использовалась сигмоида (в качестве функции активции, относится к логистическим функциям). Она превращает входную сумму в число между нулём и единицей. Но если на её вход подать очень большое положительное или отрицательное число, функция окажется почти плоской: результат при небольших изменениях входа почти не меняется. Это называется насыщением, что не есть хорошо.
А теперь представим нейрон со 100 входами, каждый равен единице. Если все веса равны единице, а смещение равно нулю, сумма будет 100. Для сигмоиды это глубокое насыщение. Если каждый вес равен 0,01, сумма получится равной 1 и нейрон окажется в более чувствительной области. Числа учебные, зато идея видна.
Почему нам не нравится насыщение? При обучении ошибка распространяется назад через производные. Там, где сигмоида почти плоская, её производная очень мала, и сигнал для изменения весов ослабевает. Через несколько слоёв ситуация может стать ещё печальнее.
Слишком маленькие веса тоже не обязательно спасут: сигналы и градиенты могут слишком ослабнуть при прохождении через сеть. Так что выбор тут не между «случайно» и «неслучайно», а ещё и между разными масштабами этих случайных чисел.
Мой эксперимент с пятью вариантами
Для своей нейронки я исследовал несколько способов начальной инициализации. Входные данные в рассматриваемой постановке нормировались в диапазон от 0 до 1. Буквой n я обозначил количество входов нейрона, а дальше устроил весам небольшую лотерею:
- Все веса равны 0,01/n.
- Все веса равны 0,5/n.
- Все веса равны 1/n.
- Каждый вес случайно выбирается от −1 до 1 и делится на n.
- Каждый вес случайно выбирается от 0 до 1 и делится на n.
Зачем делить на n? Представим, что на все n входов пришли единицы, а веса равны 1/n. Тогда сумма до добавления смещения будет равна 1. Так в этом примере она не растёт просто из-за увеличения количества входов. Конечно, реальные входы и веса неодинаковы, да и о смещении забывать нельзя, но исходная идея именно такая.
В эксперименте я сравнивал, как меняется ошибка при обучении и что происходит на данных, которые сеть не видела при обучении. А теперь графики, куда же без графиков.
Цвета на графиках: синий — 0,01/n; зелёный — 0,5/n; фиолетовый — 1/n; голубой — случайные значения от 0 до 1, делённые на n; коричневый (на графике выглядит оранжевым) — случайные значения от −1 до 1, делённые на n.
А теперь приблизим последние 100 эпох: на общем графике из-за высокого значения ошибки в самом начале различия к концу обучения видны хуже. Ниже показан тот же заключительный участок в более удобном масштабе. Числа от 1 до 101 на горизонтальной оси это последовательные точки внутри увеличенного фрагмента, а не начало обучения.
Теперь разница заметнее: на обучающей выборке три варианта с постоянными весами идут примерно около 9, а оба случайных — около 5–6. На тестовой выборке кривые шумнее, но оранжевая линия, соответствующая случайным весам от −1 до 1 с делением на n, на многих участках оказывается ниже остальных. Это результат конкретного сравнения, а не гарантия для всех сетей.
На графиках видно, что варианты сходились по-разному, особенно в начале обучения. В своей работе я сделал вывод, что для этой задачи случайная инициализация давала меньшую ошибку обучения при одинаковом числе итераций, чем рассмотренные постоянные значения.
Означает ли это, что теперь все обязаны делить случайные веса на n? Нет, конечно. Эксперимент относился к конкретной сети, функции активации, данным и способу обучения. Для другой архитектуры результат может быть другим. Никакой серебряной пули из графиков доставать не будем.
Хорошо, но что с этим делать
Если вы работаете с готовой библиотекой, не обязательно каждый раз писать собственный инициализатор. Зато полезно знать, что выбрано по умолчанию и подходит ли это к вашей архитектуре. А если сеть ведёт себя странно, можно проверить несколько вещей:
- В каком диапазоне находятся входные данные и одинаково ли они подготовлены для обучения и проверки.
- Какие функции активации и способы инициализации используются в слоях.
- Не уходят ли нейроны в насыщение и не становятся ли градиенты слишком малыми или большими.
- Сохраняется ли результат при нескольких запусках с разными случайными начальными значениями.
- Как сеть работает на независимых данных, а не только на тех, на которых училась.
Когда сравниваете способы, старайтесь менять одну вещь за раз: если одновременно поменять данные, скорость обучения и инициализацию, потом будет сложно понять, кто именно молодец (или, кто всё сломал). Для выбора настроек нужна валидационная выборка, а отложенная тестовая пригодится для итоговой проверки.
На этом пока всё
Вот такая маленькая история про числа, с которых начинается обучение. В моём эксперименте случайные веса оказались полезнее выбранных постоянных, а сам выбор пришлось делать с оглядкой на сигмоиду, масштаб данных и количество входов.
Конечно, готовые библиотеки снимают много рутины и это прекрасно. Но иногда интересно приподнять капот и посмотреть, что именно они делают за нас.
А вы когда-нибудь меняли инициализацию весов вручную? Было интересно, повлияло ли это на вашу задачу. На этом, братаны и братишки, пока всё!
Где меня найти
Мой Telegram канал «Между версиями»: https://t.me/mezhduversiyami
Моя браузерная игра Reflection: https://reflection.wizs.ru/