Neuropunk Academy: От физической активности к цифровой валюте
ДИСКЛЕЙМЕР
Нет, это не очередная убогая тапалка или прочее говно. Большинство РФ комьюнити музыкального жанра drum and bass знают, что такое NEUROPUNK подкасты, Нейропанк фестивали. Neuropunk Academy - это музыкальная школа по написанию музыки и диджеингу. Павел Paperсlip - один из музыкантов, основатель Нейропанк Академии Объединившись с ребятами, которые так же пишут музыку или неравнодушны к dnb - ради эксперимента решили занятся нейронками. Ну а я, как участник Нейропанк Академии, большой фанат dnb, российского Neuropunk движения хочу немного продвинуть в массы действительно полезную и интересную штуку. Весь материал взят с
Как нейрофанк-музыкант создал уникальное приложение и криптовалюту FYZCOIN с помощью глубокого обучения и обычного обучения своего мозга.
Приветствую, читатели!
В мире, где технологии и творчество постоянно переплетаются, рождаются самые неожиданные идеи. Сегодня я, ректор и основатель Neuropunk Academy, хочу поделиться с вами историей о том, как наше спортивное сообщество превратилось в революционное приложение "FYZCOIN".
От идеи к техническому вызову
Всё началось с простого решения: я стал отжиматься, вдохновив своим примером других участников нашего сообщества. Мы начали считать отжимания, что привело к резкому росту числа физически активных участников. Однако это создало неожиданную проблему: чат оказался перегружен сообщениями о физических упражнениях.
Чтобы сохранить баланс и атмосферу сообщества, я решил создать специальное приложение "FYZCOIN", где 1 физкойн равняется 500 отжиманиям.
Технологический лабиринт (зеркальный)
Как нейрофанк-музыкант, а не профессиональный программист, я столкнулся с серьезными техническими вызовами. Вот через что пришлось пройти:
MediaPipe и анатомические точки: Первая версия приложения основывалась на MediaPipe с использованием анатомических точек. Однако это решение оказалось несовершенным для видео: точки "плавали" и "прыгали", требуя сложного дополнительного сглаживания. Кроме того, этот подход требовал от пользователя значительных усилий по выставлению кадра, освещению и другим аспектам записи видео.
Всю сложность для пользователя при использовании технологии MediaPipe можно заметить на видео выше, где человек стоит далеко от телефона полностью в кадре, что невозможно в домашних условиях!
Pipeline Shapy от Meta: Я даже пробовал совместить анатомические точки с Pipeline Shapy от специалистов Meta и Facebook. Эта технология позволяет создавать 3D-модель из одного кадра видео. Однако процесс оказался слишком громоздким и требовал глубоких знаний о параллелизации процессов.
Поиск простого подхода: Мне хотелось найти решение с глубоким обучением, но не с классическим машинным, которое не давало нужных результатов.
Прорыв: Трансформер Keras и оптические потоки
Ключевой момент наступил, когда я обнаружил репозиторий от NetoPedro с пред обученной моделью на основе трансформера Keras.
Меня абсолютно не устраивала ситуация, что я буду использовать чужой труд и решил, что смогу справиться сам с этим репозиторием, но на его разбор и понимание у меня ушёл 1 месяц.
- я пробовал сделать все как, вероятно, мог бы сделать автор (там не особо можно найти деталей в этой репе)
- я пробовал написать заново документацию и переделать всё при помощи языковых моделей для большего понимания процесса (обосрался)
- попробовал схожую архитектуру, но с использованием уже современных моделей, но они оказались настолько громоздкими и тяжелыми с процессом параллелизации GPU обработки и записи на диск и так далее, что я чуть не стал седым, пока не вернулся к репозиторию от NetoPedro, в котором у меня было всё очень к тому времени знакомое и такое работающее.
Я приступил к тренировке модели на основе данных ( о данных чуть ниже).
Keras модель в данном контексте работает через TorchVision и Optical Flow, используя обычные оптические потоки по направлениям.
Это похоже на работу с нормалями, где каждое направление окрашивается определённым цветом. Именно такой подход оказался идеальным для нашей задачи.
Роль сообщества в создании уникального датасета
Критическим фактором успеха стало наличие огромного количества тренировочных данных. Благодаря активности наших "академиков", которые усердно отжимались на протяжении долгого времени, мы собрали внушительный датасет:
- Объем: 4,2 ГБ данных
- Содержание: Пред-обработанные 2 часа отжиманий академиков в оптические потоки: каждый кадр это отдельный png файл. 17K файлов.
Этот уникальный материал позволил нам точно натренировать модель под наши специфические нужды.
Тонкая настройка и валидация
После базового обучения модели мы провели fine-tuning с использованием специального датасета валидации. Это позволило точно определять различные движения и их направления.
Преодоление технических трудностей
Работа над проектом включала множество технических задач:
- Написание программы для работы с датасетами
- Создание инструментов для переименования и анализа цвета
- Решение проблем с логикой подсчета движений
- Исправление ошибок в маркировке через логирование модели
Также, переделка репозитория от НЕТО ПЕДРО потребовала значительных усилий, так как там не были указаны ключевые вещи для работы с подобными инструментами. Я пробовал рефакторить на современный лад и понял, что нужно более легкое решение.
Результат
Натренированные веса распознают отжимания, но на удивление точно также хорошо распознают и подтягивания (!!!!) . При небольшой тренировке дополнительными данным (fine-tuning) получится создать очень комплексную модель для распознавания большинства повторений в спорте.
Будущее проекта
Мы планируем интегрировать физкойны (FYZCOIN) с нейронными сетями во время работы с блокчейном, создав тем самым причину (тряски) записи в блокчейн (типа майнинг). Помимо этого у нас будет закрытая экосистема, что позволит нам контролировать внутреннюю структуру и избегать недобросовестных операций (речь о мошенниках и HYIP проекты).
FYZCOIN как криптовалюта будет существовать отдельно от всемирного маркета, никогда не выйдет в листинг и будет закрытой криптовалютой для партнерских сетей.
Приложение будет доступно в Киберпапере (скоро вернётся), а также для Android, iOS и в виде веб-сервиса на сайте/портале Neuropunk Academy.
Примечание от меня
FYZCOIN в данном случае планируется использовать как монету оплаты или скидок на музыкальное оборудование, vst-плагины ну и в остальных областях, в которых заинтересуются потенциальные пользователи или магазины. По мне так это действительно интересная реализация нейронки и монеток, в отличии от убогих хомяков и прочих околоскамерских проектов(чо пасаны, свои миллионы уже вывели?). Понятное дело, что для среднестатистического дтфера максимальные физические нагрузки это притащить двушку пива с пятёрочки до дома, тем не менее, может быть кому то это будет интересно.
Ну и конечно оставлю ссылки на:
Академия Нейропанк, кто внезапно хочет научится писать музыку, или уже умеет и хочет улучшить свои навыки(нет, мне никто не платил, дайте деняк плз):
Сайт PPRFNK TECH:
Приложение Neuropunk Records:
Павел Paperclip - оригинальный автор статьи, разработчик, музыкант и просто отличный преподаватель и человек:
Ну и большой видос от Максима Горшенина, кому интересно послушать про физкоин, Российские изодинамические наушники Neuropunk M1, друмэндбусс и технологии.
Ура, новый скам