ИИ может замедлять работу программистов
Случайно наткнулся на свежие результаты исследования влияния ИИ-инструментов на продуктивность разработчиков ПО.
Крато: ИИ в среднем замедляет работу опытных программистов
Независимый некоммерческий институт METR провёл рандомизированное контролируемое исследование, чтобы проверить, как инструменты ИИ (в основном Cursor Pro и Claude Sonnet) влияют на производительность опытных разработчиков открытого ПО.
Первоначальные ожидания: разработчики с ИИ будут однозначно продуктивнее чем разработчики без ИИ.
Сами девелоперы прогнозировали увеличение своей продуктивности примерно на четверть при использовании ИИ.
Все разработчики были опытными и работали в привычном для них софте.
Им давали рандомные, но реальные тикеты с гихаба, из нескольких крупных opensource проектах.
Каждый разработчик выполнял задачи с ИИ и без, задачи распределялись случайно.
Результаты были интересными.
По своим собственным ощущениями, разработчики при использовании ИИ, выполняли свою работу примерно на 20% быстрее.
По реальным замерам, при использовании ИИ, разработчики в среднем выполняли задачи на 19% медленнее.
Только у четырех человек не было заметного падения продуктивности при использовании ИИ и они даже показали прирост продуктивности. А из них только у одного был заметный прирост.
Самое важное в этом исследовании то, что абсолютно все участники исследования думали, что ИИ их ускорил, а на деле он большинство из них только замедлил.
Так же следует заметить, что все разработчики были опытные (примерно 5 лет активного участия в крупных opensource проектах), поэтому эти результаты нельзя экстраполировать на всех. Кому-то ИИ может действительно помогать, кому-то только мешать.
Я лично не удивлен ни капли, по моему опыту использования всяких курсоров, копайлотов и т.п., на текущем уровне развития они годятся только для не очень сложных задач на небольших и средних по размеру проектах. А когда дело доходит до уникальных, комплексных задач в проекте, где и так уже лет 7 до тебя писали код разные индусы, там все ИИ-помощники резко сдуваются и начинают только тормозить работу, особенно в задачах написания нового кода.
Каждый раз, когда кто-то из знакомых и коллег истекая слюнями, начинает рассказывать как нереально круто [AI NAME] написал ему код или начал помогать в проекте, оказывается что проект - очередное web-говнище, какое-нибудь всратое rest api для какой-то фигни, или web-морда на [популярное js-говно для UI]. То есть буквально самое примитивное дно IT (хуже только сайты на wordpress).
Оригинальная работа на Arxiv:
Как-нибудь, когда наберется побольше материала, напишу пост про попытки применять ИИ в разработке сложной игры на UE5 и C++.