Последний месяц активно пытаюсь использовать Копайлот + Claude 3.7. И...
Качество очень сильно прыгает. Если оно отработало плюс-минус ок, то и правда экономит кучу времени. Но если нет, то печаль-беда.
Вот некоторые негативные моменты:
1. Самое худшее, когда код итоговый компилится, но работает не так, как надо. Ты просишь AI написать юнит/регрессионные-тесты, чтоб проще отловить, так оно и в тестах свои ошибки пытается под ковёр замести.
2. Дублирует код вместо переиспользования/создания подмодулей.
3. Делает что-то, будто совсем не понимает контекста.
4. Меняет код, а когда спрашиваешь о причинах, говорит, что не понимало смысла. Т. е. оно признаёт, что поменяло код, даже не понимая, почему он был так написан, и без явных причин его менять 😞
When creating a solution for the race condition issue, I focused on adding transaction management and constraint checking, but incorrectly modified the commit data arguments without understanding their purpose in the branch creation process.
Но при этом порой прям удивляет в положительном ключе. Особенно если пишет код с пониманием внутренних библиотек, а код в итоге работает именно так как надо.
Если просуммировать опыт с Claude 3.7, то по итогу я наверно даже больше времени потратил, чем если бы всё писал сам. Но пока что я воспринимаю это как эксперименты, надеюсь всё будет куда лучше в будущем. Плюс там 4.0 вышла, да и Курсоры/прочие нейронки хочу потыкать.
Пример, когда оно зачем-то поменяло мне аргументы при вызове метода. Мне пришлось 3 раза у ИИ уточнять, почему решение о переписывании вызова было принято. В итоге добился лишь извинений и того, что ИИ "не понимало, что делаю".
P.S. можно на телегу подписаться. Там я почти не шитпостчу.