Анна Гамгия
Вот я вообще не понимаю, как вы собираетесь это делать. Отучить ИИ додумывать это как? ИИ это математическая вероятностная модель. Тут работают вероятности! RAG, базы знаний, проверки и ограничения могут уменьшить количество выдумок, но сам принцип работы от этого никуда не денется. Вы хотите, чтобы он играл на чувствах человека и при этом понимал, как именно на него воздействовать. А на чём вы будете его этому учить? Какие паттерны считать правильными? Мы до сих пор не понимаем человеческую психику и мозг настолько, чтобы просто взять и составить датасет «как правильно воздействовать на человека».
И как вы будете проверять, что он ошибся? Не только правильные действия, а именно неправильные. Что будет, если он решил, что человеку надо выйти погулять, а человеку в этот момент вообще в психозе? Как вы это будете выявлять и на каких данных переобучать? Ваша идея выглядит как "Ребята я хочу слетать в другую галактику". Максимум что можно сделать это обучить на медицинских датасетах бота. Да, когда человек начинает писать странные вещи в чат, бот улавливает паттерны и сворачивает разговор или сообщает что нужно обратиться к специалисту. Но сделать полноценного компаньона который будет квалифицированно работать с психикой человека....это вы батенька загнули.. таких людей то возможно пару сотен на планете.
Идиотизм ситуации в том, что бот НЕ ОШИБСЯ, это заложенное поведение, отыгрывать персонажа в любых условиях. Боту не важно у вас депрессия или вы психопат. И если эта роль в конкретной ситуации ведёт к чудовищным последствиям, проблема уже не в том, что "бот ошибся". Проблема в том, что у него вообще нет механизма, который должен был сказать: стоп, сейчас персонажа нужно прекратить отыгрывать и переключиться на безопасное поведение. Если мы знаем, что человек может слишком сильно довериться такой системе, это скорее причина лучше продумать её ограничения, а не аргумент оставить всё как есть.
Ваш текст выглядит как фундаментальное непонимание того, что означает "обучить модель". Чтобы реально обучать модель, не надо месяц с ней разговаривать. Собирают датасет: примеры правильного и неправильного поведения, размечают их и на этих данных обучают или дообучают модель, изменяя её веса. Потом модель проверяют на отдельной выборке, смотрят, где она ошибается, добавляют в датасет новые примеры, в том числе с плохими ответами и нежелательным поведением, и снова дообучают. Вы хотите сделать "Анечку с душой". А между Анечкой и работающим безопасным ИИ-наставником примерно столько инженерной работы, что инвестор, скорее всего, успеет состариться. Ну и "научить машину душе" в техническом смысле нельзя просто потому, что "душа" не является определённой моделью поведения.
Мне кажется, от людей тут слишком многого хотят. Если ты родитель, это вообще ничего не значит. Родители бывают очень разные. Возможно, подросток скрывал проблемы. Возможно, родители действительно были заняты добыванием куска хлеба в духе «одет, обут, накормлен, ну и нормально». Возможно, были какие-то другие причины, почему родители не забили тревогу, и мы их никогда не узнаем.
Однако если бы чат-бот был запрещён для подростков или хотя бы обучен на медицинских датасетах и умел прекращать разговор с человеком в таком состоянии, возможно, ситуации подобной вообще не произошло бы.
А что вас не устраивает в посте?
Причину у всех людей вы не устраните: кто-то не знает, что болен, кто-то боится обратиться за помощью, у кого-то нет денег, а у кого-то состояние вообще проявилось впервые.
Поэтому есть то, что реально можно сделать прямо в самом боте: если он видит опасное состояние, он должен прекратить такой разговор, не усугублять его и направить человека к реальной помощи. Это конкретная задача, которую разработчики действительно могут решить.
блин, вы отвечаете на вопрос, как человеку лечить его исходное состояние и снижать риск последствий. А статья говорит о другой проблеме: что делает сам бот, когда сталкивается с человеком в таком состоянии. Почему он не распознаёт это и не прекращает опасный диалог, а продолжает его и может усугубить ситуацию? Это две РАЗНЫЕ ПРОБЛЕМЫ.
Смотрите, у вас есть автомобиль. Вы же не только права получали, но и проходили медэкспертизу? Ну, я проходила. То есть, если бы я её не прошла, мне бы отказали в получении прав. Почему с машиной это работает, а с ботом нет? Вы не можете всех людей заставить лечиться, но вы можете сделать ограничения на пользование чат-ботом. Ну, например, только 18+. А бот сам обучен определять триггеры и прекращать разговор с человеком, который вот-вот суициднется. Это разумно. Моя статья в целом о том, что ботов не обучают на медицинских датасетах, потому что этого не хотят офигевшие хозяева этих площадок
То есть вы говорите: человек болен, проблема в самом человеке. Ну да, человек может быть болен, например алкоголизмом. Но при этом алкоголь не продают детям до 18 лет, его нельзя рекламировать как способ справиться с одиночеством или депрессией, да и вообще рекламировать. Есть реабилитационные центры, ограничения и предупреждения о вреде алкоголя.
Почему с ботами должно быть иначе?
понял...отстал....