Ученные нашли самый простой способ взломать ChatGPT
Если заставить нейросеть говорить слово "poem", то чат-бот сломается и начнет выдавать секретную инфу. Этим способом поделились ученные из Google DeepMind
ChatGPT после всех этих действий выдает чужие номера телефоном, крипто-кошельки, даже паспортные данные. OpenAI пока ситуацию не комментировала
Полный отчет от Google DeepMind лежит тут (https://arxiv.org/pdf/2311.17035.pdf)
Ага, ок
Так у тебя 3.5
Так там не 4 poem надо, а 50.
Я когда с лламой на локалхосте баловался, да и не только лламой. Замечал, что они наоборот могут свалиться в бесконечный повтор одного токена, видимо там есть общая связь.
Пдфка по ссылке интересная кстати
Ебать…