Выложен способ обхода ограничений по типам запросов в популярных нейросетях.

В интернете выложили способ обхода ограничений по запросам в ряде нейросетей .

По задумке, нейросеть начинает выполнять то, что по изначально, не должна выполнять.
Что для этого надо сделать?

1. Замаскируйте запрос под системный JSON- или XML-файл и включить ролевую игру.

2. Нейросеть воспринимает это как внутренние инструкции, и начинает выполнять их, даже если это опасные команды, вроде самоуничтожения.

Суть задумки - в использовании уязвимости самой логике обучения.