Играем с ChatGPT (часть 2)

На видео в этот раз играет полностью AI в виде GPT модели ChatGPT4 (ускорено в 3 раза т.к ИИ долго думает)

Открыл для себя модель LLama3 - которая реально бесплатная и легко устанавливается локально(бес смс и банковской карты).Хороша для отработки задач без всяких VPN.
Буквально недавно вышла новая LLama3.1, но в моей задаче она себя не смогла проявить)
Я устанавливал начальную версию LLama3:8b и LLama3.1:8b (а есть еще и c 70b параметрами и с 400b). Можно общаться на русском.

Для приемлемого времени работы Llama желательна видюха типа RTX3080Ti, я на такой пробовал. LLama3:8b конечно уступает ChatGPT4 , и скорее ближе к уровню ChatGPT3.5

Llama3 в целом неплоха по сравнению с другими моделями (не open ai) - но с логикой у нее средненько, также делает ошибки при написании кода JSON , постоянно скобки то теряет, то пишет неверные парные } ] . ChatGPT3.5 ни разу не написал мне некорректный JSON\python код.

Также она не может ответить на вопрос Сколько слов в предложении "три слова" ? А Llama3.1 уже правильно отвечает.

Хоть я и пробовал LLama для этой игры - но она показала себя хуже чем chatGpt , может дело в маленькости - запускал только 8b версию.

В плане логики LLama похожа на chatGpt - обе одинаково неуклюже делают попытки выбора оптимальных шагов в задаче, но chatGpt намного адекватнее с объяснением своих действий и дает хорошо связанную и логичную информацию, что помогает понять, где в промте можно что-то поменять\улучшить.

Также запускал локально Gemma2 от Google c 9b параметров - надо признать она неплоха и дает хорошие пояснения и ответы, но в какой-то момент ее почему-то переклинивает.

https://ollama.com/download/linux curl -fsSL https://ollama.com/install.sh | sh # скачивает и запускает , потом будет запускать уже без скачки ollama run llama3:8b # или ollama run llama3.1:8b

как использовать:

можно в диалоговом режиме просто запустить ollama run llama3 или curl http://localhost:11434/api/generate -d '{"model": "llama3","stream":false, "prompt":"Why is the sky blue?"}'

для питона API: pip install llama-index llama-index-llms-ollama pip install ollama для api модель должна быть предварительно запущена ollama run llama3 import ollama promt="Hello , how are you ? Very short answer in one sentence" resp=ollama.chat(model="llama3",options={"temperature":0.1}, messages=[ {'role': 'user','content':promt } ]) print(resp['message']['content'])

Сложную логику такие модели переваривают с Огромным трудом, за 1 запрос редко выдают хорошие ответы, думаю можно только через многоступенчатые последовательные запросы к модели.
Постоянные проблемы - то не могут вывести в нужном формате, теряют скобки и т д. То пишут абсолютную ерунду в части логики связывая иногда абсолютно несвязанные вещи.

Также не выполняют инструкции по типу "дополнительно напиши такой то список, выведи то-то и то-то и т д" - в общем живут своей довольной жизнью)

На каждую новую карту, если туда что-то добавляешь, нужно допиливать промпты для модели.

Не могу понять, как gpt модели могут решать математические задачи, сдавать егэ и прочее, если они не могут справиться с достаточно простыми логическими задачами.

Попробую какую-либо другую игру, скорей всего с более простой логикой. Может другие форматы промтов либо дать в промте намного больше информации для gpt.

Оставляю тут примером запроса(промта) к gpt и его ответа для игры.

( на дтф к сожалению нет возможности хранить файлы)

Запрос: https://pastebin.com/zkdyy8nB

Ответ gpt: https://pastebin.com/tFXpa8wc

Как-то раз ChatGpt мне честно признался:

12 комментариев

Kravcev

28 июля

Ллама 3.1 прям пока фаворит.
Хотя еще пробовал mistral 2407 12b и в моментах вроде как лучше, но в целом потупее все таки чем ллама показалась.

Ответить

Кайфолог III

Автор

мистрал немо у меня вобще не могла ничего сделать - гораздо хуже ламы. Лама, да, если бы не редкие ошибки и норм пояснения когда ее просят - то сделал бы на ней а не ChatGPT

кор/два/дуо

А мог играть с членами

я еще не гигачад!

1. LLama и бесплатные модели

2. Установка и использование LLama:

3.Выводы:

4. Дальнейшие планы:

5. ...