Groq - лучшая платформа для подключения AI в свой проект

Недавно я открыл для себя платформу Groq (не путать с Grok Илона Маска). Странно, что она раньше не попадалась мне на глаза, хотя я давно интересуюсь нейросетями и разработкой агентов. По сути, это панель, позволяющая подключаться по API к популярным Open Source моделям по типу - Llama 3, Mixtral, Qwen, GPT от OpenAI и другим.

Возникает вопрос, зачем это нужно, если есть тот же OpenAI API или API у Gemini? Для себя я нашел три весомых фактора.

Во-первых, это скорость. У них свои чипы LPU, которые ускоряют работу текстовых моделей в разы. Для сравнения: если GPT-4 выдает в среднем 50–80 токенов в секунду, то здесь буквально в 10 раз больше по 500-800 токенов. Запросы обрабатываются почти моментально, даже с учетом того что это API из бесплатного тарифа.

Во-вторых - очень большие лимиты в бесплатной версии. Для любого MVP или пет-проекта этого хватит за глаза. Дают около 14 400 запросов в сутки. Глянул на свои цифры - за 38 запросов (это 37.2 тысяч токенов) набежало всего $0.02 - около полутора рублей. Причем деньги пока даже не списывают.

В-третьих, нет проблем с локацией, это для меня была самая главная проблема с другими API. С OpenAI или Gemini вечно приходится следить за api, зашел не с того IP — и ключ просто не работает, в компиляторе так и пишет, что проблема в локации, ключ был взят под другим ip. С Groq таких проблем нет, API работает стабильно, в не зависимости от ip (тут маленькая поправочка если запускать модель через код как делал я, то API не даст работать если ты в РФ).

Я использую модель Llama 3.3 в своем проекте - JobHunt AI. Работает всё очень шустро, хотя честно признаю: пока не всё идеально. Поиск местами подводит, и нейронка не всегда правильно раскладывает запрос пользователя для базы данных. Иногда теряет контекст, так что буду еще допиливать промпты и логику. Но как быстрое и бесплатное решение для старта - варианта лучше не нашел.

Сам сайт простой, статистика наглядная и ее очень много, на любой вкус, навигация удобная. Если тоже работаете с нейронками и нужны API, то думаю это один из лучших вариантов.

Не забуду написать что буду благодарен за любой фидбек по боту, по его работе и другим его аспектам.