Как выбрать модель для ИИ-проекта: ChatGPT, Claude, Qwen и когда хватит дешёвой — Nadvan
Как выбрать модель для ИИ-проекта: ChatGPT, Claude, Qwen и когда хватит дешёвой
Лучшей модели вообще нет
Названий много: ChatGPT, Claude, Gemini, Qwen, DeepSeek и другие, и появляются новые. Вопрос «какая самая лучшая» не имеет ответа, потому что качество зависит от задачи, языка и ваших данных. Одна модель лучше пишет аккуратные ответы клиентам, другая быстрее и дешевле обрабатывает простые запросы, третью можно поставить на ваш сервер. Поэтому мы не привязываем проекты к одной модели и берём любые под задачу.
Пять критериев выбора
- Качество на ваших примерах. Рекламные описания и общие рейтинги ничего не говорят о вашей задаче. Смотрим на реальные вопросы и документы.
- Языки. Русский и казахский поддерживаются по-разному, а казахский чаще всего оказывается слабым местом. Проверяем отдельно.
- Скорость. Для чата с клиентом задержка в несколько секунд заметна, для ночной обработки документов нет.
- Цена запроса. Считаем стоимость одного запроса и умножаем на ожидаемый объём (ниже).
- Требования к данным. Если данные нельзя отправлять наружу, подходят только модели, которые можно разместить на вашем сервере.
Как мы проверяем
Берём набор реальных примеров из вашей задачи [N] штук: вопросы клиентов, документы, заявки. Прогоняем их через две-три подходящие модели. Ответы оценивает ваш специалист, не зная, какая модель ответила . По итогам смотрим долю приемлемых ответов, скорость и стоимость запроса. Выбор делаем по этим цифрам, а не по рекламным описаниям.
Когда нужна сильная модель, а когда хватит дешёвой Сильная модель нужна там, где ошибка дорого стоит или задача сложная: длинные документы, тонкие формулировки, ответы клиентам по спорным вопросам, рассуждения в несколько шагов.
Дешёвая модель обычно справляется с массовыми и простыми запросами: разбор заявок по категориям, извлечение полей из документов, ответы по шаблону. Здесь мы выбираем самые экономичные варианты, в том числе китайские: Qwen, DeepSeek и другие.
Сочетание. Часто простые запросы обслуживает дешёвая модель, а сложные передаются сильной. Так цена остаётся низкой, а качество в важных местах высоким.
Открытые модели и свой сервер Открытую модель, например Qwen, можно развернуть на сервере заказчика, и тогда данные не покидают контур. Это оправдано, когда есть требования к данным или большой стабильный поток запросов. Цена вопроса: сервер и мощности, обновления, поддержка. Качество и скорость нужно проверить на ваших примерах так же, как у облачных моделей: заранее считать их хуже или лучше не стоит.
Как не привязаться к одной модели Поставщики регулярно обновляют версии, и поведение модели меняется. Поэтому мы строим решение так, чтобы модель можно было заменить, и после каждой смены версии прогоняем те же примеры. Если качество упало, видно сразу, а не от жалоб клиентов.
Как сравнивать цены Сравнивать нужно не прайс «за миллион токенов», а стоимость запроса и месячный объём. Стоимость одного запроса считается так: токены на входе умножаем на цену входа, токены на выходе на цену выхода и делим на миллион. Умножаем на число запросов в месяц и прибавляем расходы на хранение, поиск по данным и поддержку. Пример для расчёта: запрос с 2 000 токенов на входе и 500 на выходе; цены входа [X] и выхода [X] берём из прайса поставщика на дату расчёта. Прайсы меняются, поэтому в статье цен нет.
Обсудить, какая модель подойдёт вашей задаче, можно на странице внедрения ИИ: nadvan.kz/ai. Мы работаем в Алматы + Казахстан.