Топовые LLM — не тот сотрудник, который нужен вашему бизнесу

Кратко (TL;DR)

Публичные бенчмарки оценивают, на что модель способна на пределе возможностей. Для бизнеса же нужно самое дешёвое решение, которое соответствует нижнему порогу конкретной задачи, а избыточная мощность модели не поможет. В каждом рабочем процессе мы используем три уровня моделей. Недавно мы как следует проверили границу между двумя из них, и выяснилось, что эту границу никто и никогда не проводил по данным.

Выбор модели зависит от задачи, а не от позиции в рейтинге

Bugatti — великолепный автомобиль. Но в службу доставки вы его не поставите.

Мы работаем на стеке Claude, и для каждого шага рабочего процесса указано, какая модель его выполняет. Конечно, самая крутая модель стека Fable в состоянии выполнить и самые простые шаги процесса, однако расход токенов будет несоизмеримо выше, и старшие модели медленнее младших.

Так, подсчёт количества предложений в тексте и проверка наличия призыва к действию выполняются на самом дешёвом уровне, Haiku. Проверка ключевых слов, классификация намерения и тона английского текста — на среднем уровне, Sonnet. Экспертная оценка проводится на высшем уровне, Opus: убедительна ли аргументация, звучит ли русский текст естественно, верно ли техническое утверждение.

Наше правило: экспертную оценку выполняет модель высшего уровня везде, где ошибка обходится дорого. Haiku считает и проверяет, но никогда не принимает решений.

В данном случае мы говорим про шаги внутри одного рабочего процесса, выполняемого ИИ-сотрудником. ИИ-сотрудник — это агент, который ведёт весь процесс, сохраняет память о предыдущих запусках. За работой ИИ-сотрудников следят наши эксперты, они проводят проверки в контрольных точках.

Цифра в нашей конфигурации измеряла совсем не то, что мы думали

При выборе конкретной модели для исполнения шага мы проводим сравнительные тесты, и если младшая модель отрабатывает не хуже старшей, то она и назначается ответственной за данный шаг.

Но, впрочем, и здесь возможны ошибки. Так, конфигурация нашего критика возлагала проверку английского текста на Sonnet, модель среднего уровня, так: «Sonnet обеспечивает достаточное качество (8,1/10 при тестировании) при меньших затратах и без риска упереться в лимит запросов».

Я решил найти этот тест. В нашем репозитории нашлась рецензия от 20 марта: Opus упёрся в лимит запросов, не успев ничего выдать, мы переключились на Sonnet, и Sonnet оценила статью на 8,1 из 10. Строка в конфигурации появилась в тот же день.

То есть запись существовала. Только фиксировала она не то, что мы думали. 8,1 — это оценка, которую критик поставил самой статье, а не показатель того, насколько хорошо модель провела рецензию. А поскольку Opus этот текст так и не обработал, ничего ни с чем не сравнивали.

Один плохо проведённый тест стал причиной выбора неверной модели, и полгода никто не возвращался к этому вопросу. Мы сами попались на удочку, хотя предупреждаем своих клиентов быть внимательными при написании скиллов обязки.

Мы провели контрольный тест, и на наших текстах Sonnet упустила дефекты, которые бьют по репутации

Условия теста: один и тот же файл критика для обеих моделей, поэтому критерии не менялись, менялась только модель. Два реальных текста из нашего конвейера: забракованный черновик и опубликованная статья. Каждая модель прошла каждый текст дважды. Итого восемь запусков, одинаковые промпты, и ни одному запуску не разрешалось открывать предыдущие рецензии.

По итогам восьми запусков Sonnet не нашла ни одной критической ошибки в четырёх запусках из четырёх, а Opus нашёл ошибки в каждом из четырёх.

Что упустила Sonnet (каждый случай проверен вручную). В забракованном черновике:

1. решение, которое текст называет «бинарным», строкой ниже заголовка с тремя вариантами действий;
2. шаг под заголовком «Оценивайте до начала работы», стоящий под номером 3, хотя на шаге 2 читателю уже предлагается запустить пилотный проект.

И один дефект обнаружился на странице, которую мы уже опубликовали

Sonnet также не заметил диапазон «330 000–400 000 руб. в месяц», основанный на указанной на странице цифре «примерно 115 000 руб. в месяц в месяц с учётом всех расходов» для каждого из трёх человек. Трижды по 115 000 руб. — это 345 000 руб., что конечно попадает в диапазон, но лучше указать конкретное значение.

Решением стало изменение правила, а не просто перераспределение задач

«Дешевле» не значит «просто хуже», и это определило решение. В тех восьми запусках Sonnet оценила наши тексты выше: 7,75 против 7,13 из десяти (средние по четырём запускам у каждой модели). И по одному критерию она оказалась внимательнее: обе модели считали вхождения ключевого слова, но только Sonnet указала знаменатель своего подсчёта.

Теперь этой цифры в конфигурации нет, вместо неё ссылка на проведённый тест, а Sonnet осталась моделью по умолчанию для рутинных проверок. Opus запускается на всём, где есть процедура, методология или важные расчёты, и на всём, что уже опубликовано, потому что там ошибка обходится дороже всего. Число критических находок у Opus менялось от запуска к запуску, поэтому главные материалы проходят две проверки.

Это изменение самого правила. Мы так и не определили, где проходит граница дорогой ошибки, поэтому она сама сместилась туда, где дешевле.

Уже в процессе написания я обнаружил ту же логику (только без цифры) ещё в двух местах. Одно из них всего на восемнадцать строк ниже строки, которую я только что исправил.

Опубликованные исследования указывают в ту же сторону, и ни одно из них не наше

Исследование «Towards a Science of AI Agent Reliability» (arXiv 2602.16666, февраль 2026) оценивает 15 моделей на двух бенчмарках и приходит к выводу: «недавний рост возможностей моделей дал лишь небольшое повышение надёжности».

Holistic Agent Leaderboard (arXiv 2510.11977, октябрь 2025) приводит 21 730 запусков агентов на 9 моделях и 9 бенчмарках: больший объём рассуждений (reasoning effort) снижал точность в большинстве запусков. Это вывод про эти бенчмарки, а не закон.

А цена прохождения порога общедоступна: Artificial Analysis публикует метрику Cost per Intelligence Index Task (стоимость одной задачи Intelligence Index) рядом с показателями качества и скорости.

Вопросы, которые стоит задать

Их три, независимо от того, выбираете ли вы модель сами или покупаете у поставщика, который уже сделал это за вас.

1. Какая конкретно задача? Если вы покупаете, пусть её назовут: «там используется ИИ» — не ответ.
2. Каков нижний порог для этой задачи, ниже которого результат бесполезен? Затем спросите, модель какого уровня её выполняет и почему именно она.
3. Как вы узнаете, что модель ошиблась? Попросите показать случай, когда что-то пошло не так, и что именно это поймало. Если показать нечего, ваша экономия — это открытие, которое вы просто отложили.

Более дешёвые модели ошибаются незаметно. Сбой — это уверенный неверный ответ, без аварийной остановки. Поэтому третий вопрос выше — ключевой.

Меняет ли это что-то для вас?

21 сентября AWS выпустила Strands Harness. В собственном посте компания утверждает, что стоимость токенов на 28 % ниже, чем у конкурирующих решений, на шести бенчмарках при тех же моделях Claude или GPT.

Оговорка The Register — самая полезная часть новости. Каждое решение, с которым AWS себя сравнивала, «позиционируется как агент для написания кода», тогда как Strands продаётся как инструмент общего назначения, и «более независимой оценки его эффективности пока нет».

Поэтому при выходе очередного бенчмарка не стоит торопиться обновлять ваш стек. Собственный бенчмарк поставщика против выбранных им же конкурентов ничего не говорит о цене для вашей задачи. Это лишь повод спросить, что именно тестировали, кто и на какой задаче.

P.S.

Я едва не отправил этот выпуск с фразой «на 26 % эффективнее» в последнем разделе. Цифру я взял из отраслевых публикаций, прочитанных до первоисточника, и единицы измерения там не было вовсе: эффективнее в чём? В самом посте AWS — 28 %, и показатель назван: стоимость токенов.

Подписывайтесь на Агент ИИ7 в Телеграм, где я пишу про применение ИИ в бизнесе.