ПРОМТИНГ УМЕР! НАСТУПАЕТ ЭРА КОНТЕКСТНОЙ ИНЖЕНЕРИИ

Помните повальное увлечение промт-инженерными проектами в 2023 году? Заголовки газет пестрели сообщениями о больших зарплатах для "промт инженеров" в известных компаниях.

Если вы хоть сколько-нибудь знакомы с ИИ, то наверняка сталкивались с идеей промтов (подсказок). Именно так вы даете инструкции LLM, такому как ChatGPT.

Как оказалось, есть вещи, которые вы можете сделать, чтобы лучше разрабатывать свои промты и повышать качество результатов. Это ремесло известно как "разработка промтов" - и это именно то, на что оно похоже, - разработка промтов, чтобы магистр права делал то, что вы хотите.

Но вот что интересно: поскольку за последние два года количество контекстных окон увеличилось с 4 тыс. до более чем 1 млн токенов, появилось нечто более мощное, чем разработка промтов: контекстная инженерия. 

Переход может показаться простым, но кадрирование-это совсем другой-вместо того, чтобы оптимизировать как ты спрашиваешь, Ты же теперь оптимизации того, что ИИ имеет доступ к данным, когда он думает.

Почему этот сдвиг важен для всех, кто строит с использованием искусственного интеллекта

В начале давайте разберемся что такое контекстное окно?

Представьте контекстное окно как огромный лист бумаги, который вы передаете гениальному помощнику.

На нем можно написать что угодно: от короткой просьбы сочинить стишок до целого эссе на 5000 слов, которое нужно сократить.

Но у этого листа есть края, и измеряются они в «токенах». Токен — это не совсем целое слово, а скорее его строительный кирпичик (примерно 4 символа). Именно от количества этих кирпичиков зависит всё: сколько вы заплатите, как быстро получите ответ и насколько глубоко ИИ сможет погрузиться в задачу.

Важно помнить: нейросеть знает только то, на чем её учили когда-то, и то, что вы написали на этом листе прямо сейчас. 

Раньше наши «листы» были крошечными, но за последние два года они стали просто гигантскими. Теперь наш главный вызов — не размер бумаги, а то, как мастерски мы заполним это пространство, чтобы модель выдала максимум пользы.

Как ИИ «запоминает» ваш диалог

Возможно, вы заметили, что ChatGPT и Claude обладают хорошей кратковременной памятью. Поэтому вы можете задавать уточняющие вопросы, и они будут понимать, о чем вы говорите. Как это происходит? За кулисами они передают ваши предыдущие запросы и ответы в контекстное окно. Это чем-то похоже на фильм «Помни», где главный герой все забывает и вынужден делать пометки на своем теле, чтобы вспомнить, кто он такой и что происходит (кстати, отличный фильм). 

RAG: обучение ИИ по запросу

Существует подход под названием RAG (Retrieval-Augmented Generation), при котором мы находим набор документов, связанных с запросом пользователя, а затем передаем их в контекстное окно (тем самым «обучая» ИИ именно тем вещам, которые помогут ему ответить на вопрос или выполнить запрос). 

Вызов инструментов: расширение возможностей ИИ

Мы также внедрили функцию вызова инструментов. Это способ сообщить ИИ: «Представь, что у тебя есть доступ к набору инструментов для веб-поиска, поиска цен на акции, прогнозов погоды... чего угодно». ИИ может использовать один или несколько предоставленных инструментов, если это поможет ему обработать запрос. 

Вот любопытная, но приятная деталь того, как работает вызов инструментов: когда мы сообщаем ИИ, какие инструменты у него есть, он не вызывает их самостоятельно. 

Базовый LLM для этого не создан. Он просто использует контекст и выдает выходные данные. Мы сообщаем ему, к каким инструментам у него есть доступ, и на выходе он сообщает приложению (например, ChatGPT), какой инструмент оно хотело бы вызвать. Затем приложение запускает инструмент от имени LLMs, помещает результаты в контекстное окно и отправляет их обратно. Это умный способ обойти тот факт, что LLMS работают только с контекстным окном.

С помощью контекстного окна стоимостью в миллион токенов вы можете предоставить ИИ всю кодовую базу, полный бизнес-план или несколько месяцев разговоров со службой поддержки, и он сможет анализировать всю эту информацию одновременно.

Почему важна контекстная инженерия

Помните повальное увлечение быстрой разработкой в 2023 году? Заголовки газет сообщали о зарплатах в размере более 300 тысяч долларов для "оперативных инженеров" в таких местах, как Anthropic.

Многие вакансии получили широкую огласку, потому что для них не требовалось формального образования в области CS - только умение свободно говорить на языке "LLM".

Несмотря на то, что было нанято несколько промт инженеров, эта категория вакансий оказалась не такой массовой, как многие ожидали. В чем причина? Все стали промт инженерами. И теперь появляется нечто еще более важное: контекстная инженерия.

Контекстная инженерия - это, по сути, более высокоуровневая версия промтинга.

Оперативная разработка была похожа на обучение задавать действительно правильные вопросы. Контекстная разработка похожа на работу библиотекаря, который решает, какие книги кому-то доступны, еще до того, как они начнут читать.

Чем на самом деле занимаются контекстные инженеры:

Если промпт — это инструкция, как думать, то контекстная инженерия — это база знаний и инструменты для работы. Вот чем на самом деле заняты профи в этой нише:

1. Отбор главного: решаем, какие документы, API или куски памяти нужны для конкретной задачи. Лишнее только мешает.
2. Архитектура: выстраиваем четкую очередь: системные настройки → инструменты → данные → и только потом запрос пользователя.
3. Упаковка: Информация сжимается или разбивается на части. Важно сохранить суть, не раздувая расходы на «токены» и не замедляя ответы.
4. Контроль качества: следим, чтобы модель не «уплывала» и не отвлекалась на второстепенный шум.

Да, больше данных — это дороже и медленнее, но именно здесь сейчас скрыто главное конкурентное преимущество.

Контекстная инженерия требует такого подхода к информационной архитектуре, стратегии обработки данных и взаимодействию с пользователями, который никогда не применялся в prompt engineering. Компании, которые овладеют этим, получат огромное конкурентное преимущество.

Как я люблю говорить: промты подсказывают модели, как думать, но контекстная инженерия дает модели обучение и инструменты для выполнения работы.

Будущее, основанное на контексте

Бурный инженерный ажиотаж 2023 года преподал нам важный урок: самые ценные навыки ИИ связаны не с изучением секретных фраз или хитроумных трюков.

Они связаны с пониманием того, как проектировать интеллектуальные системы, которые имеют доступ к нужной информации в нужное время.

Это фундаментальный переход от оптимизации предложений к оптимизации знаний. Это важно для всех, кто сегодня работает с ИИ.

Лично я, как человек, работающий в этой области, постоянно поражаюсь тому, что становится возможным, когда перестаешь думать об ИИ как о чат-боте и начинаешь думать о нем как о механизме мышления, имеющем доступ к нужному контексту и инструментам.

Эра быстрой разработки научила нас разговаривать с ИИ. Эра контекстной инженерии учит нас мыслить с помощью искусственного интеллекта.

Спасибо, что дочитали 

Пока другие коллекционируют ссылки на 1000+ нейросетей и промтов, я создаю автономных ИИ-агентов и целые экосистемы с ИИ, которые решают задачи реального бизнеса.

🔹Загляните в мой Телеграм-канал или канал в MAX

 “Сергей Милованов. InPromotion”. 

Там я разбираю анатомию создания сложных ИИ-помощников (Медик, Сценарист виральных Рилс, Юрист), выкладываю рабочие подборки промтов, нейросетей и шаблоны Ai ботов.

А еще рассказываю как я ИИ маркетолога стал бренд-амбассадором квеври винодельни, и как я туда внедряю возможности ИИ.  

Никакой «мертвечины» — только живой опыт. ✔️