Откровенно говоря…
Большинство людей, рассуждающих об искусственном интеллекте, либо дают текстовые определения, либо совершенно не понимают, о чем идет речь, когда кто-то упоминает большие языковые модели или нейронные сети.
Вам не обязательно быть кем-то из них.
Я считаю, что есть 5 терминов, 5 концепций, которые, если вы действительно их понимаете (а не просто заучили), дадут вам огромное преимущество перед остальными. Неважно, работаете ли вы в сфере технологий, бизнеса, образования или просто интересуетесь тем, куда движется мир.
Итак,
Первое, что вы должны усвоить: модели искусственного интеллекта не читают слова. Они даже не читают буквы. Они читают токены.
Так что же такое токен?
Представьте, что вы читаете книгу, но вместо того, чтобы читать все слова, вы читаете фрагменты слов. Иногда фрагмент представляет собой полное слово, например "кошка". Иногда это часть слова, такого как "оон" или "тион". Иногда это пунктуация. Этот фрагмент текста (chunk) является токеном.
Например, предложение «Я люблю пиццу» можно разбить на три части: «Я», «люблю», «пиццу».
Почему это важно для вас?
Дело в том, что каждый продукт с искусственным интеллектом, который вы используете, например ChatGPT, Claude, Gemini, подсчитывает токены в фоновом режиме. Чем больше токенов вы отправляете в своем сообщении, тем больше данных должна обработать модель. Чем больше токенов она генерирует в своем ответе, тем дороже это обходится.
Когда вы слышите, как люди говорят о контекстном окне модели (подробнее об этом чуть позже), они имеют в виду, сколько токенов она может одновременно хранить в памяти. Некоторые старые модели могли обрабатывать до 4000 токенов. Новые — более миллиона.
Вот почему искусственный интеллект иногда забывает начальные части длинного диалога. Когда диалог заполняет контекстное окно, самые старые токены удаляются, как это происходит, когда оперативная память компьютера переполняется и он начинает тормозить.
Токены — это атомы языка искусственного интеллекта. Как только вы это поймете, вы начнете разбираться, почему одни подсказки работают лучше других, почему ИИ забывает о чем-то в длинных диалогах и почему стоимость API измеряется в токенах на тысячу.
Представьте, что вы разговариваете с кем-то, но у этого человека очень специфическая память. Он может вспомнить только последние X минут разговора. А все, что было до этого? Исчезло. Забыто.
Это и есть контекстное окно.
Это общий объем текста, измеряемый в токенах, который модель ИИ может видеть и учитывать одновременно. Сюда входит все: ваши инструкции, история переписки, все документы, которыми вы поделились, и ответы самой модели.
Представьте, что это доска. Контекстное окно — это размер доски. На ней можно писать все, что угодно. Но когда она заполнится, вам придется стереть что-то старое, чтобы написать что-то новое.
Знаете, что еще интереснее?
Небольшое контекстное окно (например, 4000 токенов) означает, что ИИ может одновременно работать только с несколькими страницами текста. Если дать ему длинный документ, он сможет прочитать только его фрагменты. Большое контекстное окно (например, 200 000 токенов) означает, что вы можете буквально вставить в него целую книгу и задавать вопросы по ней.
Или когда Gemini приблизилась к отметке в 1 миллион. Вот почему люди так воодушевились, когда Клод объявил о контекстном окне в 200 000 токенов. Это в корне меняет возможности использования модели.
В чем практический смысл? Если вы работаете над чем-то важным, например составляете краткое изложение длинного документа или анализируете данные, помните, что ваш ИИ может забывать предыдущие части диалога. Это не ошибка. Просто на доске закончилось место.
Это мой любимый пример, потому что, услышав его, люди уже никогда его не забудут.
Когда вы просите ИИ что-то написать, есть параметр, который называется «температура». Он определяет, насколько случайным или предсказуемым будет результат.
Низкая температура (ближе к 0) = ИИ перестраховывается. Каждый раз он выбирает наиболее вероятное, ожидаемое слово. Результат получается стабильным, точным и немного скучным. Как у того парня, который всегда отправляет одно и то же письмо по шаблону.
Высокая температура (ближе к 1 или выше) = ИИ идет на риск. Он выбирает неожиданные слова, необычные обороты, интересные идеи. Иногда гениальные. Но не всегда.
Вот реальный пример. Попросите ИИ «дополнить предложение: «Кот сел на…»».
При низкой температуре он почти всегда отвечает «коврик» или «пол». Предсказуемо. Безопасно.
При высокой температуре он может выдать «философскую дилемму» или «рушащуюся империю вторника».
Креативно? Да. Применимо для юридического брифа? Однозначно нет.
Вот неписаное правило, о котором большинство не знает:
Если вы используете ИИ для решения фактических задач, таких как обобщение, кодирование, извлечение информации, вам нужна низкая температура. ИИ должен быть точным, а не креативным.
Если вы используете искусственный интеллект для решения творческих задач, таких как написание художественных произведений, мозговой штурм, создание маркетинговых текстов, повысьте температуру. Вам нужно что-то неожиданное.
В большинстве потребительских приложений, таких как ChatGPT, нельзя напрямую изменить этот параметр. Они установили среднее значение. Но если вы когда-нибудь будете использовать API искусственного интеллекта или инструмент для разработчиков, то увидите этот параметр. И теперь вы знаете, что с ним делать.
Этот термин у всех на слуху, но не все понимают, почему это происходит, а ведь это самое важное.
Галлюцинация — это когда ИИ с абсолютной уверенностью выдает неверные ответы. Без колебаний. Неверный ответ преподносится как факт.
Пример: Вы спрашиваете у ИИ о книге. Он выдает вам название, имя автора, год издания и краткое содержание — все вымышленное. Такой книги не существует. Но ИИ выдает ее так, будто читает из Википедии.
Почему это происходит?
Вот что большинство людей упускают из виду. Языковые модели с искусственным интеллектом — это не базы данных. Они не ищут факты. Они предсказывают наиболее вероятный следующий символ на основе закономерностей, которые они усвоили в процессе обучения. По сути, это автозаполнение в огромных масштабах.
Поэтому, когда ИИ чего-то не знает, он не говорит: «Я не знаю». Он выдает то, что звучит как правильный ответ, потому что именно этому его и обучали.
Опасность не в том, что ИИ совершает ошибки. Все инструменты ошибаются. Опасность в том, что ИИ совершает ошибки с той же уверенностью, с какой он делает все правильно. Он просто выдает ответ.
Практический урок заключается в том, что никогда не стоит слепо доверять искусственному интеллекту в вопросах фактов, статистики, медицинских рекомендаций, юридической информации или чего-либо еще, где ошибка может привести к серьезным последствиям. Используйте его как отправную точку. А затем проверяйте.
Люди, которые разбираются в галлюцинациях, не перестают использовать искусственный интеллект. Они просто используют его с умом.
Это самая непонятная концепция из пяти. И знаете что? Как только вы в ней разберетесь, вы будете видеть ее повсюду.
RAG расшифровывается как Retrieval-Augmented Generation. На самом деле это очень простая идея.
Вот проблема, которую он решает. Обычная модель искусственного интеллекта была обучена на данных, собранных до определенной даты. Она ничего не знает о внутренних документах вашей компании. Она ничего не знает о событиях прошлой недели. Она ничего не знает о загруженном вами PDF-файле.
Так как же на самом деле работает такой продукт, как «Пообщайтесь с вашим PDF» или «Задайте вопросы об этом документе»?
Это RAG.
Когда вы загружаете документ, система не загружает его целиком в мозг искусственного интеллекта. Вместо этого он разбивает документ на фрагменты и сохраняет их в базе данных особого типа, называемой векторной базой данных, которая понимает значение, а не просто ключевые слова.
Затем, когда вы задаете вопрос, система сначала ищет в этой базе наиболее релевантные фрагменты. Она извлекает их. А затем передает их искусственному интеллекту вместе с вашим вопросом, говоря: : «Вот релевантный контекст. Теперь ответьте на вопрос, опираясь на него».
Вот и всё. Соберите нужную информацию. Отправьте ее в ИИ. Сгенерируйте ответ. RAG.
Почему это имеет значение?
Потому что это основа практически всех полезных продуктов на основе искусственного интеллекта, созданных за последние два года. Боты для поддержки клиентов, которые знают правила вашей компании. ИИ-помощники, которые могут отвечать на вопросы по юридическим документам. Инструменты, которые обобщают результаты научных исследований. Все это создано на основе RAG.
И осознание этого меняет ваше отношение к продуктам на основе искусственного интеллекта. Когда ИИ получает доступ к вашим документам, он на самом деле ничего не изучает. Он просто выполняет очень умный поиск и передает результаты языковой модели. Модель остается прежней. Просто меняется контекст.
Потому что искусственный интеллект никуда не денется. И разрыв между людьми, которые смутно представляют себе, как работает ИИ, и теми, кто действительно понимает, как он работает, даже на базовом уровне, в ближайшие несколько лет будет становиться все более ощутимым.
Вам не нужно быть инженером. Вам не нужно писать код. Но понимание токенов поможет вам составлять более качественные подсказки. Понимание контекстных окон поможет вам понять, почему ваш ИИ-помощник ведет себя странно. Понимание температуры поможет вам понять, какие настройки использовать для той или иной задачи. Понимание галлюцинаций поможет вам не доверять ИИ слепо. А понимание RAG означает, что вы будете точно знать, что происходит, когда какой-либо ИИ-продукт заявляет, что знает ваши данные.
✅Вот и все. Пять терминов. Настоящее понимание.
И, честно говоря, это ставит вас в более выгодное положение по сравнению с большинством людей, которые используют ИИ, не понимая, что происходит внутри системы.
Спасибо, что дочитали
Пока другие коллекционируют ссылки на 1000+ нейросетей и промтов, я создаю автономных ИИ-агентов и целые экосистемы с ИИ, которые решают задачи реального бизнеса.
🔹Загляните в мой Телеграм-канал или канал в MAX
“Сергей Милованов. InPromotion”.
Там я разбираю анатомию создания сложных ИИ-помощников (Медик, Сценарист виральных Рилс, Юрист), выкладываю рабочие подборки промтов, нейросетей и шаблоны Ai ботов.
А еще рассказываю как я ИИ маркетолога стал бренд-амбассадором квеври винодельни, и как я туда внедряю возможности ИИ.
Никакой «мертвечины» — только живой опыт. ✔️