Как хакеры взламывают ИИ-агентов и манипулируют нейровыдачей

Еще недавно казалось, что главная задача искусственного интеллекта — быстрее отвечать на вопросы пользователей. Сегодня все меняется. Современные ИИ-агенты уже умеют запоминать предпочтения человека, работать с почтой, документами, календарями и постепенно становятся полноценными цифровыми помощниками. Но вместе с новой функциональностью появляется новый риск.

Исследователи из Университета Нью-Мексико описали атаку GhostWriter, которая позволяет внедрять ложную информацию в долговременную память ИИ-агента. После этого помощник начинает использовать ее как собственный опыт при последующих ответах и действиях.

Почему это касается не только специалистов по кибербезопасности

На первый взгляд может показаться, что речь идет исключительно о технической уязвимости. Но на самом деле последствия гораздо шире: маркетинг, PR и бренд-коммуникации постепенно начинают зависеть от генеративных моделей. Все чаще пользователи спрашивают не поисковую систему, а ChatGPT, Gemini или другого ИИ-ассистента.

Если память подобных систем можно изменить или отравить ложными сведениями, объектом атаки становится уже не инфраструктура компании, а доверие к бренду. Фактически появляется новый уровень борьбы за информационное пространство.

Как работает GhostWriter

Авторы исследования разделили атаку на две стадии. Сначала злоумышленник внедряет скрытую инструкцию в долговременную память агента. Позже, когда возникает подходящий запрос, помощник извлекает эту информацию и начинает использовать ее как достоверную.

Сам пользователь обычно не видит никаких признаков компрометации. Ассистент продолжает работать привычным образом, но его решения уже опираются на измененную память.

Почему компаниям нужно обратить на это внимание

Сегодня многие организации внедряют ИИ-помощников в ежедневную работу. Они получают доступ к электронной почте, календарям, внутренним документам, CRM и корпоративным базам знаний.

Если злоумышленник сможет повлиять на долговременную память такого помощника, под угрозой окажется уже не только один пользователь, а целый рабочий процесс. Поэтому защита ИИ постепенно становится частью корпоративной информационной безопасности. Контролировать нужно не только доступ к данным, но и то, что именно искусственный интеллект запоминает и использует при принятии решений.

Безопасность ИИ выходит на новый уровень

GhostWriter показывает, что вместе с развитием искусственного интеллекта меняется и сама логика кибератак. Если раньше злоумышленники пытались получить доступ к системе или украсть данные, то теперь они могут стремиться изменить знания, на которые опирается ИИ при принятии решений.

По мере того как персональные ИИ-ассистенты получают больше полномочий, защита их долговременной памяти становится такой же важной задачей, как защита корпоративной сети, электронной почты или баз данных.

#ии #ииагент #иипомощник #ChatGPT #Gemini #ai #кибератака