С 2022 по 2025 год ученые опубликовали около 4 тыс. статей, в которых упоминались галлюцинации искусственного интеллекта (ИИ), подсчитал «Ростелеком». Количество публикаций выросло на 377% за три года, что свидетельствует о растущем интересе научного сообщества к проблемам точности генеративных моделей. Особенно это важно для бизнеса, где ошибки ИИ могут приводить к критическим последствиям, пишет Forbes.
Галлюцинациями ИИ называют генерацию недостоверной информации моделями, представленную как факт. По данным экспертов, полностью исключить такие ошибки невозможно: их частота зависит от сложности запроса и области применения. В специализированных задачах уровень недостоверной информации может достигать 50% и выше, несмотря на современные методы снижения искажений, такие как RAG (Retrieval-Augmented Generation).
Параллельно OpenAI предупредила о растущих угрозах кибербезопасности, связанных с новыми моделями ИИ. В отчете компании отмечается, что последние версии моделей способны дольше работать автономно, что увеличивает риск использования их для кибератак методом перебора. Например, GPT-5 показал 27% успешных действий в упражнении по «захвату флага», а GPT-5.1-Codex-Max — 76%.
Компания OpenAI уже предпринимает меры для минимизации рисков. Так, создается «Совет по пограничным рискам» с участием специалистов по кибербезопасности, а также тестируется инструмент Aardvark для выявления уязвимостей в продуктах. Эти шаги направлены на обеспечение безопасного применения ИИ и снижение вероятности использования моделей в злонамеренных целях.
По прогнозам AppSec Solutions, объем российского рынка решений для защиты искусственного интеллекта в 2026 году превысит 1 млрд руб., а к 2029 году может вырасти до 11 млрд руб. Хотя сегмент находится в стадии формирования, аналитики ждут от него роста в геометрической прогрессии.