Контентная платформа «Дзен», которая принадлежит интернет-компании VK, запретила роботу GPTBot от OpenAI обходить страницы сайта dzen.ru для сбора информации. Такая директива содержится в файле robots.txt. Он предназначен для программ по автоматическому сбору данных с сайтов, пишет «Коммерсантъ».
В VK рассказали, что блокировка GPTBot нужна для снижения нагрузки на серверы «Дзена», которые обрабатывают больше 150 тыс. запросов в секунду.
Издание отмечает, что файл robots.txt носит рекомендательный характер. Технически ничто не мешает роботам игнорировать директивы, прописанные в нём.
OpenAI запустила GPTBot в августе прошлого года для сканирования веб-ресурсов и сбора открытых данных, которые затем можно будет использовать для улучшения нейросети ChatGPT. Однако продукт подвергся критике из-за несанкционированного сбора данных. OpenAI опубликовала инструкцию, как заблокировать доступ бота к сайту или предоставить ему данные лишь частично.
В середине февраля Роскомнадзор направил нескольким хостинг-провайдерам письмо о выявлении GPTBot. Ведомство порекомендовало заблокировать возможность бота просматривать и анализировать онлайн-страницы. Это позволит исключить сбор информации о критических уязвимостях ресурсов.