Радио 
«Яндекс» представил правительству концепцию национального датасета для проверки ИИ-систем на соответствие духовно-нравственным ценностям и требованиям российского рынка. Бенчмарк должен представлять собой набор тестовых заданий и эталонных ответов, по которым можно будет сравнивать разные модели, сообщает «Коммерсант».
Идея обсуждалась 13 августа на заседании рабочей группы по регулированию ИИ. Главный спор разгорелся вокруг открытости тестов. ФСБ выступает за закрытый формат, чтобы разработчики не могли заранее настроить нейросети на прохождение проверки. Представители бизнеса, напротив, считают, что полностью закрытый бенчмарк усложнит разработку и не позволит компаниям заранее оценивать свои модели.
В качестве компромисса предложено использовать двухуровневую систему: открытый бенчмарк — для предварительного тестирования и прозрачности, а закрытый набор вопросов — для итоговой проверки. При этом тематики заданий могут совпадать, а формулировки отличаться.
Пока не определено, кто будет отвечать за содержание тестов. ИТ-отрасль предлагает создать совместную комиссию с участием государства, бизнеса и экспертов. При этом специалисты указывают на сложность самой задачи: если для математики или программирования можно установить однозначный правильный ответ, то оценка соответствия «ценностям» потребует экспертных критериев и специальных рубрикаторов.
В правительстве и Минцифры подчеркивают, что предложения пока обсуждаются с отраслью, а конкретные решения преждевременны. Таким образом, речь пока идет не о готовом обязательном тесте, а о концепции будущего инструмента оценки российских ИИ-моделей.
Ранее сообщалось, что Союз журналистов России подготовит рекомендации по работе с ИИ.