Камера пишет «движение», агент — что произошло

Обычная камера присылает: «Движение, камера Двор, 23:40». Кто там был: человек, кот или ветка? Это приходится выяснять самому, открыв запись.

ИИ-агент Faceter присылает про то же событие другое: «В 23:40 человек вошел на территорию через ворота». И на вопросы по архиву отвечает обычным текстом. Рассказываем, как это устроено, что он умеет и где у него границы.

Как это работает

Агент не смотрит видео целиком — это было бы долго и дорого. Он работает с тем, что система уже выделила.

Сначала легкая нейросеть на самой камере замечает объект и отмечает событие. Потом в облако уходят два кадра: момент события и снимок за минуту до него. Языковая модель сравнивает их и пишет, что изменилось. Архив при этом хранится короткими роликами по 10 секунд, поэтому нужная секунда находится сразу, без перемотки часового файла.

Отсюда главное правило: агент знает только то, что попало в запись и было замечено детекциями. Чего нет в архиве, того для него не существует.

Почему «агент», а не чат-бот

Функцию уже дважды переименовывали: сначала «умный помощник», потом «GPT-ассистент», теперь ИИ-агент. Название менялось вместе с возможностями.

Суть в том, что агент — это не одна нейросеть. В нем четыре части: языковая модель, которая понимает вопрос и картинку; инструменты, то есть действия, которые он выполняет сам; память о вашем объекте; и логика, которая решает, что делать и в каком порядке.

Чат-бот отвечает из того, что уже знает. Агент сам решает, куда пойти за ответом: заглянуть в список событий, открыть кусок записи, взять свежий кадр — и собирает ответ из нескольких шагов.

Две нейросети, и обе нужны

Нейросеть в камере маленькая: железо слабое, а работать надо без остановки. Она ищет только то, чему ее научили, — людей, машины, животных — и смотрит на уменьшенную картинку. Новые виды детекций появляются только с обновлением прошивки.

Нейросеть агента живет в облаке и умеет больше: ее учили понимать связь между изображением и словами. Поэтому про кадр можно спросить что угодно, а мелкие детали она разглядит лучше камеры.

Для детектора курьер и сосед — одинаково «человек». Агент напишет: «человек в серой куртке с желтым рюкзаком службы доставки».

Как агент ищет ответ

У него два источника: список событий от детекций и сам архив.

Если нужное событие есть в списке — например, первый посетитель при включенной детекции людей, — ответ будет быстрым и точным. Если такой детекции нет, агенту приходится смотреть запись кусками. Это дольше, и короткий эпизод может проскочить мимо — как у человека, который быстро листает архив.

Поэтому два совета. Настройте детекции заранее под свою задачу — зоны и типы объектов работают как маячки. И давайте подсказки: «ищи с 8 утра» или «машина была белая» сильно сокращают поиск.

Не учится, но запоминает

Нейросети не дообучаются на ваших кадрах. Но агент копит знания о вашем объекте: при подключении понимает, стройка это или ресторан, может уточнить часы работы. Ваши инструкции он хранит в долгосрочной памяти — напишите «не присылай уведомления про красные машины», и он будет это учитывать.

Еще агент сам отсеивает пустые срабатывания: если на кадре «спокойная улица, никого нет», уведомление не придет. И отвечает только по теме видеонаблюдения — рецепт печенья не расскажет.

Что он умеет на практике

•      Описывать события понятным текстом вместо «обнаружено движение».

•      Отвечать на вопросы по архиву своими словами: когда приехала машина, были ли люди ночью.

•      Присылать кадр, видео или ссылку на нужный момент.

•      Помогать с настройками и подсказывать по тарифам и моделям камер.

•      Работать там, где удобно — в Telegram, MAX или приложении, везде одинаково.

Лучше всего агент работает не сам по себе, а вместе с остальными инструментами: детекции отсекают мусор, облачный архив хранит доказательства, интеграции по API связывают видео с кассой, CRM или пропусками, а ScreenCam добавляет экран рабочего компьютера.

Что спрашивают в разных бизнесах

Стройка. Прораб не может быть на объекте весь день. «Что было на площадке с 10 до 18?» — и вместо звонков приходит ответ с кадрами. А для заказчика агент сам соберет сводку за день.

Кафе и салоны. «Во сколько пришли сотрудники?», «Была ли очередь в обед?» Если точек несколько — ежедневный отчет по каждой.

ПВЗ и магазины. Спор с клиентом о возврате: «Кто был в зоне выдачи в это время?» — и сразу нужный эпизод.

Франшизы и сети. «Что было вчера вечером на точке №12?» — сначала короткий ответ, потом запись, если нужно.

Склады. «Когда приехала машина и началась разгрузка?» — удобно при спорах с поставщиками.

Автосервисы и мойки. «Во сколько приехал желтый грузовик?», «Сколько машин было сегодня?»

Производство. «Когда началась смена?», «Была ли активность в цеху ночью?»

Школы и сады. В связке с пропусками: «Кто заходил через этот вход после 19:00?» Родителям можно открыть доступ на пару часов.

УК и дворы. «Когда вывезли мусор?», «Когда проезжал белый кроссовер?»

Дом. «Во сколько приехал курьер?», «Спят ли дети?», «Чем занимался кот, пока меня не было?»

Чего агент не умеет

•      Не слышит звук и не расшифровывает разговоры — работает только с картинкой.

•      Не распознает лица и не устанавливает личность. Зато описывает внешность: «лысый мужчина», «желтое такси».

•      Видит только ваш архив в пределах тарифа.

•      Работает в бете: возможны неточности и ограничения по числу запросов.

•      Со сторонними камерами справляется хуже: у них нет детекций-маячков, только запись.

•      Иногда ошибается в деталях, особенно в темноте. Смысл события обычно передает верно.

И главное: агент ускоряет поиск, но не заменяет запись. В спорной ситуации доказательством остается само видео, а не его пересказ. Для больших архивов есть облако и карта памяти, а скоро появится собственный регистратор Faceter.

Попробовать

Агент доступен в приложении и в Telegram-боте. Посмотреть систему без регистрации можно в демо-камерах. Новости — в Telegram-канале Faceter.