¶ Аппаратное обеспечение
¶ Требования для запуска
- Управляющий CPU сервер(Возможно размещение на том же Jetson/Server, где расположен трекер, но необходимо будет изменить порты или адреса доступа к серверам)
- Nvidia Jetson Nano + Jetpack 4.* - одноплатник с CUDA блоками, предназначен для внутреннего размещения трекера в качестве встраимового устройства.
- CPU Server - выделенный сервер для запуска трекера
- Onvif - камеры
Условная диаграмма взаимодействия устройств:
¶ Программное обеспечение
Для работы трекера необходимо наличие записей в базе данных Erudite
¶ Используемое ПО и библиотеки
- Python 3
- Docker
- Tensorflow
- OpenCV
- Flask
- SciPy
- OpenVPN
¶ Принцип работы
После развертывания и запуска [информацией](razvertyvanie-upravliaiushchego-servera|управляющего сервера]] и самого razvertyvanie-na-cpu-servere|трекера, на управляющий сервер отправляется POST-запрос с [[api) о запуске/остановки/создании трекера. Управляющий сервер выполняет данную команду в соответствии с базой данных Erudite и отправляет запрос на устройство, где развернут сам трекер.
Трекер запускает все основные потоки(Чтение rtsp-потока, обработка изображения, управление камерой). Для чтения rtsp-потока используется библиотека OpenCV с утилитами GStreamer/FFmpeg. Для поиска людей на изображении используется нейросеть, обученная на датасете COCO, для работы с данной нейронной сетью используется библиотека Tensorflow. Управление Onvif-камерами происходит с помощью специальной python-библиотеки python-onvif-zeep.
Перед началом обработки изображений камера сбрасывается в домашнюю позицию. Далее трекер начинает считывать изображения из rtsp-потока, параллельно с этим происходит обработка этих изображений нейросетью. При нахождении человека в кадре трекер записывает его положение на изображении и задает вертикальную и горизонтальную скорости для направления камеры на интересующий нас объект.
Трекер поддерживает три режима работы:
- Аудиторный трекинг
Данный режим представляет собой классический трекинг преподавателя во время проведения занятий в оборудованных аудиториях. Трекер в данном режиме может запускаться по расписанию или работать в назначенной аудитории постоянно.
- Режим “Автонастройка”
Данный режим позволяет производить разовую настройку камера под рост спикера перед студийной съемкой. Режим управляется через телесуфлер, который запускает автонастройку перед началом “скролла” загруженного текста.
- Режим “Ассистент”
Данный режим предполагается для использования оператором во время записи мероприятий, в которых участвует более одного человека. Режим позволяет выбирать и переключаться между объектами съемки и отображает распознанных трекером людей. Трекер в данном режиме полностью управляется оператором из АСБ или другого устройства, на котором развернут необходимый клиент.
Последнее изменение:
Иван Гаврилов @isgavrilov
February 15, 2022, 12:38 AM
Над этой страницей работали: Иван Гаврилов @isgavrilov