Распознавание медиаконтента - это обширный проект аналитической обработки данных в рамках взаимодействия проектных работ МИЭМ.
Цель проекта
- учет эмоционального отклика, вовлеченности и подсчет количества присутствующих в видеооснащенных помещениях.
- составление цифрового следа проводимых мероприятий.
- визуализация динамики эмоционального отклика в видеозаписи мероприятия.
Общие сведения
В МИЭМ развернуты оснащенные комнаты (504, 305, 306, 307, 308), в них установлены камеры для автоматической и режиссерской многокамерной видеозаписи и трансляции проводимых там занятий и мероприятий.
Одна из камер в этих комнатах устанавливается широкоугольная, чтобы видеть весь зал. Поток с этой камеры используется для анализа эмоций, вовлеченности и подсчета количества слушателей в зале.
Результаты анализа отправляются в базу данных (для цифрового следа) и в виде визуализированного графика динамики изменения эмоционального отклика -- в склейку, которую создаёт по итогам записи 19104 Облачный видеорекордер.
Ожидаемые результаты
- Сервис анализа видеопотоков развернут в МИЭМ для обработки записей мероприятий и занятий из оснащенных помещений. Записи берутся из Google Drive, куда их помещает Облачный видеорекордер.
- Сервис формирует таблицы с сырыми данными для последующего анализа, а также создаёт изображение для наложения в компоновку "преподаватель+презентация", формируемую Облачным видеорекордером.
- Сервис может использоваться для работы в прямом эфире.
- Сервис может расширяться дополнительными возможностями (распознавание лиц и т.д.). Это - продолжение проекта.
Карта компетенции
- Работа со сверточными нейросетями
- Сегментирование изображений
- Визуализация данных
- Программирование на Python
Ресурсное обеспечение
- Виртуальная машина для размещения сервера
- Доступ к хранилищу данных Облачного видеорекордера
- Доступ к потокам с камер в МИЭМ
Последнее изменение:
Иван Сизых @iasizykh
October 27, 2020, 10:59 AM
Над этой страницей работали: Иван Сизых @iasizykh, Екатерина Белякова @esbelyakova