Ссылка на кабинет: 1374
Тип проекта: Научно-исследовательская работа
Статус проекта: В работе с 10.10.2022
В рамках задачи предполагается последующее усовершенствование модели визуального представления:
- Эксперименты по применению модели в разных задачах на русском языке (POS, NER, Простая классификация, LM и т.д.);
- Эксперименты по усовершенствованию архитектуры: добавление дополнительной головы, решающей задачу OCR; добавление головы, которая, подобно автоэнкодеру, сжимала бы изображения в вектор и затем восстанавливала из него исходное изображение. Подобные трюки позволяют сделать обучение модели более стабильным.
В качестве результата ожидается модель, которая бы показала качество лучше, чем PIXEL на бенчмарках, использующихся в статье. Также ожидается, что предложенная модель будет лучше решать задачу детекции оскорбительных текстов, чем модель разработанная ВКонтакте.
- подготовка выступления на конференции (уровень не ниже В) иили текста для публикации (на английском языке)
- проверка гипотез по аугментации визуальных токенов с помощью популярных CV подходов относительно простого маскирования
- проверка гипотез по определению динамического размера окна при построении визуального представления токена
- исследование зависимости эффективности токенизации от выбора шрифта
- разработанная библиотека эффективной токенизации текста путем построения визуальных представлений