Text tokenization (TT)
как основа большинства областей автоматической обработки текста и машинного перевода
Практическая работа токенизации текста (TT):
- Посвящена практике применения токенизации в в задачах автоматической обратотки текста
- Цель работы: развитие своих компетенций в области NLP, CL, MT
- Цель достигается посредством формирования и развития:
- знаний о понятии и феномене токенизации
- компетенций компетенций в области технологий токенизации текста
- практического опыта работы в цифровой образовательной коммуникативной среде
- навыков образовательного диалога с LLM
- опыта работы с интерактивными веб-приложениями
- Материалы: цифровые учебные и словарные веб-приложения, с поддержкой интерактивности, визуализации, мультиязычности.
- Методы:
- изучение мультимодального учебного материала
- словарная работа с цифровым глоссарием по теме
- тестирование приложения для контроля знаний
- генерация оценочного контента, его сохранение и экспорт в PDF
- образовательные эксперименты в диалогах с LLM
Отчет о работе включает:
- электронное письмо с темой вида №группы-Фамилия-TТ
- отзыв о работе (прямо в письме) строго по форме (подробнее см. в разделе Об отзыве)
- pdf-документ под именем вида Фамилия-TТ
- pdf-документ под именем вида Фамилия-Диалог
Работа должна быть выполнена (и отправлена на проверку):
- Самостоятельно
- Своевременно (в день проведения занятия)
- Полностью (все задания работы должны быть выполнены)
- Правильно (допускаются незначительные погрешности)
- Подробнее см. в разделе О выполнении работ)