Linguistic markup (лингвистическая разметкой или аннотация корпуса) - размещенные в корпусе данные (метаданные), не являющиеся частью корпусных текста, но несущие определенную информацию о нём.

В 80-х годах был принят стандарт разметки электронных текстов SGML (Standard Generalized Markup Language), который ввёл концепцию тэгов (tags) — служебных пометок в тексте, содержащих информацию о самом тексте.

На базе SGML  были созданы HTML и XML (eXtensible Markup Language), который применяется для хранения любых структурированных данных — в том числе и текстов в корпусах.

Фактически, XML - свод синтаксических правил для описания структуры данных.

Специально для разметки текстовых данных (корпусов) на основе XML разработана система, описывающая, какие именно параметры текстов нужно размечать. Эта система называется Text Encoding Initiative Guidelines (TEI Guidelines).

TEI Guidelines содержит список различных особенностей текстов, которые вообще можно кодировать, размечать и индексировать. Например, система перечисляет различные типы исправлений в тексте, помарок, цитат, иностранных слов и т.д. и т.п.

Разметка (tagging, annotation) заключается в приписывании текстам и их компонентам специальных меток (tags):

• лингвистических, описывающих лексические, грамматические и прочие характеристики элементов текста.

• экстралингвистических (сведения об авторе и сведения о тексте: автор, название, год и место издания, жанр, тематика; сведения об авторе могут включать не только его имя, но также возраст, пол, годы жизни и многое другое),

• структурных (глава, абзац, предложение, словоформа)

Набор этих метаданных во многом определяет возможности, предоставляемые корпусами исследователям.

При выборе этих данных необходимо руководствоваться целями исследования и потребностями лингвистов, а также возможностями по внесению в текст тех или иных дополнительных признаков.

По признаку наличия разметки, корпусы бывают annotated (аннотированные) и  (простые).

Собрание неаннотированных текстов (raw) сегодня не может считаться корпусом.

Схемы TEI являются модульными, они созданы таким образом, чтобы была возможность настроить их для конкретных исследований или производственных сред.

Для этого доступно множество различных приложений, одним из которых является приложение для настроек TEI Lite.

 

Пособие Введение в TEI Lite одного из создателей Text Encoding Initiative Лу Бернарда (Lou Burnard) и С.М. Шперберга - Мак-Куина (C.M. Sperberg-McQueen)   или здесь или здесь

TEI Lite является специфической настройкой набора тегов TEI, в который входят элементы, необходимые почти каждому пользователю.

TEI Lite содержит большую часть набора основных тегов TEI, которые должны обеспечивать:

• адекватную обработку достаточно разнообразных текстов с уровнем детальности, заданным существующей практикой (как демонстрируется, например, материалами Oxford Text Archieve);

• создание новых документов и выполнение кодирования существующих.

Любой пользователь имеет также возможность добавить свой проект с использованием TEI.

В настоящее время практически все проекты по созданию языковых корпусов в той или иной мере соответствуют рекомендациям TEI.

• British National Corpus (http://www.natcorp.ox.ac.uk)

• Oxford Text Archive (http://ota.ox.ac.uk/)

• DeReKo (http://www1.ids-mannheim.de/kl/projekte/korpora/)
  имеет несколько альтернативных названий: Мангеймского корпус немецкого языка, German Reference Corpus, IDS corpora, COSMAS corpora. С 2004 года официальное название корпуса — DeReKo (Deutsches Referenzkorpus).
  DeReKo - самое большое в мире электронное собрание современных немецкоязычных текстов и речевых записей на немецком языке, DeReKo содержит основанную на SGML морфосинтаксическую разметку, разработанную в соответствии с рекомендациями TEI.

•  Corpus Albaruthenicum (http://grid.bntu.by/corpus/)  - корпус беларускамоўных навуковых тэкстаў 

Множество проектов использует TEI для различных литературоведческих и лингвистических целей, в частности, для представления корпусов памятников письменной и разговорной речи на различных языках.

TEI лежит в основе  Base de Français Médiéval (BFM, корпус средневекового французского языка, http://bfm.ens-lyon.fr).  

Тексты BFM размечены в формате XML на основе TEI в соответствии со спецификацией, разработанной для нужд проекта с учетом перспективы лингвистического анализа.