eLexicography

 

 

Словарь - справочная книга, содержащая упорядоченное собрание слов (морфем, идиом и т.п.), дающая сведения об их значениях, употреблении, происхождении, переводе на другие языки, либо о предметах, обозначаемых ими.

Теорией и практикой составления словарей занимается лексикография.

 

 

 

 

Задачи компьютерной лексикографии

 

1

Автоматическое (с помощью компьютерных средств) получение из текста  различных словарей (частотных, терминологических, конкордансов и т.д.)

2

Разработка теории и практики составления компьютерных словарей для NLP-систем (Natural Language Processing)

3

Создание электронных версий традиционных словарей и аутентичных электронных словарей

 

 

 

 

Антиномии бумажной лексикографии

 

1

Чем больше объем словаря, чем полнее и доказательнее  описание лексических значений, тем сложнее им пользоваться.

Это противоречие привело к поляризации рынка бумажных словарей:  имеется большая группа массовых изданий, довольно примитивных, но относительно удобных, которой противостоят единичные пудовые профессиональные издания, непригодные для быстрого получения информации. Характерный пример - 20-томный Оксфордский словарь.

2

Чем полнее и глубже описание лексических значений, тем в меньшей степени словарь соответствует текущей языковой и культурной ситуации.

Чрезвычайно долгий цикл создания и модификации фундаментальных бумажных словарей приводит к тому, что образ мира, который они фиксируют в системе своих значений, примеров и переводов, уже заметно отличается от действительности. Многие словари, основной корпус статей которых сформировался в языковой атмосфере середины века, представляют собой лексикографические музеи (а то и терминологические кладбища, если говорить о специализированных словарях).

3

Чем интереснее собственно лексикографическая концепция словаря, чем интегральнее средства описания лексических значений, тем уже его лексическая база.

В результате, универсальные бумажные словари демонстрируют печальное отсутствие влияния достижений теоретической лексикографии на лексикографическую практику. Научные лексикографические проекты существуют, но реализуются в виде словарей, не покрывающих и 10% всего лексикографического пространства. Например, в знаменитом Толково-Комбинаторном Словаре (ТКС) под ред. Мельчука и Жолковского [1] описано всего около 400 лексических значений русского языка.

 

 

 

 

Особенности компьютерной лексикографии

 
1

Существенно более изощренные возможности показа содержания словарной статьи, включая возможность частичного показа по разным критериям ( различные "проекции" словаря), разнообразные графические средства, которые не используются в обычных словарях.

2

Использование для доступа к  содержанию различных лингвистических технологий, таких как морфологический и синтаксический анализ, полнотекстовый поиск, распознавание и синтез звука и т.п.

3

Неизбежная актуальность лексикографии электроных словарей.

Фундаментальные бумажные словари -  неизбежно словари устаревшие. Функции фиксации текущего состояния языка берут на себя небольшие словарики, новые значения в которых оторваны от своих языковых корней, плохо или произвольно объяснены.

Для массовых программных продуктов, каковыми являются электронные словари,  характерны частая смена версий и  наличие постоянной обратной связи с  пользователями: коллективное авторство на словарное содержание принадлежит всем носителям языка, задача лексикографа - фиксация языковых фактов и их методически правильное описание.

 

 

 

 

Лексикографическое противоречие

 

Между новыми языковыми компьютерными технологиями и старым традиционным словарным содержанием возникает противоречие не позволяющим воспользоваться этими технологиями в полном объеме. 

С точки зрения пользователя смысл реализации  в электронном словаре всех этих технологий состоит в том, что становится возможным быстро получить информацию, которая содержится где-то в недрах словаря и непосредственно отвечает тому запросу, который сформулирован пользователем в удобной для него форме.
При традиционном подходе минимальной единицей доступа является лексема (имя словарной статьи): мы должны прочитать всю статью, чтобы определить, содержится ли в ней ответ на наш запрос. Для таких словарей, как оксфордский, это представляет серьезную проблему. Например, глагол set имеет там 400 только основных значений (и у многих из них имеются подзначения).

Пользователь хотел бы, чтобы словарь максимально локализовал релевантную информацию. При этом речь не идет об автоматическом выборе переводного эквивалента (если мы говорим о переводном словаре). Специфика словарного ответа в том, что он дает весьма разнообразную информацию о слове или словосочетании, а не просто переводное соответствие, предполагает активный выбор пользователя из нескольких возможных хорошо обоснованных альтернатив.
Однако, попытка решить проблему адекватной реакции словаря на запрос неизбежно наталкивается на сопротивление самого словарного материала, перенесенного из бумажного словаря.

 

 

 

 

Источник лексикографического противоречия

 

Электронный словарь представляет собой модель языка (морфологии, синтаксиса, семантики), устроенную на совершенно иных принципах, чем те формальные модели, которые лежат в основе компьютерных технологий.

Технология морфологического анализа всего лишь позволяет установить соответствие между исходной формой слова из текста и множеством лексем (словарных входов), для которой такая форма возможна. Синтаксический анализ позволяет сделать то же самое для словосочетаний, являющихся отдельными словарными входами.
Однако, для всех этих технологий само словарное содержание является "непрозрачным", полностью ими игнорируется. Заглянуть "внутрь" словарной статьи позволяет только полнотекстовый поиск. Однако, этот мощный инструмент работает со словарным содержимым как с текстом на естественном языке, что резко ограничивает его возможности.

Использование первичной разметки словарной статьи, формализация  ее внутренней структуры позволяет различать переводы, примеры использования и комментарии, не снимая лексикографического противоречия.

 

 

 

 

 

Сверхзадача компьютерной лексикографии

 

Задача состоит в том, чтобы единицей описания было отдельное лексическое значение, и технологии анализа могли бы устанавливать соответствие между исходным запросом и теми лексическими значениями, которые релевантны для этого запроса по синтаксическим и семантическим критериям.

В качестве иллюстрирующего примера можно привести практически любой глагол, принадлежащий ядру языка. Например, глагол "развести" может встретиться в таких контекстах:

разводить руками;
разводить спирт водой;
разводить супругов;
разводить мосты;
разводить баранов;
разводить дерущихся;
разводить пилу;
разводить/разбивать сады
(английские эквиваленты: bring; conduct; part, separate;  mix;  dissolve; divorce; breed; plant, etc...)

Задача создания такого словарного содержания, которое позволило бы сделать единицей анализа отдельное лексическое значение, а не морфологическую лексему требует "синхронизации" словарных описаний и формальных моделей, используемых технологиями анализа.

В пределе это должно быть единое интегральное лексико-синтактико-семантическое описание.

 

 

 

 

Подробнее в статье Владимира Селегея "Электронные словари и компьютерная лексикография" (http://www.lingvoda.ru/transforum/articles/pdf/selegey_a1.pdf).

 

 

Подробнее о проблемах компьютерной лексикографии можно почитать в Материалах международной конференции по компьютерной лингвистике «Диалог» (www.dialog-21.ru/trends/).