27.05.2007

- Мне чай с лимоном, - говорит Ашманов подошедшему официанту.

- С лимоном нет, - гордо отвечает официант.

- Тогда без лимона, - кивает Ашманов.

Вот, собственно, и все.

 О Natural Language Compiler

Ашманов: Допустим, что есть в центре Москвы очень успешная софтверная компания "Файн и сыновья", которая уже восемь лет работает над единой, фантастической системой машинного перевода.

Там ситуация такая: в отечественной прикладной лингвистике в свое время Мельчуком и Жолковским была взорвана бомба под названием "модель смысл-текст". Эта лженаука повредила мозги очень многим тогда, от последствий отечественная прикладная лингвистика избавлялась очень долго, но так и не избавилась до конца. Апресяновская группа ("Этап-2", "Этап-3") потратила 30 лет на неработающую систему перевода!

Суть же самой идеи в очень грубом изложении в следующем: если мы аккуратно опишем актанты (валентности глаголов, они же лексические функции) всех глаголов и научимся переводить один в другой и подставлять лексические функции одна в другую, то на выходе получим машинный переводчик. Общая идея в том, что у каждого глагола есть набор лексических функций, и в каждом языке этот набор такой же, но средства выражения другие. И если мы средства выражения опишем, то дальше можем взять глагол в одном языке, оценить, какие лексические функции несут окружающие его существительные, и построить выражение с тем же набором лексических функций на другом языке. Просто подставив переводы слов в рамку лексических функций.

Идея эта неверна, что было понятно чуть ли не с самого начала. Они - Мельчук с Жолковским - пытались сделать толково-комбинаторный словарь. Собрали чуть ли не сотню аспирантов и составили. Вот такой толщины (показывает). Я его купил в восьмидесятых годах за сорок рублей. Толстый черный словарь. В нем было четыреста глаголов. И когда я начал его читать, то понял, что это сборник анекдотов. Буквально через каждые десять глаголов им приходилось придумывать новые лексические функции, ибо в реальности множество этих функций оказалось разомкнутым. Они сделали шестисотстраничный словарь для четырехсот глаголов, но было видно, что, во-первых, эту работу нельзя завершить, а во-вторых, пользоваться ей невозможно, потому что все плывет, множество незамкнутое, и свести его не удается. Я его почитал, выбросил в ведро, но жена потом обратно достала, пожалела сорок рублей. Так до сих пор и стоит, весь в потеках.

И вот один важный сотрудник этой компании - он изначально программист, насколько я понимаю - решил, что все Маркса поняли неправильно, а он один понял правильно. Он - единственный правильный последователь Мельчука и Жолковского, до этого реализации были неверные. Но если сделать все по классической науке, то все заработает. В результате у него сидит сто лингвистов, они уже восемь лет над этим корпят, потратили пятнадцать миллионов долларов, он рассказывает о блестящих перспективах Основателю, а Основатель пересказывает всем остальным.

Они откладывали выпуск уже много раз (последний раз компания отложила выпуск беты в марте этого года - Прим. ред.), пару раз даже собирались свернуть идею и делать translation memory, что гораздо проще и более осмысленно (что-то типа TRADOS).

Как обычно, я в таких случаях в глубине души сомневаюсь - а вдруг всё не так просто, здесь готовится чудо, а я просто дурак. Ну, посмотрим - они на этот раз обещают всё к 2009 году.

О Google Translation

Ашманов: Представим себе крупную американскую интернет-компанию Doodle, которую десять лет назад основали Матвей и Гарри. Они сделали себе переводчик, статистический, на базе translation memory. Он заметно хуже "Промта". Руководитель этого проекта, китаец, говорит: нет, лингвистикой мы не будем заниматься, она для машинного перевода не нужна. Главное, мол, это вычислительная мощность. Когда я такие вещи слышу, я думаю, что человек не понимает, что говорит. Простейшие выражения иногда переводятся нормально. Но как только дело доходит до длинных предложений, ситуация меняется. Это ведь известная проблема - машинные переводчики плохо справляются с фразами длиннее определенного порога. У "Промта" - из всех известных мне переводчиков с русской парой - этот порог самый высокий. Doodle ломается гораздо быстрее. И начинается полная ахинея. За счет своей лексической идеи Doodle переводит "Касперский" как "Norton", а "Ашманов" - как "Advertising". Пока там все негодное, нет даже простейшего лингвистического сглаживания, падежи все неправильные. Это все результат желания делать вещи, в которых ты не разбираешься, делать их самым общим образом, думая, что если ты чего-то добился в своей области, то так же легко у тебя получится преуспеть в чужой. И, я думаю, на Doodle это скоро скажется.

О собственном машинном переводчике

Поисковая система - это программный комплекс в составе:

1. веб-робота (выкачивает указанные страницы с заранее заданной частотой, глубиной и другими параметрами),

2. индексатора (получает закачанные роботом страницы и строит по ним индекс),

3. поискового интерфейса (забирает полученные индексы и производит собственно поиск по ним – принимает поисковые запросы и возвращает пользователю ответ в виде страницы выдачи),

4. модули генерации отчётов и составления и обработки расписаний (обеспечивает своевременное выполнение заданий на индексирование).

Что умеет:

• совмещение полнотекстового (лингвистический поиск по ключевым словам в текстах) и атрибутивного (по полям, как в базах данных) поиска;

• учёт при поиске семантических рубрик, распознавание синонимов;

• система индексации, оптимизированная под максимальную скорость и полноту сбора информации с сайтов;

• полностью управляемая индексация, поддержка robots.txt и стоп-слов;

• возможность экспорта результатов в формате XML и представления выдачи в дизайне своего сайта;

• индексирование документов содержащихся в СУБД (поддержка OLEDB и ODBC);

• поиск в нескольких независимых индексах с возможностью объединения результатов;

• поиск в текстах на любых языках.

Отличие от глобальных поисковых систем (Яндекс, Google): полный контроль над поисковой базой.