Парсим русский язык

Автоматическое определение пола по имени
Блог компании Pechkin.com,
PHP,
Продолжая рассказывать о технологиях, которые используются в нашем сервисе email-маркетинга Pechkin-mail.ru, мы просто обязаны упомянуть об автоматическом определении пола подписчика по имени. Еще в 2007 году, разрабатывая сервис sms-рассылок, мы очень хотели реализовать возможность автоматического подставления окончаний в прилагательные “Уважаемый”, “Дорогой” и так далее. Обычно такая подстановка осуществляется на основании дополнительного поля в адресной базе клиента. Однако, как нам кажется, это полный отстой.
На это есть 3 причины:
заставлять подписчика задавать свой пол глупо (чем больше полей в форме, тем ниже вероятность ее заполнения)
определять вручную — долго, а значит дорого
от ошибок человек не застрахован ровно так же, как и машина.


Но мы не лингвисты, поэтому реализовать такой модуль было бы слишком сложно для нас, да и функция “не первой необходимости”. Но недавно, работая над склонениями текстов бесконечных актов, договоров и прочих юридических документов, мы вспомнили об используемом нами уже 2 года сервисе Морфер. Это прекрасный лингвистический сервис, специализирующийся на русском языке и позволяющий склонять по падежам слова, целые предложения, числительные, а также получать текст из цифр. В общем, потрясающая разработка всего одного человека — Сергея Слепова.

Итак, открываем спустя некоторое время его сайт и обнаруживаем — есть удобный и простой модуль для PHP, который позволяет определять род существительного. Т.е. подставляя сочетания ФИО можно получить достаточно точное определение пола (мужской, женский). Супер! Реализация функции не заставила себя долго ждать. Все сделано в виде шаблонов в тексте рассылки.

С помощью хитрой конструкции склонения:
{Уважаем{ый|ая}}/{%ИМЯ% %ФАМИЛИЯ%}

В результате на выходе получится или “Уважаемый” или “Уважаемая”.

Содержимое конструкции может быть произвольным. Поясним на приведенном примере:
Уважаем — это “корень” склоняемого слова.
ый|ая — это возможные окончания по порядку {мужское|женское|средний род|множественное число}. В полном варианте может выглядеть так: “ый|ая|ое|ые”
%ИМЯ% %ФАМИЛИЯ% — это те теги из адресной базы, которые определяют выражение на базе которого будет определен пол. Можно задать просто %ИМЯ%, но тогда есть риск “потерять” часть двузначных имен вроде Саша, Вася, Валя и так далее.


Вот еще пример конструкции:
{Дорог{ой|ая}}/{%ИМЯ% %ФАМИЛИЯ%} %ИМЯ{клиент}%

=> в результате будет “Дорогой Иван” или “Дорогая Маргарита” или «Дорогой клиент» (если имя не задано)

Для тех, кто пользуется нашим онлайн-редактором, все еще проще:
image

Удобные ссылки в панели управления по нажатию на кнопку человечка справа вверху, которые вы видите на скриншоте выше.

Написать подобную обертку действительно не сложно. Производительность модуля поражает и позволяет использовать такое определение пола и автоподстановку шаблона “на лету” в процесс отправки рассылки без потери скорости.

А преимущества для наших клиентов очевидны:
Отсутствие необходимости просить подписчика задавать пол и хранить его в дополнительном поле в адресной базе
Не надо вручную определять пол ваших подписчиков по их именам
Точность определения даже выше ручной обработки (скрипт не устает на второй тысяче имен)


Поэтому, если у вас стоит задача “живой” работы с текстами, склонением различных слов и словосочетаний, работы с числительными — то библиотека Сергея вам в помощь! Огромное ему за нее спасибо!

P.S. У нашего сервиса эксклюзив на использование данной библиотеки в сервисах email-маркетинга в России. Будем рады, если данная функция станет действительно нужной и полезной для наших клиентов.

http://morpher.ru/
Сергей Слепов
http://controleng.ru/wp-content/uploads/CE155_Web_ALL.pdf
https://habrahabr.ru/company/pechkin/blog/233763/

Морфоло́гия (от др.-греч. μορφή — «форма» и λόγος — «слово, учение») — раздел грамматики, основными объектами которого являются слова естественных языков, их значимые части и морфологические признаки. В задачи морфологии, таким образом, входит определение слова как особого языкового объекта и описание его внутренней структуры.

Морфология, согласно преобладающему в современной лингвистике пониманию её задач, описывает не только формальные свойства слов и образующих их морфем (звуковой состав, порядок следования, и т. п.), но и те грамматические значения, которые выражаются внутри слова (или «морфологические значения»). В соответствии с этими двумя крупными задачами, морфологию часто делят на две области: «формальную» морфологию, или морфемику, в центре которой находятся понятия слова и морфемы, и грамматическую семантику, изучающую свойства грамматических морфологических значений и категорий (то есть морфологически выражаемое словообразование и словоизменение языков мира).

Наряду с обозначением некоторой области лингвистики, термин «морфология» может обозначать и часть системы языка (или «уровень» языка) — а именно, ту, в которой содержатся правила построения и понимания слов данного языка. Так, выражение испанская морфология соотносится с частью испанской грамматики, в которой изложены соответствующие правила испанского языка. Морфология как раздел лингвистики является в этом смысле обобщением всех частных морфологий конкретных языков, то есть совокупностью сведений о всех возможных типах морфологических правил.

Морфология вместе с синтаксисом составляют грамматику; но этот последний термин часто употребляется и в более узком смысле, практически как синоним морфологии («грамматическое значение», «грамматическая категория»).

Ряд лингвистических концепций (особенно генеративистских) не выделяет морфологию как отдельный уровень языка (таким образом, после фонологии начинается сразу синтаксис).


Морфология включает в себя:

учение о словоизменении в языке, парадигмах, словоизменительных типах. Это обязательная составляющая морфологии, и именно с составления парадигм (таблиц склонения и спряжения) исторически началась лингвистика вообще (в древнем Вавилоне). Словоизмене́ние — образование словоформ той же лексемы, имеющих разные грамматические значения. Осуществляющие словоизменение морфемы называются фле́ксиями (лат. flexio — «сгибание», «переход голоса»). Частными случаями словоизменения является склонение по падежам (рука-руки-руке…). Множество словоформ одной лексемы образуют словоизменительную парадигму.

грамматическую семантику, то есть учение о грамматических значениях. Традиционно (например, в XIX веке) грамматическая семантика не включалась в морфологию; в разделе грамматик «морфология» приводились только способы образования форм и образцы парадигм, а сведения о семантике («употреблении» форм) относились к синтаксису. В XX веке грамматическая семантика является уже неотъемлемой частью морфологии.
учение о частях речи, при выделении которых задействованы не только морфологические (в узком смысле), но и синтаксические и семантические критерии.
учение о словообразовании, стоящее на границе морфологии и лексикологии.
общие понятия о морфологии
морфологическую типологию.