Natural Language Understanding (NLU)

 

 

 

  • Дефиниция NLU

  • Понимание понимания в компьютерной лингвистике

  • NLU в стеке технологий NLP

  • NLU как AI-полная задача

  • Области применения NLU

  • Лингвистические проблемы NLU

  • Достижения NLU

    •

  • Современные модели и технологии NLU

  • Рекомендуемые материалы по NLU

  • NLU в преподавании иностранных языков (не только в СШ №7 ))

  • Самая суть

 

 

Дефиниция NLU

Natural-language understanding (NLU)  - технологии понимания текстов на естественном языке

В данном контексте:

  • текст понимается семиотически (максимально широко)

  • понимание (текста) = извлечение прагматически значимой информации.

 

 

Понимание понимания в КЛ

Технологическая дефиниция:

  • Понимание (текста) - извлечение прагматически значимой информации.

Семиотика = синтактика + семантика + прагматика

  • Синтактика - отношения между знаками, порождающие тексты.

  • Семантика - отношения знаков к тому, что они обозначают (уровень распознавания значений)

  • Прагматика - отношения знак-субъект (уровень понимания смыслов).

    •

Смысл зависит от намерений и целей коммуникантов, их коммуникативных интенций в ситуативно изменяющихся отношенях субъект– знак (человек-знак) или актор-знак (машина-знак).

 

 

NLU в стеке технологий КЛ

 

Natural-language understanding (NLU) - область NLP (Natural-language processing), с пониманием текста.

https://en.wikipedia.org/wiki/Natural-language_understanding

Natural Language Processing (NLP) — общее направление искусственного интеллекта и компьютерной лингвистики, изучающее все проблемы компьютерного моделирования (анализа и синтеза) текстов на естественных языках.

Упрощенно можно представить: NLP = ASR + NLU + NLG

  • ASR (Automatic Speech Recognition) — технологии автоматического распознавания речи

  • NLU (Natural-language understanding) - технологии понимания текстов на естественном языке

  • NLG (Natural Language Generation) - технологии генерации текстов на естественном языке
    Текстов - связных, осмысленных, произвольных (по заданным тематикам)
     

 

 

NLU как AI-полная задача

NLU является важнейшей проблемой AI (Artificial intelligence, ИИ, искусственного интеллекта)

NLU (понимание естественного языка) считается AI-полной задачей

AI-полная задача (AI-complete) — проблема, решение которой предполагает создание «сильного AI» («действительно мыслящего» агента).

Термин «сильный ИИ» введён в 1980 году Джоном Сёрлом («Китайская комната»):

  • The appropriately programmed computer really is a mind, in the sense that computers given the right programs can be literally said to understand and have other cognitive states.

  • Соответствующим образом запрограммированный компьютер с нужными входами и выходами и будет разумом, в том смысле, в котором человеческий разум — это разум.

Само определение смысла слова «понимать» — одна из главных задач AI

AI-полная задачи:

  • не могут быть решены алгоритмически.

  • легко решаются человеком в контексте сложнейшей системы отношений человеческих поняти

  • требуют огромных знаний системы об окружающем мире и возможности с ним взаимодействовать, в т.ч. неявных (не осознаваемых) и неформализуемых.

 

 

Области применения NLU

 

NLU является необходимым элементом множества областей лингвистического компьютерного моделирования:

  • систем поддержания диалога,

  • автогенерации связного осмысленного текста,

    •

  • сервисов автоматизированного рассуждения,

  • рекомендательных сервисов,

  • машинного перевода,

    •

  • сантимент-анализа (анализа тональности, эмоциональной окраски),

  • суммаризации (автореферирования),

  • вопросно-ответных систем,

    •

  • агрегации (автоматического сбора) новостей,

  • категоризации текста,

  • активации голоса,

  • контент-анализа

  • .....

 

 

Лингвистические (и не только) проблемы NLU

Примеры лингвистических проблем для машинного понимания:

  • Раскрытие анафор (распознавание, что имеется в виду при использовании местоимений):

Предложения «Мы отдали бананы обезьянам, потому что они были голодные» и «Мы отдали бананы обезьянам, потому что они были перезрелые» похожи по синтаксической структуре. В одном из них местоимение они относится к обезьянам, а в другом — к бананам. Правильное понимание зависит от знаний компьютера, какими могут быть бананы и обезьяны.

  • Свободный порядок слов может привести к совершенно иному толкованию фразы

«Бытие определяет сознание» — что определяет что?

  • Омонимия (в т.ч. фонетическая)

«Серый волк в глухом лесу встретил рыжую лису» выделенные слова слышатся одинаково, и без знания, кто глухой, а кто рыжий, не обойтись (лиса и лес могут быть глухими и рыжими).

  • Импликатура — небуквальная часть значения текста, когда информация присутствует в тексте в скрытом виде, но при этом явно не выражается (адресат делает вывод сам), то, что «имелось в виду» (в противоположность тому, что было сказано)

https://ru.wikipedia.org/wiki/Импликатура

  • Пресуппозиции — необходимые семантические компоненты, обеспечивающие наличие смысла в утверждении (как компонент смысла текста, являющийся предварительным знанием, без которого нельзя адекватно воспринять текст).

https://ru.wikipedia.org/wiki/Пресуппозиция

  • Ошибки (оговорки, описки) в тексте (логические, грамматические, фонетические)....

См: СЕМАНТИЧЕСКАЯ БЕЗДНА ))

 

 

Достижения NLU ))

ЯНВАРЬ  2021

NLU превзошЛИ человеческие возможности в тесте SuperGLUE

  • Модель Microsoft  DeBERTa занимает первое место в рейтинге с показателем в 90,3

  • Модель Google T5 + Meena  занимает второе место в рейтинге с показателем в 90,1

  • Среднее значение человеческих возможностей составляет 89,8 баллов.

Тестирование моделей DeBERTa и T5 + Meena проводились только на английском языке.

ИИ-модель Microsoft превзошла результат человека в тесте на понимание естественного языка SuperGLUE

 

SuperGLUE

  • создан оценки способности ИИ-моделей понимать естественный язык (дать правильный ответ на вопрос на базе прочитанного, определить, правильность используется многозначных слов в контексте и т.д.),

  • разработан в 2019 году (тогда человек опережал лучшую моделью на 20 баллов).

А в это время... теденции в понимании прочитанного у человечества... не радуют ((   См. PISA

 

 

Современные модели и технологии NLU

 

Современные модели NLU построены на глубоком обучении не1ронных сетей  ML NN) на основе использования механизмов "эмбеддинга" и "внимания"

 

О моделях NLU смотри здесь модули:

  • BERT, SMITH

  • Text-To-Text Transfer Transformer (T5)

  • Meena

  • DeBERTa

О технологических основах NLU смотри здесь модули:

  • Embedding

  • Трансформер

 

 

 

Рекомендуемые материалы

 

 

NLU в преподавании ...

 

Осмысленный ответ на вопрос о применении NLU (NLG, NLP, AI, чего угодно из компьютерной лингвистики) в преподавании иностранных языков требует учитывать контексты (социальный, культурный, исторический, ....).

Следует различать применение:

  • в будущем мире говорящих вещей, где непосредственная коммуникации человека с человеком... все реже, все меньше, роскошь  ... для немногих ценителей

  • в настоящем (таком разном... в Москве и Бресте ))

  • в прошлом (в котором продолжает жить (и учить прошлой жизни) до 70% населения ...
    рождаясь, проживая и умирая не приходя в сознание     ((

Сладких снов )))
 

 

 

Самая суть

Образование - обретение способности без подготовки эффективно решать любые неожиданные проблемы с пользой для семьи, страны, человечества и без вреда для окружающей среды ))

 

 

 

kmp