Natural Language inference (NLI)

 

 

 

  • Дефиниция NLI

  • Понимание понимания в компьютерной лингвистике

  • NLU в стеке технологий NLP

  • NLU как AI-полная задача

  • Области применения NLU

  • Лингвистические проблемы NLU

  • Достижения NLU

    •

  • Современные модели и технологии NLU

  • Рекомендуемые материалы по NLU

  • NLU в преподавании иностранных языков (не только в СШ №7 ))

  • Самая суть

 

 

Дефиниция NLI

NLI (natural language inference) – это задача автоматического определения логической связи между текстами.

Обычно она формулируется так: для двух утверждений A и B надо выяснить, следует ли B из A.

Эта задача требует хорошо понимать смысл текстов.
Способность модели к NLI можно применить для прикладных задач типа классификации текстов.

 

 

 

https://www.machinelearningmastery.ru/learning-sentence-embeddings-by-natural-language-inference-a50b4661a0b8/
Цель NLI - найти связь между предложением 1 (предпосылка) и предложением 2 (гипотеза).
Есть три категории, которые являются следствием, противоречием и нейтральностью.
Гипотеза: NLI является подходящей задачей для понимания семантических отношений в предложениях, так что это помогает создать хорошие вложения для встраивания предложений для последующих задач NLP.

Общая идея заключается в том, что два предложения (исходные данные и гипотезы) будут преобразованы кодировщиком предложений (одинаковыми весами).
После этого используются 3 метода сопоставления, чтобы распознать взаимосвязь между исходными данными и гипотезами.
Конкатенация двух векторов
Поэлементное произведение двух векторов
Абсолютная поэлементная разница двух векторов

Идея использовать данные специализированных датасетов
Например: SNLI (Standford Natural Language Inference) для обучения модели NLI.

 

 

 

Natural Language Inference (NLI), also known as Recognizing Textual Entailment (RTE), is the task of determining the inference relation between two (short, ordered) texts: entailment, contradiction, or neutral (MacCartney and Manning 2008).

см. The Stanford Natural Language Inference (SNLI) Corpus
https://nlp.stanford.edu/projects/snli/

 

 

 

NLI в стеке технологий ИИ

 

Natural Language Inference (NLI) – технологии автоматического определения логической связи между текстами.

Natural Language Processing (NLP) — общее направление искусственного интеллекта и компьютерной лингвистики, изучающее все проблемы компьютерного моделирования (анализа и синтеза) текстов на естественных языках.

Упрощенно можно представить: NLP = ASR + NLU + NLG + NLI

  • ASR (Automatic Speech Recognition) — технологии автоматического распознавания речи

  • NLU (Natural-language understanding) - технологии понимания текстов на естественном языке

  • NLG (Natural Language Generation) - технологии генерации текстов на естественном языке
    Текстов - связных, осмысленных, произвольных (по заданным тематикам)
    NLI (Natural Language Inference) – технологии автоматического определения логической связи между текстами.

 

 

NLU как AI-полная задача

NLU является важнейшей проблемой AI (Artificial intelligence, ИИ, искусственного интеллекта)

NLU (понимание естественного языка) считается AI-полной задачей

AI-полная задача (AI-complete) — проблема, решение которой предполагает создание «сильного AI» («действительно мыслящего» агента).

Термин «сильный ИИ» введён в 1980 году Джоном Сёрлом («Китайская комната»):

  • The appropriately programmed computer really is a mind, in the sense that computers given the right programs can be literally said to understand and have other cognitive states.

  • Соответствующим образом запрограммированный компьютер с нужными входами и выходами и будет разумом, в том смысле, в котором человеческий разум — это разум.

Само определение смысла слова «понимать» — одна из главных задач AI

AI-полная задачи:

  • не могут быть решены алгоритмически.

  • легко решаются человеком в контексте сложнейшей системы отношений человеческих поняти

  • требуют огромных знаний системы об окружающем мире и возможности с ним взаимодействовать, в т.ч. неявных (не осознаваемых) и неформализуемых.

 

 

Области применения NLU

 

NLU является необходимым элементом множества областей лингвистического компьютерного моделирования:

  • систем поддержания диалога,

  • автогенерации связного осмысленного текста,

  • сервисов автоматизированного рассуждения,

  • рекомендательных сервисов,

  • машинного перевода,

  • сантимент-анализа (анализа тональности, эмоциональной окраски),

  • суммаризации (автореферирования),

  • вопросно-ответных систем,

  • агрегации (автоматического сбора) новостей,

  • категоризации текста,

  • активации голоса,

  • контент-анализа

  • .....

 

 

Лингвистические (и не только) проблемы NLU

Примеры лингвистических проблем для машинного понимания:

  • Раскрытие анафор (распознавание, что имеется в виду при использовании местоимений):

Предложения «Мы отдали бананы обезьянам, потому что они были голодные» и «Мы отдали бананы обезьянам, потому что они были перезрелые» похожи по синтаксической структуре. В одном из них местоимение они относится к обезьянам, а в другом — к бананам. Правильное понимание зависит от знаний компьютера, какими могут быть бананы и обезьяны.

  • Свободный порядок слов может привести к совершенно иному толкованию фразы

«Бытие определяет сознание» — что определяет что?

  • Омонимия (в т.ч. фонетическая)

«Серый волк в глухом лесу встретил рыжую лису» выделенные слова слышатся одинаково, и без знания, кто глухой, а кто рыжий, не обойтись (лиса и лес могут быть глухими и рыжими).

  • Импликатура — небуквальная часть значения текста, когда информация присутствует в тексте в скрытом виде, но при этом явно не выражается (адресат делает вывод сам), то, что «имелось в виду» (в противоположность тому, что было сказано)

https://ru.wikipedia.org/wiki/Импликатура

  • Пресуппозиции — необходимые семантические компоненты, обеспечивающие наличие смысла в утверждении (как компонент смысла текста, являющийся предварительным знанием, без которого нельзя адекватно воспринять текст).

https://ru.wikipedia.org/wiki/Пресуппозиция

  • Ошибки (оговорки, описки) в тексте (логические, грамматические, фонетические)....

См: СЕМАНТИЧЕСКАЯ БЕЗДНА ))

 

 

Достижения NLU ))

ЯНВАРЬ  2021

NLU превзошЛИ человеческие возможности в тесте SuperGLUE

  • Модель Microsoft  DeBERTa занимает первое место в рейтинге с показателем в 90,3

  • Модель Google T5 + Meena  занимает второе место в рейтинге с показателем в 90,1

  • Среднее значение человеческих возможностей составляет 89,8 баллов.

Тестирование моделей DeBERTa и T5 + Meena проводились только на английском языке.

ИИ-модель Microsoft превзошла результат человека в тесте на понимание естественного языка SuperGLUE

 

SuperGLUE

  • создан оценки способности ИИ-моделей понимать естественный язык (дать правильный ответ на вопрос на базе прочитанного, определить, правильность используется многозначных слов в контексте и т.д.),

  • разработан в 2019 году (тогда человек опережал лучшую моделью на 20 баллов).

А в это время... теденции в понимании прочитанного у человечества... не радуют ((   См. PISA

 

 

Современные модели и технологии NLU

 

Современные модели NLU построены на глубоком обучении не1ронных сетей  ML NN) на основе использования механизмов "эмбеддинга" и "внимания"

 

О моделях NLU смотри здесь модули:

  • BERT, SMITH

  • Text-To-Text Transfer Transformer (T5)

  • Meena

  • DeBERTa

О технологических основах NLU смотри здесь модули:

  • Embedding

  • Трансформер

 

 

 

 

 

SNLI

 

  • The Stanford Natural Language Inference (SNLI) Corpus
         https://nlp.stanford.edu/projects/snli/

  • Корпус вывода на естественном языке Стэнфорда (SNLI) (версия 1.0) представляет собой набор из 570 тысяч пар предложений на английском языке, написанных человеком, помеченных вручную для сбалансированной классификации с метками "влекущее", "противоречие" и "нейтральное". Мы стремимся к тому, чтобы он служил как ориентиром для оценки репрезентативных систем для текста, особенно в том числе тех, которые вызваны методами обучения репрезентации, так и ресурсом для разработки моделей НЛП любого рода.

     

 

MultiNLI

 

MultiNLI

Корпус многожанрового вывода на естественном языке (MultiNLI) представляет собой набор из 433 тысяч пар предложений, аннотированных текстовой информацией. Корпус смоделирован по образцу корпуса SNLI, но отличается тем, что охватывает широкий спектр жанров устного и письменного текста и поддерживает отличительную оценку межжанрового обобщения. Корпус послужил основой для совместной задачи семинара RepEval 2017 в EMNLP в Копенгагене.

https://cims.nyu.edu/~sbowman/multinli/



 

 

ANLI

 

ANLI: датасет от FAIR для обучения робастных NLP-моделей
https://neurohive.io/ru/datasety/anli-dataset-ot-fair-dlya-obucheniya-robastnyh-nlp-modelej/
ANLI (Adversarial Natural Language Inference) — это датасет от FAIR для обучения более робастных NLP-моделей. Задача natural language inference тестирует модель на то, как хорошо модель понимает язык. Цель заключается в том, что бы определить, можно ли выражение вывести из определенного куска текста. Например, предложение “Сократ смертен” можно вывести из предложение “Сократ — это человека, а люди смертны”. Модель, которая способна верно определять такие случаи, обладает высокой обобщающей способностью.

Ограничения прошлых NLI датасетов
Стандартно датасеты для NLI являются статичными: исследователи собирают датасет, на котором затем сравниваются разные архитектуры. Однако такой подход приводит к тому, что модели переобучаются на датасете. Переобученные модели имеют ограниченное применение, потому что не масштабируются на данные, которые отличаются от тех, на которых они обучались и повторно тестировались.

Исследователи из FAIR предлагают динамичный подход к сбору датасета. Аннотаторы специально обманывают state-of-the-art модели на NLI задачах через добавление неверных объектов в данные. Для этого используют подход к сбору данных HAMLET (Human-and-Model-in-the-Loop-Entailment Training). Он позволяет обучать более устойчивые модели. Если модель переобучается или выучивает bias из данных, есть возможность добавить состязательных примеров в данные. Такой адаптивный формат повышает обобщаю способность тестируемых подходов.

Автор: Anna
Источник: https://ai.facebook.com/research/publications/adversarial-nli-a-new-benchmark-for-natural-language-understanding/
 

https://cims.nyu.edu/~sbowman/multinli/



 

 

 

Рекомендуемые материалы

 

 

 

Самая суть

Образование - обретение способности без подготовки эффективно решать любые неожиданные проблемы с пользой для семьи, страны, человечества и без вреда для окружающей среды ))

 

 

 

kmp