Униграммная модель (unigram model) работает лишь на уровне отдельных слов (токенов, грамм).

Униграммная модель, получив последовательность слов, выдаст следующую вероятность слова как произведение отдельных вероятностей, определенных на основе частоты появления слов в обучающем множестве синтаксически корректных предложений.

N-граммная модель (n-gram model) учитывает и предыдущие (n-1) слов для оценки вероятности появления следующего слова.

 

Например:

• в три-граммной модели будут учитываться 2 предшествующих слова,

• в 100-граммной модели будут учитываться  99 предшествующих слов

• в 5700-граммной модели будут учитываться  4699 предшествующих слов

 

Языковая модель — это математическая (статистическая, вероятностная) машина

Языковая модель — производит (генерирует) тексты на основе текстов

Работа языковой модели (машины):

• перевод с одного языка на другой,

• классификация текстов,

• распознавание речи,

• синтез речи по тексту

• автореферирование текста

• автогенерация текста (разных стилей и жанров)

• поддержание диалога

• авторедактирование и автокорректура текста

• и так далее ... ...

 

Языковая модель — это распределение вероятностей по текстам.

Нейросетевая языковая модель — языковая модель, основанная на нейронных сетях, обученных предсказывать следующее слово (токен, грамм, символ) в тексте с учетом предыдущего контекста.

Нейросетевая языковая модель — искусственная нейронная сеть, обученная предсказывать следующее слово (токен, грамм, символ) в тексте с учетом предыдущего контекста.

 

Первая нейросетевая LM предложена Йошуа Бенжио (https://yoshuabengio.org/) в 2001 году Ян Гудфеллоу Иошуа Бенджио Аарон Курвилль  Глубокое обучение (pdf) Первая нейросетевая LM реализована на основе нейросети прямого распространения

 

О нейронных сетях, машинном и глубоком обучении здесь:

• Нейронные сети

• Машинное обучение

Нейросетевые языковые модели  — магистральные актуальные реализации искусственного интеллекта (GPT-4 и его друзья) .

ChatGPT — сервис, предоставляющий пользовательский интерфейс ограниченного взаимодействия с адаптированной и отфильтрованной нейросетевой языковой моделью GPT-4.

 

 

• В 1995 году предложена N-граммная модель, легшая в основу основе классических подходов языковых моделей

  • Improved backing-off for M-gram language modeling
    https://ieeexplore.ieee.org/document/479394

• В 2000 году предложена первая нейросетевая языковая модель на основе нейросети прямого распространения

  • Йошуа Бенжио (https://yoshuabengio.org/)

  • A Neural Probabilistic Language Model
    https://proceedings.neurips.cc/paper_files/paper/2000/file/728f206c2a01bf572b5940d7d9a8fa4c-Paper.pdf

  • В качестве входных данных эта модель принимает векторные представления n предыдущих слов.
    В настоящее время для векторных представлений слов используют сжатый вариант — эмбеддинги (word embedding).

• В 2008 году для обработки естественного языка было впервые применено многозадачное обучение нейросетей

  • При многозадачном обучении модели обучаются выполнению различных задач на одних и тех же параметрах. В нейронных сетях этого можно легко добиться, связав веса разных слоев. Фактически при многозадачном обучении модель стимулируют к созданию внутри себя такого представления данных, которые позволяет выполнить сразу много задач.

• В 2010 году для языкового моделирования стали использоваться рекуррентные нейронные сети (RNN);

  В 2013 году на смену разреженным матрицам векторного представленного текста (модель «мешка слов») пришёл Word embedding (векторное представление слов).

  • В системе с реализацией word2vec модели, Word embeddings позволил проводить массовое эффективное и быстрое обучение векторных представлений слов.

• В 2013 года для языкового моделирования стали использоваться нейросети с долгой краткосрочной памятью (LSTM-сети)

• В 2014 для языкового моделирования стали использоваться сверточные нейронные сети

•  В 2014 для языкового моделирования стали использоваться  рекурсивные нейронные сети.

• В 2014 предложена модель обучения sequence-to-sequence (последовательность в последовательность).

  • Механизм  seq2seq: одна нейросеть-кодер (encoder) обрабатывает предложение символ за символом и сжимает данные в векторное представление; а вторая нейросеть-декодер (decoder)  посимвольно прогнозирует выходные данные, основываясь на состоянии кодера, и принимая в качестве входных данных символ, предсказанный на предыдущем шаге. При помощи seq2seq-моделей работает машинный перевод, извлечение информации +++

• В 2015 революцию в обучении нейросетевых LM стал Attention (механизм внимания)

  • Attention стал ключевой инновацией в области нейронного машинного перевода. Внимание позволило моделям нейронного машинного перевода превзойти классические системы машинного перевода, основанные на переводе фраз. Внимание позволяет декодеру оглядываться на скрытые состояния исходной последовательности, которые затем в виде средневзвешенного значения предоставляются в качестве дополнительных входных данных в декодер.

• В 2015 появились нейросети с ассоциативной памятью

  • Нейросети с ассоциативной памятью стали использовать внимание как форму нечеткой памяти, состоящей из прошлых скрытых состояний модели; модель самостоятельно решает, что именно извлекать из памяти.

• В 2016 предложены символьные представления слов

  • Символьные представления слов (СПС) широко используются для работы с языками с развитой системой морфологических форм, а также при решении задач, где важна морфологическая информация или с большим количеством неизвестных слов. СПС стали основным компонентом моделей для категоризации членов последовательностей и языкового моделирования. СПС устраняют необходимость работы с фиксированным словарем c дополнительными вычислительными затратами и позволяют применять полностью символьный нейронный машинный перевод.

• В 2017 году представлены Тransformers

  • Тransformer — архитектура глубоких нейросетей для обработки последовательностей (текст на естественном языке). В отличие от реккурентных нейросетей трансформеры не требуют обработки последовательностей по порядку. Благодаря этому трансформеры легко распараллеливаются  и могут быть быстрее обучены

• В 2017 году в различных формах обработки естественного языка стало применяться состязательное обучение

  • Состязательное обучение применяется в качестве инструмента для исследования моделей и выяснения причин неудач в обучении, для повышения надежности и устойчивости моделей. Генеративные состязательные сети еще не слишком эффективны для генерации естественного языка, но полезны, например, при парном распределении.

• В 2018 стали использоваться предварительно обученные языковые модели (предложены в 2015)

  • Pre-trained векторные представления слов не зависят от контекста, который анализируется в данный момент, и используются только для инициализации весов первого слоя в моделях. Для обучения языковым моделям требуется лишь неразмеченный текст и масштабы обучения могут достигать миллиардов токенов и сотен языков.

• В 2018 стало применяться в NLP обучение с подкреплением (reinforcement learning)

  • Обучение с подкреплением эффективно в моделировании диалога и машинном переводе. Обучение с отрицательным подкреплением оказалось полезно в ситуациях, когда вознаграждение слишком сложно, чтобы его указывать, например, в визуальном повествовании.

---

 

Успех проекта GPT (Generative Pre-trained Transformer) в значительной степени обеспечен не научными, а инженерными прорывами.

Разработчикам удалось эффективно масштабировав модель добиться качественно более высоких показатей её работыи впечатляющих улучшений производительности.

Это не ново с точки зрения исследований, но преобразующе с точки зрения приложений.

 

Слава инженерам!