• идея (концепт)

• модель (результат осмысления идеи и выражения ее на языке ... математики)

• алгоритм (....

• программа (текст на языке программирования, в котором реализуется алгоритм, работающий в некоторой программно-аппаратной среде)

• сервис (услуга, предоставляемая программой на основе пользовательского интерфейса)

 

Условно можно выделить три основных этапа развития методов АОТ:

• Rule-based (основанный на правилах, регулируемый)

• Statistical-Based (основанный на статистических методах, квантитативный)

• Neural-Based (основанный на нейросетевых методах и машинном обучении)

 

Rule-based (лингвистический, олдскульный)

• основы заложены в середине 20 века

• доминировал до начала 21 века

• основан на лингвистическом подходе в понимании и моделировании текста (его уровней, граней, связей, отношений, структуры), в терминологических системах имманентного и репрезентативного подходов

• применялся на локальных текстовых данных ограниченного объема и специального назначения

• продемонстрировал эффективность в решении узкого круга специальных практически значимых задач

• в контексте универсализации применения столкнулся с проблемой стремительного роста сложности моделей

• ожидаемые результаты достигнуты не были

• продолжает эффективно использоваться в специальных областях, а также как элемент Statistical-Based и Neural-Based

 

Statistical-Based (статистический, переходной)

• основы заложены в конце 1980-х начале 1990-х годов.

• доминировал в 2000-2015

• основан на использовании математических средств и подходов в реализации (статистическом вычислении вероятности совпадений и математическом моделировании текста,  без использования лингвистических структур и алгоритмов), в контексте решения лингвистических задач и достижения лингвистических целей.

• применялся на глобальных универсальных текстовых данных огромного непрерывно растущего объема (прежде всего в системах интернет-поиска и сетевой коммуникации)

• продемонстрировал эффективность в решении определенного круга практически значимых задач

• в контексте универсализации применения столкнулся с проблемами высокочастотных непредсказуемых ошибок

• ожидаемые результаты достигнуты не были

• продолжает эффективно использоваться в специальных областях, а также как элемент Neural-Based

 

Neural-Based (чистая математика)... текст - данные... данные - текст... отказ от лингвистики...

• основы заложены в 2014-2015 годах.

• доминирует в настоящее время

• основан на основан на математическом подходе в понимании и моделировании текста, в терминологической системе теории множеств

• использует DL АNN (Deep learning Artificial neural network, глубокое обучение искусственных нейронных сетей)

• применяется на основе Big Data

• продемонстрировал эффективность в решении широкого круга практически значимых задач

• оправдывает и превосходит ожидаемые результаты

• в контексте универсализации демонстрирует многообещающий (и пугающий многих) прогресс.

 

АОТ осуществляется на основе вычислений.

Вычисление — преобразование структуры данных.

Вычисления реализуются с помощью алгоритмов.

Алгоритм: текст (набор инструкций), определяющий порядок действий для решения задачи

Алгоритм - машина (текст), генерирующая решение задачи
(на основе определенного порядка действий исполнителя в соответствующей вычислительной среде)

 

Основные категории задач, которые выполняют алгоритмы:

• Расстановка приоритетов (например, составление упорядоченного списка)

• Классификация (например, выбор категории)

• Ассоциирование (поиск и описание взаимосвязи между объектами)

• Фильтрация (выделение важной информации)

• Обобщение (выделение и формализация общих признаков)

Обычно сначала (на уровне идеи) алгоритм описывается словами, но по мере приближения к реализации он обретает всё более формальные очертания и формулировку на языке, понятном исполнителю (машинный код).

Формы записи алгоритма:

• вербальная: на национальном языке;

• в математической нотации;

• схематическая (графическая);

• на алгоритмическом языке (языке программирования);

• в машинном коде;

Два основных типа алгоритмов:

• Алгоритмы, основанные на системе правил: точное описание строгой последовательности действий (пример: рецепт пирога)

• Алгоритмы машинного обучения: ввод данных, постановка цели, обеспечение обратной связи, предоставление машине самостоятельно искать оптимальное решение (пример: обучить собаку давать лапу)

Оба типа имеют свои достоинства и ограничения:

• Алгоритмы, основанные на системе правил, просты для восприятия и понятны (поскольку инструкции пишут люди).
  Основанные на системе правил алгоритмы решат задачу только в том случае, если люди знают, какую инструкцию для них написать.

• Алгоритмы машинного обучения отлично (!) справляются тогда, когда набор команд не помогает (в трудно формализуемых задачах). Сложно (невозможно?) понять каким путем машина пришла к конечному результату и является ли полученный результат надежным.

Jiawei Su, Danilo Vasconcellos Vargas and Kouichi Sakurai, One pixel attack for fooling deep neural networks, arXiv:1719.08864v4 [cs.LG], 22 Feb. 2018, https://arxiv.org/pdf/1710.08864.pdf

One pixel attack. Или как обмануть нейронную сеть
https://habr.com/ru/post/498114/
Достаточно изменить один пиксель переднего колеса на изображении, приведенном ниже, чтобы алгоритм машинного обучения передумал и увидел собаку там, где прежде видел автомобиль...