Простейшая модель текста "мешок слов" (bag-of-words) представляет собой суммативное единство (не систему) составляющих текст слов.

Основной объект модели мешка слов — это слово, снабженное единственным атрибутом, частотой встречаемости этого слова.

В модели текста "мешок слов" учитывается только количество вхождений конкретных слов в исходном тексте, при этом  игнорируются:

• порядок слов в документе,

• морфологические формы представления слов.

Модель текста "мешок слов" была предложена в 1975 году Дж. Солтоном, и в настоящее время является одной из самых распространённых в самых различных областях лингвистических исследований и сервисов, как правило, в качестве основы для более сложных, прежде всего "векторных моделей теста".

Мешок слов используется в "машинном обучении на основе текстов" в качестве одного из основных объектов изучения.

Полезным обобщением формальной модели текста "мешок слов" (bag-of-words) может служить модель "мешок термов" (bag-of-terms).

Основной объект модели мешка термов — это терм, снабженное единственным атрибутом, частотой встречаемости в тексте.

Терм - символьное выражение объекта формальной модели (языка, системы)

Терм (формальное определение): символьное выражение: t(X1, X2, … , Xn), где t — имя терма, называемая функтор или «функциональная буква», а X1, X2, … , Xn — термы, структурированные или простейшие.

Термы могут содержать свободные переменные (параметры), фиксация значений которых однозначно определяет в соответствии с семантическими правилами языка нек-рый объект - значение Терма при данных значениях его свободных переменных.

В логико математическом исчислении терм является аналогом подлежащего или дополнения естественного языка.

В модели  bag-of-terms, в качестве термов могут быть рассматриваемы любые символьные выражения текста, в том числе - знаки препинания.

Пример амфиболии — фраза «Казнить нельзя помиловать», где смысл меняется на противоположный в зависимости от места паузы (определяемой на письме знаком запятой) после или перед словом «нельзя».

Для каждого слова из набора модели "мешок слов" может указывается некоторый «вес».

Таким образом, модель текста представляет собой множество пар «слово — вес».

При этом веса могут присваиваться словам или основам слов.

Методы определения веса слов:

• Бинарный метод (распространённое обозначение — BI, от binary). Определяется только наличие или отсутствие некоторых терминов в документе. Применяется для логического информационного поиска и автоматической рубрикации текстов методами нейросетевых классификаторов ART и SOM.

• Количество вхождений (слов в документ). Предполагает несоразмерность оценки для текстов разной длины — больший вес будут получать более объемные тексты, так как в них больше слов;

• Частота вхождения слова в документе (TF — term frequency). Частота вычисляется как отношение числа вхождения слова к общему количеству слов текста. При относительной простоте эта характеристика обеспечивает приемлемый результат для методов информационного поиска и классификации (предполагает несоразмерность оценки для текстов разной длины —  недооцениваются длинные документы, так как в них больше слов и средняя частота слов в тексте ниже).

• Логарифм частоты вхождения слова (LOGTF). Вес входящего в текст документа определяется как 1+log(TF), где TF — частота термина. Использование логарифмической шкалы позволяет сделать модель более устойчивой к переоценке текстов разного объема.

• Обратная частота документов (IDF — inverse document frequency). Параметр является инверсией частоты, с которой встречается термин в документах.

Общее определение вектора: https://ru.wikipedia.org/wiki/Вектор_(математика)

Кортеж  — упорядоченный конечный набор длины n (где n∈N∪{0}), каждый из элементов которого fi принадлежит некоторому множеству F.

Элементы кортежа называются его компонентами, или координатами.

Элементы кортежа могут повторяться в нём любое число раз.

Многие математические объекты формально определяются как кортежи.

Точка в n-мерном пространстве действительных чисел определяется как кортеж длины n, составленный из элементов множества действительных чисел.

В некоторых языках программирования , кортеж — особый тип данных.
Кортеж является стандартным типом в платформе .NET.

Вектор —  кортеж однородных элементов (скаляров).

Совокупность векторов образует векторное пространство V над линейным пространством (полем) F.

Элементы V называются векторами, элементы F — скалярами.

В программировании, вектор, как правило, обозначается именем-идентификатором с квадратными скобками ( object[] ).

Перечень свойств вектора моделирует принятое в теории систем определение класса и состояния объекта.

Типы элементов вектора определяют класс объекта, а значения элементов — его состояние.

Векторное исчисление изучает:

• свойства линейных операций с векторами (векторная алгебра): сложение, умножение векторов на число, различные произведения векторов — скалярное, псевдоскалярное, векторное, смешанное, двойное векторное и т. д.

• геометрические свойства векторов и их совокупности (вектораная геометрия): коллинеарность, компланарность, свойства векторного базиса).

• статические, стационарные и динамические векторные и скалярные поля (векторный анализ).

• дифференциальные операторы (тензорный анализ) и др...

Векторная модель (vector space model) — представление текстов векторами из одного общего для всей коллекции текстов векторного пространства.

Векторная модель является основой решения задач информационного поиска:

• поиск документа по запросу, 

• классификация документов,

• кластеризация документов и др...

Текст (документ) в векторной модели рассматривается как неупорядоченное множество термов. Термы - слова, из которых состоит текст, а также другие значимые в модели элементы текста (числа, знаки пунктуации, специальные обозначения, акронимы и т.д).

Вектор, являющийся модельным представлением текста в векторном пространстве,  образуется упорядочением весов всех термов (включая те, которых нет в конкретном тексте).

Размерность этого вектора, как и размерность пространства, равна количеству различных термов во всей коллекции, и является одинаковой для всех текстов (документов) коллекции.

Формально:

dj = (w1j, w2j, …, wnj),

где dj — векторное представление j-го текста, wij — вес i-го терма в j-м документе, n — общее количество различных термов во всех документах коллекции.

Располагая таким представлением для всех текстов, можно, например, находить расстояние между точками пространства и тем самым решать задачу подобия текстов — чем ближе расположены точки, тем больше похожи соответствующие тексты.

В случае поиска документа по запросу, запрос тоже представляется как вектор того же пространства — и можно вычислять соответствие документов запросу.

Для полного определения векторной модели необходимо указать, каким именно образом будет отыскиваться вес терма в документе.

Простейшей векторной моделью текста (vector space model) может служить построенный на основе модели "мешок слов" частотный словарь текста.

Частотный словарь может быть интерпретирован как простейшая векторная модель текста (элементы - кортежи из слов и параметра их частотности).

Частотный анализатор определяет для каждого слова vi из словарного пространства (системного словаря) V  его частоту вхождения  fi ≥ 0 в данный текст t=t1t2t3...tk.

Частотную характеристику f можно рассматривать как точку в пространстве признаков F, соответствующую тексту t.

Частотная характеристика это вектор  векторного пространства F.

Длина f=(f1,...fn) равна количеству слов в словаре V, каждая компонента fi это целое неотрицательное число:

Таким образом, на входе имеем текст t и словарь V, на выходе точку в пространстве признаков F.

Системный словарь V может быть задан "неявно" как совокупность всех слов моделируемого текста