Обучение искусственных нейронных сетей - процесс настройки (для эффективного решения поставленной задачи):

• архитектуры сети (структуры связей между нейронами)

• весов синаптических связей (влияющих на сигналы коэффициентов).

Хорошая простая сетевая книга (на английском): Neural Networks and Deep Learning.

Хорошая сложная книга: В.В.Вьюгин МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ МАШИННОГО ОБУЧЕНИЯ И ПРОГНОЗИРОВАНИЯ

 

 

 

 

Грант Сандерсон

[DeepLearning | видео 1] Что же такое нейронная сеть?

https://www.youtube.com/watch?time_continue=353&v=RJCIYBAAiEI

все 4 видео: https://www.youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

канал: https://en.wikipedia.org/wiki/3Blue1Brown

https://habr.com/ru/post/438328/

https://habr.com/ru/post/438364/

https://habr.com/ru/company/madrobots/blog/438420/

https://habr.com/ru/post/438432/

https://habr.com/ru/post/428259/

https://habr.com/ru/post/424603/

 

https://habr.com/ru/company/ivideon/blog/438322/

Восемь потрясающих игр с искусственным интеллектом от компании Google
https://habr.com/ru/post/399321/

 

Разработчики из подразделения Google Research создали алгоритм обучения нейросети для автоматической генерации текстового описания объектов на изображениях на естественном (английском) языке. Он сочетает в себе алгоритмы компьютерного зрения и обработки естественного языка. К примеру, система способна создавать подписи наподобие «две собаки играют на траве» или «маленькая девочка в розовой шляпке надувает пузыри». Идея пришла благодаря последним достижениям в машинном переводе, где одна рекурентная нейронная сеть (RNN) преобразует предложение на одном языке в векторную модель, а вторая - преобразует эту модель в предложение на другом языке. Вот инженеры и подумали, почему бы в качестве первой нейросети не использовать сверточную нейросеть для распознавания объектов на изображениях (CNN). Разработчики планируют использовать полученную систему, например, для помощи слепым людям и для усовершенствования поиска картинок на Google Images.

Команда разработчиков из Стэнфорда представила нейросеть NeuralTalk, которая отыскивает на изображении отдельные объекты, события или действия, назначает им отдельные слова и в итоге складывает их в осмысленное предложение. Например "Печенье и чашка кофе находятся на книге". ИИ формирует несколько предложений и выбирает из них наиболее вероятно-правильное. Недавно мы рассказывали о подобной системе, созданной в Google.
 

Французская компания Yseop специализируется на автоматическом формировании новостей, корпоративных отчетов, писем клиентам. На сайте компании можно поиграться с живым примером: это финансовая статья, которая обновляется автоматически каждый раз, когда вы меняете исходные данные в боковой панели. Первоначально в статье рассказывается о «существенной позитивной динамике», но если ввести более низкий показатель, то текст меняется, например, на «резкое снижение».

https://demo.narrativa.com

Испанский стартап Narrativa создал нейросеть, которая самостоятельно формирует обзоры футбольных матчей на основании статистики игры. Пример текста "Севилья» выиграла у Атлетика, получив в итоге 8 побед у себя дома. Гамейро забил первый мяч и закончил игру с пенальти после того, как Кочовяк был удален с поля. Атлетику не повезло: несмотря на постоянное владение мячом, команда не реализовала ряд потенциальных голевых ситуаций". Как это получается? Сначала нейросеть долго кормили футбольными обзорами, обучая ее извлекать факты статистики (голы, удары, % владения мячем, замены, карточки...) из текста. Потом запустили нейросеть в обратном направлении, так чтобы исходя из фактов статистики она формировала предложения.

7 шалостей с нейросетями: алгоритмы ищут пьяных, гоняют котов, сочиняют песни
https://daily.afisha.ru/brain/2318-7-shalostey-s-neyrosetyami-algoritmy-ischut-pyanyh-gonyayut-kotov-sochinyayut-pesni/


5 самых странных и бестолковых нейросетей
«Забивать микроскопом гвозди»: нейросети которые мы заслужили
https://revolverlab.com/5-neurolinks-fb5a5549c690



«Это называется — поставить на место», — прокомментировал этот короткий диалог председатель комиссии Совета Федерации по информационной политике Алексей Пушков.


Источник: http://rusvesna.su/news/1550345129

Как написать интересный текст с помощью нейросетей

http://2035.media/2019/01/20/text-services/

Как научить свою нейросеть генерировать стихи

https://habr.com/ru/post/334046/

Как видно из рисунка, лемма имеет приписанную к ней часть речи. Это сделано для того, чтобы можно было использовать уже предобученные эмбеддинги для лемм (например, от RusVectores). С другой стороны, эмбеддинги для тридцати тысяч лемм вполне можно обучить и с нуля, инициализируя их случайно.

Нейросеть научилась озвучивать немые видеоролики

Учёные из Университета Северной Каролины в Чапел-Хилл (University of North Carolina at Chapel Hill, США), а также исследователи из Adobe Research разработали метод, позволяющий по беззвучной видеозаписи восстановить звуковую дорожку, например, лай собаки, плач ребёнка или шум водопада.

Для решения этой задачи были задействованы рекуррентные нейронные сети — реализуемые на компьютере математические модели, представляющие собой связанные узлы (нейроны), обрабатывающие входной сигнал, руководствуясь собственными параметрами. Преимущество рекуррентных нейронных сетей в том, что каждое последующее состояние сети зависит от предыдущего, полученного на другом «куске» данных. Это проявляется в наличии у рекуррентной нейросети памяти и возможности распознавания последовательных данных, таких как звук, видео или текст. Для сравнения, работа обычной нейросети похожа на мгновенный акт распознавания образа нашим мозгом: сидя за рулём, важно заметить дорожный знак и распознать его тип, при этом почти не имеет значения траектория движения знака относительно автомобиля (за исключением редких случаев, когда есть опасность в него врезаться). Рекуррентная нейросеть постоянно переотправляет результат своих предсказаний в исходные данные, используемые для последующих предсказаний, подобно тому, как мы играем в «угадай мелодию», распознавая музыку по нескольким упорядоченным характерным признакам (нотам).

При обучении нейронным сетям показывали разные ролики, а те пытались обнаружить зависимость между видеорядом и звуковой дорожкой. При этом обучение пробовали проводить тремя разными способами: покадрово, синхронизируя звук и видеоряд; раздельно, когда нейросеть сначала ищет характерные признаки видео, а потом связывает их с характерными признаками звука (части нейросети, обрабатывающие видео и звук, учатся асинхронно); и, наконец, задействовав специальную технологию, позволяющую восстанавливать картинки между кадрами видео (она была разработана в 2010 году учёными из Брауновского (Brown University) и Дармштадтского технического (нем. Technische Universität Darmstadt) университетов).

Выяснилось, что последний метод обучения (flow) более чем в половине случаев лидирует над покадровым (frame) и асинхронным (seq), а если и отстаёт, то ненамного. Здесь показана суммарная статистика точности распознавания, чистоты звука и его уровня совпадения с видеорядом:

В качестве финальной проверки метода, звуки, реконструированные нейросетями по немым видеозаписям, дали послушать людям (показав и видео). Испытуемых предупредили, какими признаками должно обладать ненастоящее звуковое сопровождение: плохое совпадение с видео, низкое качество, большой уровень шума. Для верности, каждое озвученное нейросетями видео показывали трём испытуемым, устраивая затем голосование, является ли звуковая дорожка оригинальной. При этом учёные решили дополнительно усложнить процесс проверки, периодически показывая людям видео со звуком от другого ролика из той же категории. Результатом можно гордиться: более 70% искусственных звуковых сопровождений испытуемые не смогли отличить от реальных. Лучше всего удалось восстановить по видео звуки потоков воды, фейерверков и работающей бензопилы, в то время как в нейросетевой плач ребёнка поверило всего около 61% испытуемых. Интересно, что на тех типах роликов, где нейросети показывали худшие результаты, испытуемые часто выбирали звуковую дорожку от других роликов той же группы (путая вертолёты, принтеры и плачущих детей).

В дальнейшем исследователи планируют научить ИИ ассоциировать звук с конкретным объектом на видео, а также попробовать найти оптимальные способы обучения нейросетей.

Согласно новому отчёту исследовательской компании Gartner, которая специализируется на рынках ИТ, количество внедривших искусственный интеллект компаний увеличилось на 270 процентов за последние 4 года.

В 2015 году ИИ использовало или планировало использовать только 10 процентов респондентов, в 2018-м — 25 процентов. К 2019 году их доля составила 37 процентов, отмечает вице-президент Gartner Крис Ховард.

В исследовании принимало участие более 3 тысяч ИТ-менеджеров из 89 стран. Суммарная выручка компаний, участвовавших в опросе, составляет $15 трлн, а инвестиции в информационные технологии — $284 млрд.

По словам Gartner, за последний год ИИ стало использовать в три раза больше компаний в самых различных отраслях. Скачок объясняют прогрессом в развитии технологии, в результате чего всё больше предприятий готовы внедрять её. Ховард добавил, что это даёт им преимущество над конкурентами, хотя человечество далеко от создания ИИ общего назначения, который способен сам выполнять сложные задания. При этом отмечается нехватка квалифицированных сотрудников в сфере.

По результатам исследования, 52 процента телекоммуникационных компаний используют чат-ботов, а 38 процентов организаций в области здравоохранения применяют ИИ в диагностике. Также технологию используют для защиты от мошенничества и сегментации потребителей.

Прочесть статью на MIT Technology Review.

Исследователи компании OpenAI создали алгоритм, который умеет генерировать достаточно убедительные фейковые новости на любую тему всего по нескольким входным словам.

Изначально исследователи планировали разработать алгоритм для ответов на вопросы, резюмирования текстов и выполнения переводов. Однако вскоре обнаружили, что получившуюся ИИ-систему можно применить в куда более опасных целях, например для массового распространения ложной информации. Поэтому команда решила открыть широкий доступ только к его ограниченной версии.

Для тренировки использовали датасет в 40 Гб, собранный на основе 8 млн популярных ссылок Reddit. На данный момент технология имеет некоторые недостатки, например ИИ часто «занимается плагиатом» и не очень хорошо справляется с незнакомыми темами, а тексты иногда получаются бессвязными. По словам исследователей OpenAI, всего через 1-2 года система научилась бы стабильно генерировать настолько естественные тексты, что разоблачить подделки было бы очень сложно.

OpenAI запустили СЕО Tesla и SpaceX Илон Маск и президент Y Combinator Сэм Альтман в 2015 году. Организация ставит целью разработку искусственного интеллекта на благо общества.

Посетить сайт OpenAI и познакомиться с ним.

https://openai.com

Изучить материалы странички о GPT-2
https://blog.openai.com/better-language-models/#content
Рекомендуется познакомиться с кодом и статьёй

https://github.com/openai/gpt-2

https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

 

Наглядное введение в нейросети на примере распознавания цифр

https://www.captionbot.ai
Сервис от Microsoft автоматически генерирующий подписи к фото
Проект под названием CaptionBot - онлайн приложение, которое автоматически генерирует релевантные подписи к изображениям.

Сервис позволяет выбирать для анализа как фотографии доступные в сети, так и снимки, загруженные с компьютера. Но помните, все снимки которые вы загружаете будут сохранены, для дальнейшего обучения системы!

 

Сервис Microsoft, угадывающий возраст человека по фотографии
В качестве демонстрации возможностей облачной платформы Azure компания Microsoft представила шуточный сервис How-Old.net, который анализирует загружаемую фотографию и сообщает предполагаемый возраст изображённого на ней человека.
https://www.how-old.net

Пощупать нейросети или конструктор нейронных сетей
https://habr.com/ru/post/351922/

Компания Google объявила о запуске сайта A.I. Experiments в открытом доступе для всех пользователей. Здесь собраны простые эксперименты, которые позволяют в игровой форме понять, как именно работают нейронные сети и машинное обучение.

https://experiments.withgoogle.com/collection/ai

На презентации сайта креативный директор Google Creative Lab Алекс Чен сказал, что “учитывая крутизну кривой обучения для таких программ, компания представляет A.I. Experiments”, чтобы подобные программы не пугали разработчиков, которые хотят заниматься искусственным интеллектом.

Пользователи могут как экспериментировать с уже готовыми образцами таких программ, так и загружать свой код, чтобы проверить, как это работает. Сейчас на сайте – восемь разновидностей программ на основе нейронных сетей.

К примеру, в Quick, Draw! можно попробовать самому нарисовать набросок какого-либо объекта за 20 секунд с помощью мыши или пальца, и дать нейронной сети его опознать.

http://primat.org/demo/network/network.html#2

2019/01/15 19:07:19

Искусственный интеллект (мировой рынок)

Frost & Sullivan (15 января 2019 года): Рынок ИИ будет расти на 31% ежегодно. К 2022 году суммарный бъем рынка технологий ИИ увеличится до $52,5 млрд (2018 - $17,8 млрд).

Tractica: объем рынка ПО ИИ в 2018 - $8,1 млрд. К 2025 году - $105,8 млрд.

Инвестиции в AI в 2018 - $50 млрд, в 2017 - $25 млрд
Повсеместное внедрение ИИ к 2030 году увеличит объем глобального рынка товаров и услуг на $15,7 трлн
http://www.tadviser.ru/a/425392

Анализ показывает, что почти 40% задач, выполняемых военнослужащими США, можно автоматизировать. А это высвободит почти 500 тысяч человек.

По сумме инвестиций в ИИ лидер - США ($6.4 млрд.), за которыми следует Китай ($5.5 млрд.). По средней стоимости сделки - Китай (от $100 млн) против $15 млн у США.

5 самых популярных областей использования ПО ИИ:
видеонаблюдение,
системы мониторинга и управления ИТ-сетями и операциями,
клиентское обслуживание и маркетинг,
распознавание голоса и речи,
обнаружение и распознавание объектов техникой...
...

IDC - объем глобального рынка ИИ в 2018 - $24 млрд, в 2022-м - $77,6 млрд.
Среднегодовые темпы роста - 37,3%.


Около 40% затрат на приходится на ПО. Ежегодный рост - 43,1%.

BCC Research: объем рынка технологий распознавания речи - $104 млрд в 2016, $184,9 млрд в 2021, ежегодный рост за 2016–2021 +12,1% .

 

 

07.12.2018 в Стэнфорде состоялась конференция "AI и будущее общества"
Основные тезисы:

ИИ – новое электричество: фундаментальная технология, которая постепенно трансформирует большинство отраслей экономики и общества. Это растянется на десятилетия.

Данные – это новая нефть, а Китай – новый ОПЕК. Накопление большого объема данных критично для развития AI. Блокировка китайскими властями доступа иностранных IT-компаний на их рынок и слабые законы, защищающие конфиденциальность пользователей, привели к тому, что китайские компании обгоняют Запад и претендуют на титул AI-сверхдержавы.

Европе нужно срочно определяться с ролью в грядущем мире AI.
Число рабочих мест не уменьшится – но работа будет совсем другой. Креатив, эмпатия, стратегия – главные человеческие качества, которые это поколение AI не сможет воспроизвести.

Главный вызов AI не в том, что миллионам людей не будет кем работать, а в том, что им придется постоянно быстро переучиваться.
 

 

БЕЗ ИИ – КАК БЕЗ ЭЛЕКТРИЧЕСТВА
Сергей Орлов

15 февраля 2019



От искусственного интеллекта уже начинает зависеть не только безопасность, но и здоровье. На днях представитель российского стартапа Skychain объявил, что ученые разработали ИИ, способный диагностировать онкологию в легких по рентгеновским снимкам с точностью в 94%. Этого удалось добиться, создав нейросеть и дав ей изучить более 350 трехмерных КТ-снимков легких пациентов с раковыми опухолями, пишут “Извесстия”.

В России есть подобные технологии и для определения инсульта на основе МРТ. В США разработали устройство, с помощью которого выявляют диабетическую ретинопатию, из-за которой теряет зрение не малый процент трудоспособного населения.

Более простой вариант, но от того не менее важный — системы телемедицины. Онлайн-сервис DocDoc, который называют Uber для врачей, автоматически на основе указанных пациентов симптомов подбирает специалиста, выдает направление на анализы и рекомендации перед приемом. Стоит также упомянуть о технологиях, которые облегчают жизнь людям с ограниченными возможностями: например, разработанный Microsoft сервис распознавания разговорной речи, необходимый людям с ограничениями по слуху.

Транспорт, безопасность, здравоохранение и другие сферы с участием искусственного интеллекта — в масштабе всё это превращается в «умный город». В Канаде уже проходят соревнования Smart Cities Challenge. Власти России взяли на вооружение эту концепцию и включили ее в перечень государственных программ. И успешные примеры уже есть. Институт McKinsey включил Москву в топ «умных городов» Европы. Столица заняла девятое место. При этом москвичи оказались самыми передовыми среди европейцев — они больше остальных разбираются в инновационных сервисах и пользуются ими.



Исследователи, изучавшие феномен «умных городов», изначально полагали, что внедрение ИИ будет чем-то закулисным, незаметным глазу людей. Но сейчас всё это становится их будничными рабочими инструментами — взять те же сервисы отслеживания автобусов, благодаря которым можно лишний раз не мерзнуть на остановке.

Для коммерческого сектора внедрение ИИ — вопрос выживания. Не предоставив клиенту «умный сервис», потерять его проще простого. Касается это и внутренних процессов. «Аэрофлот» рассчитывает уже через два года использовать искусственный интеллект, чтобы прогнозировать налоговые поступления и риски.

В современном мире применение технологий искусственного интеллекта — один из важнейших аспектов развития, как на государственном уровне, так и на уровне компаний. Инициативы по обмену опытом в этой области и выработке совместных решений должны стать главной задачей для бизнеса, законодателей, ученых и представителей государства, считают в Сбербанке.

Не использовать ИИ в контексте времени равно отказу от электричества. В Агентстве стратегических инициатив по продвижению новых проектов отмечали, что пока компетенций в этой области недостаточно, но на то искусственный интеллект и «ребенок, которого надо обучать и развивать». Развивается он очень быстро — городскую жизнь без него уже трудно представить.

 

 

 

02.04.2016

Обычно обучение нейронной сети осуществляется на некоторой выборке (обучающей выборке, совокупности прецедентов).

По мере процесса обучения, который происходит по некоторому алгоритму, сеть должна все лучше и лучше (правильнее) реагировать на входные сигналы.

Общая постановка задачи обучения по прецедентам:

• Имеется множество объектов (ситуаций) и множество возможных ответов (откликов, реакций).

• Существует некоторая зависимость между ответами и объектами, но она неизвестна.

• Известна конечная совокупность прецедентов — пар «объект, ответ», называемая обучающей выборкой.

• На основе этих данных требуется восстановить зависимость и построить алгоритм, способный для любого объекта выдать приемлемо точный ответ.

Данная постановка является обобщением классических задач аппроксимации функций, где объектами являются действительные числа или векторы.

В реальных прикладных задачах входные данные об объектах могут быть неполными, неточными, нечисловыми, разнородными.

Эти особенности приводят к большому разнообразию методов машинного обучения.

Базовые виды нейросетей (перцептрон и многослойный перцептрон) могут обучаться:

• с учителем (известны правильные ответы к каждому входному примеру, а веса подстраиваются так, чтобы минимизировать ошибку),

• без учителя (позволяет распределить образцы по категориям за счет раскрытия внутренней структуры и природы данных),

• с подкреплением (комбинируются два вышеизложенных подхода).

Некоторые нейросети и большинство статистических методов можно отнести только к одному из способов обучения. Поэтому  правильно классифицировать алгоритмы обучения нейронных сетей.

Обучение с учителем — для каждого прецедента задаётся пара «ситуация, требуемое решение»:

• Метод коррекции ошибки

• Метод обратного распространения ошибки

Обучение без учителя — для каждого прецедента задаётся только «ситуация», требуется сгруппировать объекты в кластеры, используя данные о попарном сходстве объектов, и/или понизить размерность данных:

• Альфа-система подкрепления

• Гамма-система подкрепления

• Метод ближайших соседей

Обучение с подкреплением — для каждого прецедента имеется пара «ситуация, принятое решение»:

• Генетический алгоритм.

Активное обучение — отличается тем, что обучаемый алгоритм имеет возможность самостоятельно назначать следующую исследуемую ситуацию, на которой станет известен верный ответ:

• Обучение с частичным привлечением учителя (semi-supervised learning) — для части прецедентов задается пара «ситуация, требуемое решение», а для части — только «ситуация»

• Трансдуктивное обучение (transduction) — обучение с частичным привлечением учителя, когда прогноз предполагается делать только для прецедентов из тестовой выборки

• Многозадачное обучение (multi-task learning) — одновременное обучение группе взаимосвязанных задач, для каждой из которых задаются свои пары «ситуация, требуемое решение»

• Многовариантное обучение (multiple-instance learning) — обучение, когда прецеденты могут быть объединены в группы, в каждой из которых для всех прецедентов имеется «ситуация», но только для одного из них (причем, неизвестно какого) имеется пара «ситуация, требуемое решение»

Существует большое число алгоритмов обучения, ориентированных на решение разных задач.

Самый успешный:

См. подробнее: http://ru.wikipedia.org/wiki/Метод_обратного_распространения_ошибки

Типы входных данных при обучении:

• Признаковое описание объектов — наиболее распространённый случай.

• Описание взаимоотношений между объектами, чаще всего отношения попарного сходства, выражаемые при помощи матрицы расстояний, ядер либо графа данных

• Временной ряд или сигнал.

• Изображение или видеоряд.

• Типы функционалов качества

Целью является частичная или полная автоматизация решения сложных задач в самых разных областях человеческой деятельности.

Машинное обучение имеет широкий спектр приложений:

• Распознавание речи

• Распознавание жестов

• Распознавание рукописного ввода

• Категоризация документов

• Ранжирование в информационном поиске

• Распознавание образов

• Диагностика (техническая, медицинская...)

• Биоинформатика

• Обнаружение спама

• Биржевой технический анализ и др...

Сфера применений машинного обучения постоянно расширяется по мере накопления огромных объёмов данных в науке, производстве, финансах, транспорте, здравоохранении.

Возникающие при этом задачи прогнозирования, управления и принятия решений часто сводятся к обучению по прецедентам.

Раньше, когда таких данных не было, эти задачи либо вообще не ставились, либо эффективно решались другими методами.

Обобщающая способность (generalization ability, generalization performance) - характеристика алгоритма обучения, обеспечивающая вероятность ошибки на тестовой выборке на уровне ошибки на обучающей выборке. 

Обобщающая способность тесно связана с понятиями переобучения и недообучения.

Недообучение — нежелательное явление, возникающее при решении задач обучения по прецедентам, когда алгоритм обучения не обеспечивает достаточно малой величины средней ошибки на обучающей выборке.

Недообучение возникает при использовании недостаточно сложных моделей.

Эмпирический риск - средняя ошибка алгоритма на обучающей выборке.

Компания Google объявила об очередном большом шаге в разработке искусственного интеллекта, рассказав про AutoML - новом подходе к машинному обучению, с помощью которого нейронные сети можно будет использовать для создания еще более эффективных нейронных сетей.

Сундар Пичаи (ген. директор Google) показал пример работы AutoML на конференции Google I/O 2017.

• Сегодня проектирование нейронных сетей чрезвычайно трудоемко и требует опыта, что недоступно для небольших сообществ ученых и инженеров. Вот почему мы создали подход под названием AutoML, благодаря которому нейронные сети могут создавать нейронные сети. Мы надеемся, что AutoML будет обладать способностями нескольких докторов наук и позволит через три-пять лет сотням тысяч разработчиков создавать новые нейронные сети для своих конкретных потребностей.

• Работает это так: мы берем набор кандидатов в нейронные сети, — назовем их нейронными сетями-малышами, — и многократно прогоняем через них на предмет поиска ошибок уже готовую нейронную сеть до тех пор, пока не получим еще более эффективную нейронную сеть.

См. в официальном блоге.

С помощью технологии AutoML ИИ-платформы станут быстрее обучаться и будут гораздо умнее.

Согласно Google, даже сейчас уровень AutoML уже таков, что она может быть эффективнее экспертов-людей в вопросе поиска лучших подходов для решения конкретных проблем. В перспективе это позволит существенно упростить процесс создания новых ИИ-систем, так как, по сути, их будут создавать себе же подобные.

Предполагается, что эта технология приведет к появлению новых нейронных сетей и открытию возможностей, когда даже не эксперты смогут создавать свои личные нейронные сети для своих определенных нужд. Это, в свою очередь, увеличит способность технологий машинного обучения оказывать влияние на нас всех.
См. подробнее.

1. MachineLearning.ru
   Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных.
   Более 800 статей на русском языке.

2. Машинное обучение и анализ данных
   Научный журнал

3. Как обучаются машины? (научно-популярная лекция Н.Ю. Золотых)

4. Машинное обучение (курс лекций, К.В.Воронцов)

5. Векторная модель семантики (vector space model, VSM)

Оглавление:
1 Сходство документов: матрица термин-документ
2 Сходство слов: матрица слово-контекст
3 Сходство отношений: матрица пара-модель
4 Сходство
5 Другие векторные модели
6 Лингвистическая обработка для векторной модели
6.1 Разметка текста
6.2 Нормализация текста
6.3 Комментирование
7 Математическая обработка для векторной модели
7.1 Построение частотной матрицы
7.2 Взвешивание элементов
7.3 Сглаживание матрицы
7.4 Сравнивание векторов
7.5 Машинное обучение
8 Литература

Курсы на платформе Coursera:

Из лекции Владимира Селегея - директора по лингвистическим исследованиям компании ABBYY, заведующего кафедрами компьютерной лингвистики РГГУ и МФТИ, председателя оргкомитета ведущей российской конференции по компьютерной лингвистике «Диалог»  (прочитана 9 октября 2012 г. в Лектории Политехнического музея).

• Важно, что статистическая революция открыла путь к реальному многоязычию. Но самое главное, что методы статистической оценки и машинного обучения стали использоваться и в подходах, основанных на лингвистических моделях. Появились гибридные системы, правда, направление соединения может быть разным. Можно брать статистику и добавлять в нее лингвистику. У нас другой подход: мы берем лингвистические модели и обучаем их на корпусах. Наш подход нам кажется лучшим.

• Хочу сказать несколько слов по поводу машинного обучения. Есть математические методы, которые позволяют решать, например, задачу классификации. У вас есть множество объектов интересующего вас типа, и вы хотите иметь диагностическую процедуру, позволяющую решить, относится или не относится к этому множеству новый объект. Есть несколько областей, где это обучение может быть эффективным, например, идентификация искусственно сгенерированных текстов или фильтрация спама. Все мы являемся жертвами спаммеров, причем спам часто генерируется роботами, и нужно придавать им некоторую вариативность, чтобы эти тексты распознавались как натуральные. Если вы попытаетесь решить проблему распознавания спама чисто лингвистическими методами, у вас ничего не получится. Никто из лингвистов не способен дать четкий ответ на вопрос, чем отличается натуральный текст от ненатурального.

• Гораздо более эффективен метод машинного обучения. В чем он состоит? Вы берете большое количество натуральных и ненатуральных текстов и пытаетесь с помощью математических методов определить, какие параметры, доступные вам для анализа в этих текстах, делают их натуральными или ненатуральными. К сожалению, сегодня методы машинного обучения чаще всего ориентируются на простые модели сочетаемости слов. Тем не менее, даже это дает очень эффективные результаты. То есть спам-фильтры работают хорошо.

• Неплохо работают методы определения пола автора.

• Но есть и более лингвистические задачи – например, задача референциального выбора. Пример текста про футбольную команду "Манчестер Юнайтед" – одним и тем же цветом показаны одинаковые референты, и видно, как по-разному они упоминаются в тексте. Понятно, что в языке есть некая стратегия использования референциальных выражений – в одних случаях будет использовано местоимение, в других – полная именная группа и т.д. Изучать такие вещи помогает метод машинного обучения.

• На эту тему есть отечественные работы, например, представленная в прошлом году на "Диалоге" совместная работа групп А.А. Кибрика и Н.В. Лукашевич по применению таких методов для изучения механизмов референции. Для этого нужен специально подготовленный корпус, в котором произведена уже достаточно сложная разметка, и мы пытаемся изучить, какие параметры этой разметки существенны для референциального выбора. Что здесь важно? То, что если вы изучаете референцию, вы не можете работать только с сочетаемостью – так у вас ничего не получится. Для того чтобы ваши выводы из применения машинного обучения были эффективны, у вас должны быть адекватные параметры.

• Не верьте тому, кто говорит, что с помощью машинного обучения можно получить знание из чего угодно, – это не так. Все зависит от того, какие параметры разметки представлены в обучающем корпусе. Если у вас там только последовательность символов и ничего больше – вы не сможете научиться ничему серьезному. Выбор пишущего зависит от большого количества факторов и имеет вероятностную природу.

• Выдумать из головы те факторы, которые существенны для референциального выбора, невозможно. То есть в языке присутствуют такие механизмы, изучение которых "из головы" попросту невозможно. Здесь на помощь приходит компьютерная лингвистика. Нужные факторы должны быть представлены в корпусе в виде разметки, потому что если у вас адекватный фактор попросту отсутствует, то вы не можете ничему обучиться.

• Здесь мне хотелось бы провести аналогию с компьютерной медициной. Представьте себе, что в мире существует огромное количество медицинских учреждений и очень много больных. Их лечили, есть история болезни. Представьте себе, что мы пишем обучающую программу для средств медицинской диагностики. Вполне понятная задача. Теперь представьте себе, что вы решаете ее примерно так, как это чаще всего делается в компьютерной лингвистике: берете в истории болезни только данные о температуре, давлении и цвете кожных покровов. Какой-то результат вы получите. Но вряд ли без доступа к УЗИ или сканированию сосудов вы получили бы какую-то реальную диагностику. Сейчас в компьютерной лингвистике методы машинного обучения работают «с температурой и давлением», а мы хотели бы, чтобы они работали и со всем остальным. То есть, на наш взгляд, возникает новая парадигма компьютерной лингвистики.