GPT-4, AGI и Темная Материя Сознания

Оглядываясь назад на 2022 год, ChatGPT и GPT-3
В 2023 году искусственный интеллект больше не будет прятаться за стенами офисных зданий, ИТ-системами или пользовательскими интерфейсами в приложениях. ИИ проложил себе путь в сердца и умы целых народов, включая тех, кто не интересуется технологиями.

В прошлом году модель преобразования текста в изображение OpenAI DALL-E 2 взяла интернет штурмом. За ними следуют не менее впечатляющие Midjourney и модель с открытым исходным кодом Stable Diffusion. Затем селфи LensaAI заполонили ленты социальных сетей. Но именно ChatGPT от OpenAI глубоко внедрил ИИ в коллективное сознание. Теперь любой, у кого есть подключение к Интернету, может легко получить доступ к необработанному компьютерному интеллекту высокоразвитого чат-бота и использовать его без каких-либо затрат.

ChatGPT - это доработанная версия GPT-3, которая представляет собой языковую модель общего назначения, выпущенную OpenAI в 2020 году. GPT-3 не стал коммерческим прорывом, как это сделал ChatGPT, поскольку он был выпущен только в закрытом бета-тестировании через список ожидания (я так и не получил к нему доступ). А затем он был лицензирован исключительно Microsoft. GPT-3 обучается на гораздо большем количестве данных и содержит в себе гораздо больше параметров по сравнению с ChatGPT. Все статьи в Википедии были включены в обучающий набор GPT-3, и на их долю приходилось всего около 0,5%.

Каким бы мощным и впечатляющим ни был GPT-3, он также является расистским и ужасным. Он имеет тенденцию проявлять предвзятость и дискриминацию по отношению к расе, полу и религии, изрыгать ненормативную лексику, отпускать расистские шутки, потворствовать терроризму и обвинять людей в насильничестве. По сравнению с GPT-3, ChatGPT впечатляюще хорош в обсуждении спорных тем, отказывается отвечать на неуместные подсказки и признается, когда не знает ответа на сложный вопрос.

AGI и GPT-4
ChatGPT все еще далек от AGI (Искусственный общий интеллект). Святой грааль для исследователей искусственного интеллекта. Генеральный директор OpenAI Сэм Альтман говорит, что ChatGPT даже близко не подходит.

Короче говоря, AGI знаменует момент, когда ИИ достигает уровня автономии и может превзойти людей в разных областях. Представьте себе единую модель ИИ, которая могла бы обыграть вас в шахматы, писать за вас электронные письма на работе и водить вашу машину домой. У нас есть ИИ, зависящие от конкретной предметной области, которые могли бы индивидуально преуспеть в каждой из задач, но нет одного суперинтеллекта, который мог бы управлять ими всеми по своему усмотрению. До AGI еще далеко. Или это так?

Летом 2022 года общественные дебаты по AGI набрали обороты после того, как Washington Post сообщила, что инженер Google Блейк Лемуан считает, что чат-бот LaMDA от Google ожил. Google ответил, что нет никаких доказательств утверждений Лемуана, и вскоре после этого уволил его. Но судите сами, вот его беседы с ней.

Говоря об AGI, GPT-4, по слухам, будет выпущен весной 2023 года. Пока ничего существенного об этом не сообщается, но ожидания высоки. Тем немногим людям, которые пробовали это, не разрешается говорить об этом из-за NDA, но якобы это должен быть такой же захватывающий скачок, как GPT-3.

(Человек) Автор ИИ, Гэри Маркус, уверен, что умы будут взорваны, когда GPT-4 наконец выйдет, и он будет больше и лучше, чем любая из впечатляющих вещей, которые мы видели в OpenAI до сих пор. Однако Маркус предсказывает, что GPT-4 по-прежнему будет страдать от некоторых из тех же ошибок, что и GPT-3, потому что он, по сути, построен на той же архитектуре. Маркус предсказывает, например, что GPT-4 по-прежнему будет совершать “глупые ошибки, вызывающие недоумение”, смешивать правду с ложью, галлюцинировать, не заслуживать доверия и быть ненадежным.

Вероятно, мы можем ожидать, что GPT-4 станет лучшим в мире “издевателем”. Способен имитировать человеческую мысль почти в совершенстве. Тем не менее, ему все еще не хватает здравого смысла. “Темная материя интеллекта”, как ее описал ученый-компьютерщик Еджин Чой:

Можно описать это так: здравый смысл - это темная материя разума. Нормальная материя - это то, что мы видим, с чем мы можем взаимодействовать. Долгое время мы думали, что это то, что существует в физическом мире — и только это. Оказывается, это всего лишь 5 процентов Вселенной (..) Это невысказанное, неявное знание, которое есть у вас и у меня. Это настолько очевидно, что мы часто не говорим об этом. Например, сколько глаз у лошади? Два. Мы не говорим об этом, но все это знают.

“Здравый смысл” вырабатывается у людей телесным опытом, например, мы не кладем руки на горячую плиту, потому что знаем, что это будет больно. ИИ “по своей природе” не способны сложить два и два таким образом, просто потому, что они не могут воспринимать мир так, как мы. Поэтому мы можем ожидать, что GPT-4 будет впечатляющим, но не автономным или разумным, не монстром Франкенштейна или ракетным кораблем, а отличным источником развлечений и удивления.

01.01.2023
GPT-4, AGI & Dark Matter of Consiousness

https://medium.datadriveninvestor.com/gpt-4-agi-dark-matter-of-consciousness-42734fa4da3b

ый смысл” вырабатывается у людей телесным опытом, например, мы не кладем руки на горячую плиту, потому что знаем, что это будет больно. ИИ “по своей природе” не способны сложить два и два таким образом, просто потому, чт

10 AI Predictions For 2023
20 декабря 2022 года
https://www.forbes.com/sites/robtoews/2022/12/20/10-ai-predictions-for-2023/?sh=18ecd086fab7


1) GPT-4 будет выпущен в ближайшие пару месяцев — и да, это будет большое дело.
В последнее время ходят слухи о GPT-4, следующем поколении мощной генеративной языковой модели OpenAI.

Ожидайте, что GPT-4 будет выпущен в начале нового года и будет представлять собой резкое повышение производительности по сравнению с GPT-3 и 3.5. Какой бы безумной ни была недавняя шумиха вокруг ChatGPT, это будет всего лишь прелюдией к реакции общественности на выпуск GPT-4. Пристегнитесь.

Каким будет GPT-4? Возможно, вопреки здравому смыслу, мы прогнозируем, что он будет ненамного больше своего предшественника GPT-3. Во влиятельной исследовательской работе, опубликованной ранее в этом году, исследователи DeepMind определили, что современные большие языковые модели на самом деле больше, чем должны быть; для оптимальной производительности модели (при ограниченном бюджете вычислений) сегодняшние модели должны иметь меньше параметров, но обучаться на больших наборах данных. Другими словами, обучающие данные превосходят размер модели.

ПОВЫШЕН В ДОЛЖНОСТИ




Большинство ведущих современных языковых моделей были обучены на массивах данных объемом около 300 миллиардов токенов, включая GPT-3 от OpenAI (размер 175 миллиардов параметров), Jurassic от AI21 Labs (размер 178 миллиардов параметров) и Megatron-Turing от Microsoft / Nvidia (размер 570 миллиардов параметров).).


Мы прогнозируем, что GPT-4 будет обучаться на наборе данных, по крайней мере, на порядок большем, чем этот, — возможно, до 10 триллионов токенов. Между тем, он будет меньше (т.Е. Меньше параметров), чем Мегатрон-Тьюринг.

ПОДРОБНЕЕ ОТ СОВЕТНИКА FORBES
Лучшие компании по страхованию путешествий
Автор:Эми ДэнисРедактор
Лучшие планы страхования путешествий от Covid-19
Автор:Эми ДэнисРедактор
Возможно, что GPT-4 будет мультимодальным: то есть он сможет работать с изображениями, видео и другими модальностями данных в дополнение к тексту. Это означало бы, например, что он может принимать текстовую подсказку в качестве входных данных и создавать изображение (как это делает DALL-E); или принимать видео в качестве входных данных и отвечать на вопросы об этом с помощью текста.

Мультимодальный GPT-4 стал бы сенсацией. Однако более вероятно, что GPT-4 будет текстовой моделью (как и предыдущие модели GPT), производительность которой в языковых задачах переопределит современное состояние. Как конкретно это будет выглядеть? Две языковые области, в которых GPT-4 может продемонстрировать поразительные скачки производительности, - это память (способность сохранять и ссылаться на информацию из предыдущих разговоров) и обобщение (способность разбивать большой объем текста на его основные элементы).Однако более вероятно, что GPT-4 будет текстовой моделью (как и предыдущие модели GPT), производительность которой в языковых задачах переопределит современное состояние. Как конкретно это будет выглядеть? Две языковые области, в которых GPT-4 может продемонстрировать поразительные скачки производительности, - это память (способность сохранять и ссылаться на информацию из предыдущих разговоров) и обобщение (способность разбивать большой объем текста на его основные элементы)

.
 

Training Compute-Optimal Large Language Models
arXiv:2203.15556v1 [cs.CL] 29 Mar 2022
https://arxiv.org/pdf/2203.15556.pdf

Во влиятельной исследовательской работе, опубликованной ранее в этом году, исследователи DeepMind определили, что современные большие языковые модели на самом деле больше, чем должны быть; для оптимальной производительности модели (при ограниченном бюджете вычислений) сегодняшние модели должны иметь меньше параметров, но обучаться на больших наборах данных. Другими словами, обучающие данные превосходят размер модели.

.
 

и.

.
 

https://ru.wikipedia.org/wiki/Маркус,_Гэри

Перезагрузка искусственного интеллекта
https://habr.com/ru/post/591759/
Ключевые идеи книги «Искусственный интеллект: перезагрузка» Гэри Маркуса и Эрнеста Дэвиса, ученых, которые специализируются на искусственном интеллекте.

Несовершенный человек. Случайность эволюции мозга и ее последствия (2011)
http://flibusta.is/b/371331
 

Клудж. Случайное устройство человеческого мозга, и как это сделало нас теми, кто мы есть (2021)
http://flibusta.is/b/624952

• Там, где Шекспир воображал беспредельный разум, я вижу и кое-что другое, инженеры называют это клуджем.

• Клудж – это нелепое, неуклюжее, но удивительно эффективное решение проблемы.

• Посмотрим, например, что случилось в апреле 1970 года, когда на уже и так находящемся в опасности космическом корабле «Аполлон-13» начали отказывать фильтры СO2. Способа доставить команде фильтр для замены не было: челночный космический аппарат тогда еще не изобрели. Возможности вернуть космическое судно домой тоже не существовало. Без фильтра команда была обречена. Инженер центра управления полетом Эд Смайл, консультировавший команду, сказал: «Вот все, что доступно на корабле. Придумайте что-нибудь». К счастью, наземная команда достойно приняла вызов и оперативно изобрела нечто наподобие фильтра из пластикового пакета, картонной коробки, клейкой ленты и носка. Жизнь трех астронавтов была спасена. Как вспоминал позже один из них, Джим Ловелл: «Приспособление не блистало красотой, но оно работало».

• Далеко не всякий клудж призван спасать жизни. Иногда их изобретают из спортивного интереса, скажем, чтобы продемонстрировать возможность создания компьютера из игрушечных конструкторов, а бывает, что инженеры просто ленятся сделать что-то как следует.

kludge
От шотл. kludgie «общественный туалет».

• устройство, программа или часть программы, которые теоретически не должны работать, но почему-то работают

• нелепая и неуклюжая конструкция, собранная «на коленке», нелепая, но невероятно полезная

 Чтобы описать человека Маркус использует слово «клудж». Понятие клуджа проливает свет на важные стороны нашей жизни и объясняет множество проблем, с которыми мы сталкиваемся.

Зная, что наш разум представляет собой клудж, мы можем найти способы нейтрализовать свои недостатки и подчеркнуть достоинства.

и.

.