Превосходный ответ на подсказки (промпты)
ChatGPT 4 повысил свою креативность на несколько ступеней, отвечая на
промпты пользователей. ChatGPT 3 хорошо понимал контекст в зависимости
от того, как вы задали промпт, но ChatGPT 4 может лучше понимать
контекст, читать между строк и понимать нюансы. ChatGPT 4 лучше подходит
для ответов на промпты, которые требуют более сложного и глубокого
понимания.
Midjourney AI Guide
https://enchanting-trader-463.notion.site/Midjourney-AI-Guide-41eca43809dd4d8fa676e648436fc29c
Prompt Database
# New Prompts
[Photography styles](https://www.notion.so/Photography-styles-4dea8710dba140169292000ce772b2c4)
[Camera Angels](https://www.notion.so/Camera-Angels-116cf46c555f479d81bae99feaaf01a9)
[Color Grading](https://www.notion.so/Color-Grading-85ea92f60a5f4708b0ce1ed35c8fc82d)
[Lighting](https://www.notion.so/Lighting-39afdd68bbd548dc9ce490561ea9872a)
[Location](https://www.notion.so/Location-ff50510f61e3408fbdd8607680a60704)
[Film Looks](https://www.notion.so/Film-Looks-35ef7e706b4142c785de08ea833c923c)
[Mood](https://www.notion.so/Mood-0dd7201971534d31bd71817cecb718bc)
[Artist style](https://www.notion.so/Artist-style-1d97960379fd49859e25cc19a44ce6f6)
[Chaos in your prompts](https://www.notion.so/Chaos-in-your-prompts-bbb0dfeda6314cd0a56d1c6d107801e8)
**Recommendations:**
[Prompt Database](https://www.notion.so/Prompt-Database-0745ecf6b3a646c095cd0261957c97a4)
[Midjourney Resources](https://www.notion.so/Midjourney-Resources-6bf2052fd25f4e58ad2288d49c632e2e)
[Midjourney AI Guide](https://www.notion.so/Midjourney-AI-Guide-41eca43809dd4d8fa676e648436fc29c)
Эффективное и результативное взаимодействие с современными
LLM
требует особых языковых и коммуникативных технологий, одной из которых
является
Prompting
Prompting
- использование подсказок (вербальных формул, используемых в диалоге с
языковой моделью в целях увеличения вероятности продуцирования ей правильных
реакций.
Используя верные подсказки можно эффективно управлять
чат-ботом и получать персонализированные ответы, раскрывая весь доступный
пользователю потенциал LLM-сервисов (и часть не
совсем доступного в прямом диалоге).
Важность подбора идеальных подсказок настолько велика, что
компании уже нанимают специалистов, умеющих эффективно общаться с чат-ботами,
и на рынке появилась новая (и высокооплачиваемая) должность -
AI prompt engineer jobs ($335,000 a year) +
and dont require a background in tech
Примеры подсказок:
-
Задание 1: Просто и
понятно
Подсказка: Привет, ChatGPT. Я хочу
узнать о (вставьте тему). Объясни
(вставьте тему) простыми словами, как
будто мне 11 лет.
-
Задание 2: Бесплатная
консультация
Предложение: Я представлю вам свой
аргумент или мнение. Я хочу, чтобы вы
раскритиковали его, как если бы вы были
<человеком>
-
Задание 3:
Симуляция собеседования
Задание: Смоделируйте собеседование для
(укажите конкретную роль). Контекст: Я
ищу <> а вы -
интервьюер. Вы будете задавать мне
соответствующие вопросы, как будто мы
проходим собеседование. Я буду отвечать.
Задавайте следующий вопрос только после
того, как я отвечу.
-
Задание 4:
Взять LLM в
соавторы
Задание: [Вставить текст].
Напишите о (вставьте тему текста) так,
как написал бы вышеупомянутый автор.
-
Задание 5:
Самообразование
Задание: [познакомьтесь самостоятельно]:
Learn
Prompting
https://learnprompting.org/
Бесплатный курс по общению с искусственным интеллектом
Prompt engineering
https://en.wikipedia.org/wiki/Prompt_engineering
https://de.wikipedia.org/wiki/Prompt_Engineering
нет статей в
русском и белорусском разделах (
Impromptu:
Amplifying our Humanity through AI
https://www.impromptubook.com/wp-content/uploads/2023/03/impromptu-rh.pdf
Первая книга, написанная с использованием GPT-4
A database of prompts for GPT
http://gptcraft.tech/
База подсказок для GPT + конструктор форм пользовательских
подсказок ++
Opera добавила в браузер функцию умных подсказок AI Prompts на
основе ChatGPT и ChatSonic.
https://blogs.opera.com/desktop/2023/03/opera-ai-tools/
Войдя в учетную запись (и
авторизовавшись в
ChatGPT и ChatSonic)
выделить текст и выбрать prompt: «Сократи», «Перепиши»,
«Объясни».
LMQL: Язык запросов для
программирования LLM
Усиливайте свои подсказки с
помощью ...
Supercharge your prompting with
...
https://lmql.ai/
17
промтов, чтобы
сгенерить синего котенка в MJ
Promptman
- помощник для разработки
подсказок
....
ChatGPT: Стань эффективней с
помощью обратной разработки
промтов
https://vc.ru/u/1280784-iivolyuciya/642246-chatgpt-stan-effektivney-s-pomoshchyu-obratnoy-razrabotki-promtovфч
Что такое обратная разработка
промтов?
Обратная разработка промтов —
это интересный процесс в области
взаимодействия с большими
языковыми моделями, такими как
ChatGPT и Bard. По сути, всё
дело в том что бы взять нужный
текст, загрузить в языковую
модель и выстроить промт,
который вероятнее всего
порождает этот текст.
Я написал бесплатный материал по
нейросетям
Рассказал про промт-инжиниринг
на примере GhatGPT, объяснил,
как грамотно использовать
нейронки и получать от них
пользу в работе. Будет полезно и
для Bing, и для Bard (если он
вдруг выйдет), и даже для
Midjourney.
https://vc.ru/tribuna/620937-ya-napisal-besplatnyy-material-po-neyrosetyam
Новая нейросеть SAM, которая
меняет правила игры в
компьютерном зрении
https://habr.com/ru/articles/727828/
SAM — это промптабельная система
сегментации, которая может
принимать разные виды запросов (текст,
точки, рамки) и генерировать
несколько вариантов масок для
неоднозначных запросов.
Использование подсказок
(Prompting)
CLIP Interrogator
Создайте promt непосредственно
из ваших изображений. Вставьте
свое изображение и получите из
него приблизительное описание /
подсказку для использования в
любой модели text2image для
создания похожих изображений
https://huggingface.co/spaces/pharma/CLIP-Interrogator
https://cloud.lambdalabs.com/demos/ml/CLIP-Interrogator
Я написал бесплатный материал по
нейросетям
Рассказал про промт-инжиниринг
на примере GhatGPT, объяснил,
как грамотно использовать
нейронки и получать от них
пользу в работе. Будет полезно и
для Bing, и для Bard (если он
вдруг выйдет), и даже для
Midjourney.
https://vc.ru/tribuna/620937-ya-napisal-besplatnyy-material-po-neyrosetyam
Научитесь искусству подсказывать
Полная коллекция подсказок
Более [1500] подсказок и подсчет
голосов…
Learn The Art of Prompting
Ultimate Collection of Prompts
Over [1500] Prompts and
Counting…
https://www.learnprompt.org/
https://www.learnprompt.org/
https://www.learnprompt.org/
глаголы для
подсказок
тон голоса для
подсказок
Пиши как профессионал: более 50
вдохновляющих стилей написания
для подсказок GPT в чате
https://www.learnprompt.org/writing-styles-for-chat-gpt-prompts/
Письмо - это мощный инструмент,
который может выражать эмоции,
мысли и идеи таким образом,
чтобы увлечь и заинтересовать
читателя. С появлением чат-ботов
и языковых моделей
искусственного интеллекта писать
и создавать высококачественный
контент в разных стилях стало
проще, чем когда-либо.
В этом посте мы представляем
более 50 самых полезных стилей
написания, которые вы можете
добавить в свои подсказки
ChatGPT, чтобы создавать
полезные, уникальные и
привлекательные статьи. От
классических до современных
стилей, мы предлагаем вам целый
ряд стилей написания, с которыми
вы можете экспериментировать и
совершенствовать свое мастерство.
Являетесь ли вы писателем,
блоггером или создателем
контента, этот пост обязательно
прочтет каждый, кто хочет
поднять свой текст на новый
уровень.
Подсказки ChatGPT для учителей:
раскрытие потенциала
искусственного интеллекта в
образовании
https://www.learnprompt.org/chat-gpt-prompts-for-teachers/
Paul Denny, Viraj Kumar,
Nasser Giacaman
Conversing with Copilot: Exploring Prompt Engineering for Solving CS1
Problems Using Natural Language
SIGCSE 2023: Proceedings of the 54th ACM Technical Symposium on Computer
Science Education V. 1March 2023 Pages 1136–1142
https://doi.org/10.1145/3545945.3569823
Беседа со вторым пилотом: изучение оперативной разработки для решения
задач CS1 с использованием естественного языка
GitHub Copilot - это инструмент искусственного интеллекта для
автоматической генерации исходного кода из описаний задач на
естественном языке. С июня 2022 года Copilot официально доступен
бесплатно для всех студентов в качестве подключаемого модуля к средам
разработки, таким как Visual Studio Code. Предыдущая работа по изучению
OpenAI Codex, базовой модели, которая обеспечивает второго пилота,
показала, что она хорошо справляется с типичными задачами CS1, что
вызывает опасения по поводу ее потенциального влияния на то, как
преподаются вводные курсы программирования. Однако мало что известно о
типах задач, с которыми второй пилот справляется плохо, или о
взаимодействии на естественном языке, которое студент может иметь со
вторым пилотом при устранении ошибок. Мы исследуем эти вопросы, оценивая
производительность второго пилота на общедоступном наборе данных из 166
задач программирования. Мы обнаружили, что он успешно решает около
половины этих проблем с самой первой попытки и что он решает 60%
оставшихся проблем, используя только изменения в описании проблемы на
естественном языке. Мы утверждаем, что этот тип быстрой инженерии,
который, по нашему мнению, станет стандартным взаимодействием между
человеком и вторым пилотом, когда он изначально терпит неудачу, является
потенциально полезной учебной деятельностью, которая способствует
развитию навыков вычислительного мышления и, вероятно, изменит характер
развития навыков написания кода.
Похоже, что генеративные языковые модели радикально изменят способ
преподавания компьютерных курсов и то, как студенты учатся
программировать. Однако такие модели очень чувствительны к подсказкам
при вводе, и способность создавать эффективные подсказки, которые
генерируют правильные решения, станет важным навыком взаимодействия для
студентов в будущем. Мы представляем первое исследование эффективности
быстрой разработки для второго пилота в контексте вводного
программирования. Примерно половина проблем была решена с использованием
оригинальных описаний проблем дословно, и более половины оставшихся
проблем были решены путем разработки подсказок, содержащих явные
алгоритмические подсказки, что было эффективно практически для всех
категорий проблем. Мы видим педагогическую ценность в этих
взаимодействиях со вторым пилотом, поскольку учащимся необходимо
подумать о сбоях кода и перевести абстрактные концепции, содержащиеся в
описаниях задач, в конкретные вычислительные объекты и шаги, а затем
выразить их на естественном языке.
Albert Webson, Alyssa Marie Loo, Qinan Yu, Ellie Pavlick
Are Language Models Worse than Humans at Following Prompts? It's
Complicated
Preprint: arXiv:2301.07085 [Computation and Language] 17 Jan 2023
https://arxiv.org/pdf/2301.07085.pdf
Языковые модели хуже людей справляются с подсказками? Это сложно
Альберт Вебсон, Алисса Мари Лу, Цинань Ю, Элли Павлик
Подсказки были центром прогресса в продвижении языковых моделей с
нулевым результатом и с несколькими результатами. Однако недавняя работа
показывает, что модели могут работать на удивление хорошо, когда им
задают намеренно нерелевантные или вводящие в заблуждение подсказки.
Такие результаты могут быть истолкованы как свидетельство того, что
поведение модели не "похоже на человеческое". В этом исследовании мы
оспариваем центральное предположение в такой работе: что люди будут
выполнять плохо, когда им будут даны патологические инструкции. Мы
обнаружили, что люди способны надежно игнорировать нерелевантные
инструкции и, таким образом, подобно моделям, хорошо справляются с
основной задачей, несмотря на очевидное отсутствие сигнала относительно
задачи, которую их просят выполнить. Однако, когда даются намеренно
вводящие в заблуждение инструкции, люди точно следуют инструкциям, в то
время как модели этого не делают. Таким образом, наш вывод неоднозначен
в отношении предыдущей работы. Мы выступаем против предыдущего
утверждения о том, что высокая производительность с нерелевантными
подсказками свидетельствует против понимания инструкций моделями, но мы
усиливаем утверждение о том, что неспособность моделей следовать
вводящим в заблуждение инструкциям вызывает опасения. В более широком
смысле, мы предупреждаем, что будущие исследования не должны
идеализировать человеческое поведение как монолитное и не должны обучать
или оценивать модели, имитирующие предположения об этом поведении, без
предварительной проверки поведения людей эмпирически.
Темы: Вычисления и язык (cs.CL); Искусственный интеллект (cs.AI)
Цитировать как: arXiv: 2301.07085 [cs.CL ]
(или arXiv: 2301.07085v1 [cs.CL ] для этой версии)
Koala: модель диалога для академических исследований
https://bair.berkeley.edu/blog/2023/04/03/koala/
Физика интеллекта
Этот недостающий дискурс об ИИ
https://studio.ribbonfarm.com/p/the-physics-of-intelligence
Нам нужно, чтобы больше людей думали об ИИ таким образом, потому что, на
мой взгляд, в ИИ отсутствует дискурс в стиле физики.
Есть сильные философские и инженерные дискурсы, но нет физического
дискурса.
Это проблема, потому что, когда инженеры формулируют философские вопросы
в инженерных рамках без сдерживающего влияния физических рамок, вы
получаете чушь. Вот почему область находится под контролем сумасшедших и
все больше подвергается риску полного теократического захвата
священниками, как я утверждал на прошлой неделе. Сумасшедшие священники
- это то, что вы получаете, когда не хватает физиков, выступающих
посредниками между философами и инженерами. Я буду оспаривать этот
момент в будущем информационном бюллетене, но вот Нам нужно, чтобы
больше людей думали об ИИ таким образом, потому что, на мой взгляд, в ИИ
отсутствует дискурс в стиле физики. Есть сильные философские и
инженерные дискурсы, но нет физического дискурса.
Это проблема, потому что, когда инженеры формулируют философские вопросы
в инженерных рамках без сдерживающего влияния физических рамок, вы
получаете чушь.
Вот почему область находится под контролем сумасшедших и все больше
подвергается риску полного захвата поклонниками того или иного
карго-культа.
Карго-культ - это то, что вы получаете, когда не хватает лингвистов,
выступающих посредниками между философами и инженерами.
Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi and
Graham Neubig
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods
in Natural Language Processing
ACM Computing SurveysVolume 55Issue 9Article No.: 195pp 1–35
16 January 2023
https://dl.acm.org/doi/pdf/10.1145/3560815.pdf
В этой статье рассматриваются и организуются исследовательские работы в
новой парадигме обработки естественного языка, которую мы называем
“обучение на основе подсказок”. В отличие от традиционного
контролируемого обучения, которое обучает модель принимать входные
данные x и прогнозировать выходные данные y как P(y | x), обучение на
основе подсказок основано на языковых моделях, которые моделируют
вероятность текста напрямую. Чтобы использовать эти модели для
выполнения задач прогнозирования, исходный ввод x модифицируется с
помощью шаблона в подсказку текстовой строки x', который имеет несколько
незаполненных слотов, а затем языковая модель используется для
вероятностного заполнения незаполненной информации для получения
конечной строки x, из которой может быть получен конечный результат y.
Эта платформа является мощной и привлекательной по ряду причин: она
позволяет предварительно обучать языковую модель огромным объемам
необработанного текста, а благодаря определению новой функции запроса
модель способна выполнять обучение с небольшим количеством или даже с
нулевым результатом, адаптируясь к новым сценариям с небольшим
количеством помеченных данных или вообще без них. В этой статье мы
представляем основы этой многообещающей парадигмы, описываем
унифицированный набор математических обозначений, которые могут
охватывать широкий спектр существующей работы, и организуем существующую
работу по нескольким измерениям, например, выбор предварительно
подготовленных языковых моделей, запросов и стратегий настройки. Чтобы
сделать эту область более доступной для заинтересованных новичков, мы не
только проводим систематический обзор существующих работ и
высокоструктурированную типологию концепций, основанных на подсказках,
но также выпускаем другие ресурсы, например, веб-сайт NLPedia–Pretrain
включая постоянно обновляемый обзор и список документов.
Пропустить 1 Раздел "ДВА МОРЯ ИЗМЕНЕНИЙ В ОБРАБОТКЕ ЕСТЕСТВЕННОГО ЯЗЫКА"
1 ДВА ОСНОВНЫХ ИЗМЕНЕНИЯ В ОБРАБОТКЕ ЕСТЕСТВЕННОГО ЯЗЫКА
Полностью контролируемое обучение, когда модель, специфичная для
конкретной задачи, обучается исключительно на наборе данных примеров
ввода-вывода для целевой задачи, долгое время играла центральную роль во
многих задачах машинного обучения [60], и обработка естественного языка
(NLP) не была исключением. Поскольку таких наборов данных с ручными
комментариями всегда недостаточно для изучения высококачественных
моделей, ранние модели NLP в значительной степени опирались на
разработку функций (таблица 1(a); например, Guyon et al. [39], Lafferty
et al. [63], Och et al. [92], Zhang и Nivre [150]), где исследователи
или инженеры NLP использовали свои знания в предметной области для
определения и извлечения существенных признаков из необработанных данных
и предоставления моделей с соответствующим индуктивным уклоном для
изучения этих ограниченных данных. С появлением моделей нейронных сетей
для NLP основные функции изучались совместно с обучением самой модели
[6, 16], и, следовательно, фокус сместился на архитектурную инженерию,
где индуктивное смещение скорее обеспечивалось за счет разработки
подходящей сетевой архитектуры, способствующей изучению таких функций (таблица
1 (b); например, Bahdanau et al. [4], Чанг и др. [15], Хохрайтер и
Шмидхубер [44], Калчбреннер и др. [54], Ким [57], Васвани и др. [137]).1
Таблица 1.
Таблица 1. Четыре парадигмы в НЛП
Однако с 2017 по 2019 год произошли кардинальные изменения в изучении
моделей NLP, и эта полностью контролируемая парадигма в настоящее время
играет все меньшую роль. В частности, стандарт перешел к парадигме
предварительной подготовки и точной настройки (таблица 1(c); например,
Донг и др. [22], Льюис и др. [69], Питерс и др. [97], Рэдфорд и др.
[104], Ян и др. [143]). В этой парадигме модель с фиксированной
архитектурой 2 предварительно обучается как языковая модель (LM),3
предсказывающая вероятность наблюдаемых текстовых данных. Поскольку
необработанные текстовые данные, необходимые для обучения LMS, доступны
в изобилии, эти фильмы можно обучать на больших наборах данных, в
процессе изучения надежных функций общего назначения языка, который он
моделирует. Вышеупомянутый предварительно обученный LM затем будет
адаптирован к различным последующим задачам путем введения
дополнительных параметров и точной настройки их с использованием целевых
функций, специфичных для конкретной задачи. В рамках этой парадигмы
основное внимание уделялось объективной инженерии, разработке целей
обучения, используемых как на этапах предварительной подготовки, так и
на этапах точной настройки. Например, Чжан и др. [148] показывают, что
введение функции потерь для прогнозирования характерных предложений из
документа приведет к улучшению предварительно подготовленного LM для
суммирования текста. Примечательно, что основная часть предварительно
подготовленного LM обычно (но не всегда; Peters et al. [98]) также
настроена так, чтобы сделать его более подходящим для решения
последующей задачи.
Теперь, на момент написания этой статьи в 2021 году, мы находимся в
середине второго изменения sea, в котором процедура “предварительной
подготовки, точной настройки” заменяется процедурой, в которой мы
дублируем “предварительную подготовку, запрос и прогноз”. В этой
парадигме вместо адаптации предварительно подготовленных LMS к
последующим задачам с помощью objective engineering, последующие задачи
переформулируются, чтобы больше походить на те, которые были решены во
время первоначального обучения LM с помощью текстовой подсказки.
Например, при распознавании эмоции в посте в социальных сетях: “Я
сегодня опоздал на автобус”, мы можем продолжить подсказкой “Я так
чувствовал ” и попросить фильм заполнить пробел словом, несущим эмоцию.
Или, если мы выберем подсказку “Английский: я сегодня опоздал на автобус.
Французский: ”), тогда LM сможет заполнить пробел переводом на
французский. Таким образом, выбирая соответствующие запросы, мы можем
манипулировать поведением модели, чтобы сам предварительно обученный LM
можно было использовать для прогнозирования желаемого результата, иногда
даже без какого-либо дополнительного обучения для конкретной задачи (таблица
1 (d); e.г., Браун и др. [9], Петрони и др. [100], Рэдфорд и др. [105],
Шик и Шютце [120]). Преимущество этого метода заключается в том, что при
наличии набора соответствующих подсказок один LM, обученный совершенно
неконтролируемым образом, может быть использован для решения большого
количества задач [9, 131]. Однако, как и в случае с большинством
концептуально заманчивых перспектив, есть загвоздка — этот метод вводит
необходимость в быстрое проектирование, нахождение наиболее подходящей
подсказки, позволяющей LM решить поставленную задачу.
Z. Shao, Y.Gong, Y. Shen, M. Huang, N. Duan, W. Chen
Synthetic Prompting: Generating Chain-of-Thought Demonstrations for
Large Language Models
Preprint: arXiv:2302.00618 [Computation and Language] 1 Feb 2023
https://arxiv.org/pdf/2302.00618.pdf
Большие языковые модели могут выполнять различные задачи рассуждения с
помощью цепочки подсказок, которые помогают им находить ответы с помощью
пошаговых демонстраций. Однако качество подсказок зависит от
демонстраций, предоставляемых моделям, и создание многих из них вручную
является дорогостоящим. Мы представляем синтетическое побуждение, метод,
который использует несколько примеров ручной работы, чтобы побудить
модель самостоятельно генерировать больше примеров, и выбирает
эффективные демонстрации, чтобы вызвать лучшее рассуждение. Наш метод
чередует обратный и прямой процессы для генерации новых примеров.
Обратный процесс генерирует вопрос, который соответствует выбранной
цепочке рассуждений, так что вопрос является разрешимым и ясным. Процесс
форварда создает более подробную цепочку рассуждений для вопроса,
улучшая качество примера. Мы оцениваем наш метод в задачах числового,
символического и алгоритмического мышления и показываем, что он
превосходит существующие методы побуждения.
Biao Zhang, Barry Haddow, Alexandra Birch
Prompting Large Language Model for Machine Translation: A Case Study
Preprint: arXiv:2301.07069 [Computation and Language] 18 Jan 2023
https://arxiv.org/pdf/2301.07069.pdf
Исследование подсказок показало отличную производительность при
минимальном обучении или вообще без него во многих задачах. Однако
подсказка для машинного перевода все еще недостаточно изучена в
литературе. Мы восполняем этот пробел, предлагая систематическое
исследование стратегий подсказок для перевода, изучая различные факторы
для выбора шаблона подсказки и демонстрационного примера. Далее мы
изучаем использование одноязычных данных и возможность межъязыкового,
междоменного обучения и перевода предложений в документ при подсказке.
Обширные эксперименты с GLM-130B (Zeng et al., 2022) поскольку
испытательный стенд показывает, что 1) количество и качество примеров
подсказок имеют значение, когда использование неоптимальных примеров
ухудшает перевод; 2) некоторые особенности примеров подсказок, такие как
семантическое сходство, демонстрируют значительную корреляцию Спирмена с
их эффективностью подсказок; однако ни одна из корреляций не является
достаточно сильной; 3) использование псевдопараллельных примеров
подсказок, построенных на основе одноязычных данных с помощью подсказок
с нулевым результатом, может улучшить перевод; и 4) повышение
производительности достигается путем передачи знаний из подсказок
примеры, выбранные в других настройках. Наконец, мы приводим анализ
выходных данных модели и обсуждаем несколько проблем, от которых
по-прежнему страдает подсказка.
Wenxuan Zhou, Sheng Zhang, Hoifung Poon, Muhao Chen
Context-faithful Prompting for Large Language Models
Preprint: arXiv:2303.11315 [Computation and Language] 20 Mar 2023
https://arxiv.org/pdf/2303.11315.pdf
Большие языковые модели (LLM) кодируют параметрические знания о фактах
мира и показали замечательную производительность в задачах NLP,
основанных на знаниях. Однако их зависимость от параметрических знаний
может привести к тому, что они упустят контекстуальные сигналы, что
приведет к неправильным прогнозам в контекстно-зависимых задачах НЛП (например,
задачах приобретения знаний). В этой статье мы стремимся оценить и
повысить контекстуальную достоверность LLM в двух аспектах: конфликт
знаний и прогнозирование с воздержанием. Мы демонстрируем, что точность
LLM может быть значительно улучшена с помощью тщательно разработанных
стратегий подсказывания. В частности, мы определяем основанные на мнении
подсказки и контрфактуальные демонстрации как наиболее эффективные
методы. Основанные на мнениях подсказки переосмысливают контекст как
утверждение рассказчика и запрашивают мнения рассказчика, в то время как
контрфактуальные демонстрации используют примеры, содержащие ложные
факты, для повышения достоверности в ситуациях конфликта знаний. Ни один
из методов не требует дополнительного обучения. Мы проводим эксперименты
с тремя наборами данных по двум стандартным задачам NLP, машинному
пониманию прочитанного и извлечению отношений, и результаты
демонстрируют значительное улучшение точности контекстов.
Предположим, человек
сконструировал искусственный интеллект. Как мы об этом узнаем?
https://habr.com/ru/articles/727904/
И что в итоге?
Исключительно научный (в смысле формы познания) подход к искусственному
интеллекту ограничен.
Как и к интеллекту... и к сознанию...
Но! Важно понимать языковые основы нашего понимания...
Лингвистический поворот — явление в философии XX века, связанное с
переосмыслением понятия и роли языка, а также одноимённая антология (англ.
'Linguistic turn: Recent Essays in Philosophical Method') под редакцией
Ричарда Рорти, изданная в 1967 году
Первый этап лингвистического поворота приходится на 1920-е годы и связан с
попыткой реформировать язык или улучшить его путём устранения путаницы с
целью решения философских проблем — идеи «Логико-философского трактата»
Витгенштейна, феноменология Гуссерля, фундаментальная онтология Хайдеггера,
неопозитивизм
Второй этап лингвистического поворота (1940-е — 1950-е годы) лингвистическая
философия, концентрируется на контекстах и предпосылках высказываний, на
структурах языка отдельно от связи с субъектом...
Филосо́фия языка́ — выявляющая основополагающую роль языка и речи в познании
и структурах сознания и знания
Как мы внедрили GPT-4 в несколько сфер компании и научили его отвечать на
специфичные вопросы
https://habr.com/ru/articles/727780/
Переводы с контекстом
Раньше для переводов мы использовали аутсорс переводчиков и системы
краудтранслейтинга, где множество неизвестных людей в специальном онлайн
сервисе накидывалось на куски текстов и переводили это за большие деньги и с
кучей ошибок (после переводов данные проверяюстся мед экспертами -
носителями языков).
А потом появился chatGPT, поразивший меня своими возможностями. Он сходу
умеет переводить тексты лучше существовавших до него специализированных
нейросетей - переводчиков, и, в отличие от них, способен еще и учитывать
контекст.
Я сразу купил API и сделал телеграм бота для предварительного тестирования
(API OpenAI в России пока работает без VPN). Результаты превзошли все
ожидания. Мы использовали бота не только для переводов, но и для
придумывания новых текстов вроде имен пациентов и их ответов на некоторые
вопросы.
Следующим шагом мы встроили интерфейс нейронки в наш веб сервис и теперь
можем нажатием одной кнопки перевести все десятки тысяч строк текста на 8
языков.
Конечно, задача переводов текстов для медицинских симуляторов очень
ответственная. Мы не хотим, чтобы запись в виртуальную карту пациента из "неоформленный
стул" превратилась в "undecorated chair", поэтому для каждого типа данных мы
указываем контекст. Для диалогов, например, в начало каждого запроса
добавляется текст:
"Переведи следующе ответы пациента на вопросы доктора на арабский язык.
Каждая строка - новый ответ. Сохраняй форматирование."
Конечно, критические вещи проверяются медицинскими экспертами, но от
огромной части работы нейронка нас освободила.
Оператор техподдержки
В целом, с переводами все просто. Гораздо более интересно применение
нейронки в качестве оператора техподдержки, способного работать 24/7 на
любых языках, отвечать мгновенно и знать все тонкости наших проектов и
способы разрешения технических проблем.
Для того, чтобы GPT мог отвечать на вопросы, специфичные для наших продуктов,
нужно ему как-то скормить тонну текстов документаций, инструкций и
траблшутингов. Для этого есть три способа:
Что такое токен
Токен - структурная единица текста, которой оперируют модели. Оплата так же
производится за количество токенов как в запросах, так и в выдаче.
1 токен ~= 4 буквы на английском языке
1 токен ~= ¾ слова
100 токенов ~= 75 слов
PromtStd: новый стандарт для
организации и хранения промтов: ChatGpt, Midjourney, и тд
https://habr.com/ru/articles/727942/
В современном мире обработки естественного языка (NLP) промпты играют
ключевую роль в обучении и использовании искусственного интеллекта. Однако,
с ростом объема информации и сложности промтов возникает необходимость в их
структурировании и хранении. В данной статье мы познакомим вас с PromtStd -
новым стандартом для организации и хранения промтов, который упрощает работу
с ними и расширяет возможности Markdown.
ОНЛАЙН-КУРС. ПРОМПТ-ИНЖИНИРИНГ
Урок 5. Как думают нейросети. Часть 1
https://prompting.one/lesson5
Промпт-инженер: какие навыки
освоить, чтобы зарабатывать на ChatGPT
https://habr.com/ru/articles/728984/
Разговор с Kandinsky 2.1 или не очевидный prompt
https://habr.com/ru/articles/728844/
СМИ: в Китае нейросети обрушили
спрос на игровых художников на 70%
https://habr.com/ru/news/728918/
Специалисты «СберУниверситета» и платформы GeekBrain выявили пять новых
ролей, которые появились на фоне развития генеративного ИИ:
— Prompt Engineer (оператор генеративного ИИ);
— Project Manager c уклоном в генеративный ИИ;
— аналитик/консультант в сфере прикладных исследований с уклоном на
генеративный ИИ;
— разработчик ПО с использованием моделей генеративного ИИ,
— дизайнер ИИ.
При этом на середину марта предложений о работе в области генеративного ИИ
на HeadHunter более 30, а на международных платформах Glassdoor, Indeed,
UpWorks и LinkedIn — от 200 до 1,1 тыс.
Поиск проводился по словам: Generative AI, «генеративный ИИ», ChatGPT,
Midjourney.
За февраль спрос на специалистов по ChatGPT вырос в 13 раз, с 3 до 38
предложений о работе, сообщал в начале марта HeadHunter. Основной наем таких
специалистов был у ИТ-компаний и компаний из финансового сектора.
подробнее в
7+
|