ML Arena

 

 

 

GIGO  - важнейший принцип оценки результативности промптинга
 


  1. Познакомиться на сайте Мел с толкованием значения слова промпт и спором о написании термина

  2. Углубить свои знания на РБК Тренды

  3. Найти промпт на Грамота.ру (ответ есть! + обратить внимание на статью)

  1. Изучить диалог

  2. Создать доумент Фамилия-Prompt и заполнить в нем Таблицу вида:

вопрос ответ Фамилия

Что такое GIGO в контексте работы с LLM

 

Что такое GIGO в контексте  выполнения лабораторных работ

 

Ваш вариант написания prompt на русском

 

Лучший комментарий к посту

 

Ваша краткая дефиниция prompt

 

Выбор Грамоты.ру из промпт/промт

 

Почему Prompting может считаться автоматической обработкой текста и компьютерным переводом

 

Почему технологии сетевого образовательного краудсорсинга предполагают высокую ответственность учащихся

 

Лучшая модель (на основании анализа и ценки ответов моделей в  диалоге)

 

 

  1. На ресурсе https://lmarena.ai/ выбрать опцию Arena (side-by-side), выбрать (в раскрывающемся меню) две любые передовые модели. Начать диалог запросом вида:

    Привет! Я студент факультета иностранных языков, лингвист и педагог. Изучаю автоматическую обработку текста и компьютерный перевод. Мне нужно познакомиться с MLArena. Будь моим наставником. Расскажи о ресурсе, его базовом функционале для таких студентов, как я.

  2. Изучив ответы, сделать еще по два-три уточняющих запроса. Проголосовать за лучшую из моделей в этом диалоге.

  3. В документе Фамилия-Диалог оформить диалоги по образцу. Выделить цветом свои свои запросы, а другим цветом наиболее полезную информацию от LLM.

  4. Для каждого диалога провести сравнение и оценку в веб-приложении: ввести в верхнее текстовое поле свои Фамилию Имя Отчество, ввести названия моделей и, перемещая ползунки) дать свою оценку полученных ответов по всем шести метрикам. Сохранить страницу с результатами в виде PDF-документа под именем Фамилия-Grade

  5. На lmarena.ai в режиме Arena (battle) запросить список англоязычных терминов из области ИИ, написание которых на русском языке ещё не устоялось. Проголосовать за лучшую из моделей в этом диалоге.

  6. Каждый из проведенных диалогов выделить, скопировать и сохранить в документе Фамилия-Prompt

  7. Выбрать один из предложенных терминов в режиме Direct Chat и провести с ней диалог (получить аргументацию в пользу вариантов их написания от избранной модели в режиме.

  8. Оценить аргументацию модели на основании изучения материалов и материалов в документе Фамилия-Prompt

  9. Попросить LLM оценить все промты (запросы) вашего диалога, отметив их сильные и слабые стороны. Сделать скрин данной интеракции (вашего запроса и ответа модели c оценкой ваших промтов) и вставить его в документ Фамилия-Prompt  

  10. Отослать преподавателю pdf-файлы.

    • Фамилия-Prompt

    • Фамилия-Grade


 

Помня о GIGO изучать хенбук по промтингу )

 

 

 

kmp