Оценка качества перевода

 

 

Дефиниции понятия "качество"

 

Качество — определяющая бытие предмета целостность его существенных свойств.
Качество отделяет один предмет или явление от других (придают ему определённость)
Теряя свое качество – предмет перестает быть (самим собой)

Г.В.Ф.Гегель:

  • Качество есть тождественная с бытием непосредственная определенность…
    Нечто есть благодаря своему качеству то, что оно есть и, теряя свое качество, оно перестает быть тем, что оно есть…

Качественно то, что является самим собой в своей собственной уникальности


 

Качество — степень соответствия совокупности объективно присущих характеристик требованиям некоторого стандарта (эталона, шаблона).
Качество продукции….

Качественно то, идентично другому, принятому за шаблон (стандарт, эталон)

Андрей Максимов:

  • Сегодня для успеха в жизни талантливым желательно не быть, потому как самое главное быть форматным. Форматный - значит понятный, такой же, как другие. А талантливый - значит иной, ни на кого не похожий.

15.03.2019
Google 
объявил, что разработчики приложений, отправляющие свои приложения в Google Play Store, должны будут соответствовать определенным спецификациям в дизайне значка их приложения, чтобы улучшить работу Google Play Store.

Слева направо: оригинальный значок, новый значок, оригинальный значок в устаревшем режиме


 

Качество – способность удовлетворять потребности.
Качество - выражает не объективные свойства вещей, а отношения людей к этим свойствам.
Полезность — способность удовлетворять какую-нибудь человеческую потребность.

Потребительская ценность (customer value) - оценочное суждение потребителя о способности товара удовлетворить его потребности.

Обычно потребитель выбирает из большого количества товаров и услуг, специально предназначенных для данного потребления, полагаясь на свое восприятие и понимание той полезности (цеености), которой, на его взгляд, они могут обладать.

Качественно то, что способно удовлетворять потребность (реальную или воображаемую, высокую или низкую, здоровую или больную).

 

 

 

Тotal quality management

 

Тotal quality management (TQM, комплексное управление качеством)  - программа перманентного мониторинга и улучшения качества товаров, обслуживания и маркетинговой деятельности.

SERVQUAL (SERVice QUALity, 1985г.) - основной алгоритм TQM.

SERVQUAL описывается формулой: Perception - Expectation (Восприятие минус Ожидание)

 

 

 

Стандарты оценки качества перевода

 

Исторически, требования нормы в оценке технического перевода описывались структурой:

  • Смысловой эквивалентности

  • Жанрово-стилистической адекватности

  • Узуса (привязки речи перевода к родному языку)

  • Прагматической эквивалентности (цель, направленность, аудитория)

  • Конвенциальной эквивалентности (общие и локальные стандарты и требования)

Ни в одном учебнике качество перевода не рассматривалось формализовано!

Развитие рынка переводческих услуг привело к созданию стандартов управления качеством перевода в системе обеспечения качества промышленного производства: ГОСТ и ISO 9000 (ISO 9001).

Промышленное развитие отрасли породило специализированные стандарты предназначены для управления качеством процесса предоставления переводческих услуг:

  •  итальянский стандарт UNI 10574

  •  немецкий DIN 2345

  •  австрийский Önorm D 1201

  •  европейский стандарт EN 15038

  • американский ASTM F2575-06

DIN 2345 (1998, German Institute for Standardization) включает оценку:

  • Оригинального текста

  • Отбора переводчиков

  • Соглашения между заказчиком и переводчиком

  • Принимающего язык (перевод должен соответствовать лингвистическим стандартам принимающего языка)

  • Вычитку

Качественный текст перевода - соответствует требованиям соглашения между заказчиком и переводчиком.

ASTM F2575-06 (Standard Guide for Quality Assurance in Translation)

  • не содержит четких критериев, которые могут гарантировать качество перевода,

  • перечисляет параметры, по которым заказчик и переводчик (поставщик услуг перевода) должны прийти к соглашению перед началом работы;

  • объясняет, что должны обсудить клиент и исполнитель перед выполнением проекта.

EN 15038 (2006)

  • ставит цель - предоставить клиентам наилучших работников путем выявления их квалификации

  • предполагает сертификацию переводчиков, гарантирующую заказчикам качество обслуживания

  • предполагает наличие необходимого оборудования и ПО

  • признает, что скорость совершенствования ИТ делает невозможной конкретизацию требований 

Основные положения европейского стандарта  EN 15038 на оказание переводческих услуг и перевод специальной технической документации на русский язык:

 

 

 

BLEU

 

BLEU (bilingual evaluation understudy) – метрика для оценки качества машинного перевода.

  • Алгоритм BLEU оценивает качество перевода по шкале 0-100 на основании сравнения человеческого и машинного перевода за счет поиска общих фрагментов: чем больше совпадений, тем лучше перевод.

  • BLEU разработана IBM в связи с развитием систем статистического машинного перевода (на параллельных базах и корпусах), чтобы отслеживать изменения в результатах перевода при добавлении в систему новых текстов, изменении программного кода и т.д.).

  • Метрика BLUE пригодна только для статистических и гибридных систем и для языков с неразвитой морфологией.

  • Для перевода на русский BLUE всегда показывает худший результат.

  • BLUE популярна, т. к. позволяет хоть как-то сравнивать разные системы или версии систем.

 

 

 

 

Translation Quality Index

 

Translation Quality Index (TQI) - показатель качества перевода в баллах, формируемую при подсчете количества и типа сделанных в переводе ошибок.

TQI вычисляется в объеме на 1800 знаков с пробелами.

TQI = EP/W/250 – BP

EP (Error Points) — сумма баллов за допущенные ошибки.

W — число лексем в исходном тексте.

BP (Bonus Points) — дополнительные баллы за перевод очень высокого качества.

Диалекты TQI - отличные друг от друга показатели, обусловленные различием систем назначения баллов за каждый тип ошибки:

  • SDL оценивает ошибку по 10-балльной шкале.

  • ABBYY в диапазоне от 0,25 до 1

  • в американской системе – диапазон от 1 до 4.

Обоснование балла делает сама компания, исходя из внутренних требований к качеству.

Ошибки, учитываемые в TQI:

  • смысловые (непонимание или неверное отображения смысла при переводе).

  • формальные (орфографические, пунктуационные, оформительские, описки в написании дат и др.).

  • несоответствие требованиям заказчика (внесенным в договор на выполнение перевода, следует соблюдать, независимо от их соответствия правилам и словарям или нет).

TQI определяет качественный перевод как эквивалентный перевод, соответствующий требованиям заказчика и правилам грамматики. Наилучшие результаты TQI дает при работе с техническими текстами и очень плохо применим для художественных и рекламных текстов.


 

Крупные компании создают собственные корпоративные стандарты, собственную терминологическую базу и внедряют системы управления переодом (Computer-Aided Translation) (TRADOS, SMARTCAT).

Это особенно важно в процессах локализации программных продуктов, мобильных приложений и т.д.

Могут использоваться специальные ограниченные языки (controlled languages), например, simplified technical English ASDSTE-100.

 

 

 

Linguistic Quality Assuranc

 

Оценкой качества перевода всегда занимались крупные переводческие компании(translations service providers)

Linguistic Quality Assuranc (LQA, система оценки качества перевода) нацелена на всестороннюю проверку текста с точки зрения правил языка, последовательности и корректности использования терминологии.

Конечным результатом проверки является отчёт о качестве выполненного перевода с категоризацией ошибок и вариантами исправлений.

Характеризуются:

  • Точность: передача смысла, соответствие текста исходному материалу и функциональности продукта.

  • Терминология: соответствие перевода глоссарию и требованиям заказчика, последовательность и непротиворечивость использования терминологии.

  • Правильность: грамматика и пунктуация.

  • Стиль (соблюдение требований заказчика к стилю)

  • Соответствие региональным языковым стандартам  

Translation menu -  система выделения уровней перевода и его оценки. Заказчик может выбрать уровень качества перевода в соответствии с некоторыми требованиями. Например, он может выбрать экспресс-перевод, что подразумевает перевод в быстрые сроки с минимальными финансовыми затратами, бизнес-перевод – для выверки перевода не привлекается отраслевой специалист, носитель языка, т.е. не привлекаются посторонние люди.

 

 

 

LQA в ABBYY

 

Language Quality Assurance  (LQA)- экспертная оценка качества перевода.

Ошибки неизбежно возникают в процессе перевода и локализации даже у очень квалифицированных специалистов.

В ABBYY Language Solutions  развернута система управления качеством, включающая:

  • Индивидуальные программы качества

  • Средства автоматизированного контроля качества

  • Управление терминологическими ресурсами

  • Обеспечение конфиденциальности

В основе индивидуальных программ управления качеством лежит собственная методология количественной оценки качества переводов.

Многие аспекты качества переводов (например, полноту, единообразие и соответствие терминологическим требованиям) можно контролировать автоматически.

Средства автоматизированного контроля качества

Они могут быть связаны как с «человеческим фактором», так и с техническими аспектами работы над текстом (например, распознаванием некачественных копий документа).

Автоматизированный контроль качества позволяет свести эти факторы к минимуму, гарантируя полное отсутствие ошибок на выходе.

В разработанной в бюро переводов ABBYY Language Solutions платформе SmartCAT реализован набор автоматизированных проверок, которые выполняются прямо по ходу перевода, позволяя переводчику или редактору оперативно исправить 30 видов ошибок, в том числе:

  • поиск непереведенных сегментов

  • поиск сегментов с переводом, идентичным оригиналу

  • техническая проверка пунктуации (тире, точек, лишних пробелов и пр.)

  • контроль терминологии

  • контроль соответствия чисел в оригинале и переводе

Соблюдение стандартной отраслевой и узкоспециальной терминологии – один из основных критериев качества локализации. Система управления терминологией Lingvo.Pro позволяет легко и эффективно управлять терминологическими ресурсами.
Для ее обеспечения конфиденцильности в компании используется специализированная система документооборота, действует внутренняя служба безопасности, работают многочисленные системы защиты и контроля.

Меры совершенствования качества переводного продукта:

  • Тщательно отбираем специалистов из разных стран (в том числе носителей языка). В штат компании принимается не более 5% кандидатов (лучшие из лучших).

  • Обучаемся. У каждого нового сотрудника ABBYY Language Solutions – своя индивидуальная программа развития навыков и компетенций, включающая внутренние и внешние тренинги и семинары. В ближайшее время у нас появится асессмент-центр и ABBYY университет.

  • Неукоснительно соблюдаем «золотой стандарт» переводческой отрасли — трехступенчатый процесс выполнения перевода (переводчик — редактор — корректор).

  • Работаем с лучшими технологиями памяти переводов и управления терминологией, немалую часть которых разрабатываем самостоятельно.

  • Используем передовые средства автоматического контроля качества переводов (в том числе собственные разработки).
    Постоянно расширяем собственный отдел контроля качества, действующий по специально утвержденной процедуре.
    Для каждого проекта формируем индивидуальную программу качества.

 

 

 

LQA в ЛОГРУС

 

 

Система оценки качества перевода компании Логрус нацелена на всестороннюю проверку текста с точки зрения правил языка, последовательности и корректности использования терминологии и включает следующие исследования:

  • Точность: передача смысла, соответствие текста исходному материалу и функциональности продукта, перекрёстные ссылки.

  • Терминология: соответствие перевода глоссарию и требованиям заказчика, последовательность и непротиворечивость использования терминологии.

  • Правильность: грамматика и пунктуация.

  • Стиль: соблюдение требований заказчика к стилю изложения.

  • Соответствие региональным языковым стандартам: форматы времени, дат, валюты, культурные особенности и т. д.

В отличие от редактуры, конечным результатом проверки качества перевода является не исправленный документ, а отчёт о качестве выполненного перевода с категоризацией ошибок и вариантами исправлений.

Основываясь на результатах проверки, вы можете принять решение о внесении правок в переведённый документ или о полной переработке материала.

Материалы, для которых мы оценивали качество перевода, очень разнообразны:

  • документация

  • веб-страницы

  • пользовательский интерфейс

  • шаблоны

  • экспертные системы

  • настроечные файлы

  • звуковые файлы

  • сценарии, и т. д.  

Логрус – поставщик полного спектра локализационных услуг:

  • 20 лет на рынке локализации,  офисы в 6 странах

  • Более 500 млн переведённых слов и 40 000 завершённых проектов

Материалы и публикации по теме:

 

 

 

Программы контроля качества перевода

 

QA-программы работают с двуязычными файлами различных форматов.

Большинство выполняемых ими стандартных проверок похожи, но у каждого из этих инструментов есть и свои уникальные функции. Так, например, Xbench позволяет выполнять поиск в тексте проекта (как в исходном, так и в переводе) и в Интернете.

Инструментарий QA-программ можно дополнять собственными глоссариями и критериями проверки или отключать ненужные функции, создавая таким образом оптимальную конфигурацию проверки для конкретного проекта или для своих нужд в целом.

Некоторые программы исключительно платные, но у многих есть и бесплатная версия. Очень сильно различаются и интерфейсы этих инструментов.

Каждый профессиональный переводчик может выбрать наиболее подходящий для себя вариант или даже несколько.

Популярные инструменты контроля качества перевода:

Все перечисленные выше популярные QA-инструменты изначально создавались переводческими бюро для внутреннего использования, а впоследствии были выпущены как коммерческие продукты.

Многие производители программ для автоматизированного перевода (TradosSDLXStar TransitWordfastDéjà VuMemoQ и другие) предусмотрели в них функции автоматической проверки качества, которые также можно настраивать (а в случае MemoQ и сохранять созданные конфигурации проверки для использования в проектах на свое усмотрение). Благодаря этому переводчик имеет возможность выполнить ряд проверок, даже не пользуясь отдельными QA-программами.

Существуют онлайн-службы для проверки качества переведенного текста, работающие по принципу SaaS (программное обеспечение как услуга). Например — lexiqa.

 

TQAuditor — система мониторинга качества перевода, предназначенная для анализа редакторских правок и обучения переводчиков на их ошибках.

  • TQAuditor сравнивает разные версии двуязычных файлов и генерирует отчет о внесенных в текст изменениях.

  • Редактор может просмотреть все свои правки перед сдачей текста и убедиться, что он случайно не внес никаких ошибок; менеджер — предоставить переводчику отчет о правках для обучения и т. д. Используется в комплексе с перечисленными выше QA-программами.

  • TQAuditor версии Enterprise позволяет переводческим компаниям классифицировать допускаемые переводчиком ошибки по типу и серьезности и оценивать качество перевода количественно.

  • Переводчик и редактор могут анонимно дискутировать по спорным моментам и обращаться к арбитру. Все данные собираются в единую базу, и на их основе генерируются отчеты по качеству работы каждого переводчика.

  • Это дает возможность выявить у каждого из них «слабые места» и определить, какие именно сферы требуют особого внимания (грамматика, пунктуация, стиль и т. д.). Таким образом, система способствует профессиональному росту переводчиков. Аналогичные отчеты генерируются по каждому редактору. Они позволяют выявить, например, «суровых» и «мягких» редакторов — то есть тех, которые вносят в текст, соответственно, много или мало исправлений. Информация подается в наглядном графическом виде.

 

 

 

Language Studio Lite Solution

 

 Language Studio Lite Solution  - бесплатный набор инструментов для оценки качества перевода текста и подготовки его к машинному переводу

В набор входят следующие программы:

  • TQE metrics, осуществляющая оценку качества  по следующим показателям: BLEU score (оценка качества машинного перевода от 0 до 1), F-мера (мера Ван Ризбергена — гармоническое среднее точности и полноты) и Translation Error Rate (TER) — оценка  ошибок в переводе.

  • Translation Data Preparation Tools — инструменты для подготовки базы переводов

  • Word Count (подсчёт слов): подсчёт общего количества слов и количества уникальных слов. Полезнен для оценки размеров и сложности перевода. Одно из преимуществ инструмента — позволяет считать количество слов в файлах формата TMX (Translation Memory eXchange).

  • Line/Segment Count (подсчёт строк/сегментов): определяет и подсчитывает количество строк в файлах форматов TXT и TMX.

  • Sentence Count (подсчёт предложений): определяет количество предложений в документе и среднее число слов в предложении.

  • Extract and Merge (извлечение и объединение): извлекает данные из файлов форматов TMX, XLIFF (XML Localization Interchange File Format) и форматов Tabbed Pair.

  • Convert (преобразование): преобразует данные между TMX, XLIFF и форматами Tabbed Pair.

  • N-Gram (N-грама, группа из N последовательных символов): выявляет и подсчитывает параметр N-грам в текстовых файлах, а также позволяет объединить N-грамы разных файлов и рассчитывает параметр N-грам в списке слов. При помощи этого параметра можно определить коэффициент совпадения текстов.

  • Стиль: соблюдение требований заказчика к стилю изложения.

  • Соответствие региональным языковым стандартам: форматы времени, дат, валюты, культурные особенности и т. д.

 

 

 

kmp