1. Количественная оценка качества письменного перевода практический опыт Демид Тишин, бюро переводов «Окей» www.allcorrect.ru www.tmetric.ru Сентябрь 2009 г.

4. TQ-Metric: какой от неё прок? ! !

8. Пример классификатора ошибок

9. Пример текста после проверки

10. Пример заполненной формы оценки

21. Системы TQ-Metric в сравнении: охватываемые типы текстов *возможность применения в учебном процессе, при сертификации переводчиков, в издательствах, переводческих компаниях и т.д. АТА SAE J2450 LISA QA Model 3.1 БП Окей любые* за исключением текстов, для которых стиль является существенным компонентом. классификатор оптимизирован под ПО; теоретически любые * за исключением художественных текстов

22. Системы TQ-Metric в сравнении: требования к образцам *высокая надежность результатов АТА SAE J2450 LISA QA Model 3.1 БП Окей 225-275 английских слов либо эквивалент на другом языке нет нет 400-750 слов* ; при тестировании переводчиков и редакторов на проект содержание терминов в тест-задании ≥ 5% количества слов

23. Системы TQ-Metric в сравнении: Количество классов ошибок *Увеличивает время на идентификацию типа ошибки. АТА SAE J2450 LISA QA Model 3.1 БП Окей 21* 7 26 * 16

24. Системы TQ-Metric в сравнении: Полнота классификатора ** дизайн, графику, гиперссылки, совместимость ПО, дружественность и функциональность интерфейса, ошибки программного кода АТА SAE J2450 LISA QA Model 3.1 БП Окей да Не охватывает стилистические ошибки, недочеты внешнего вида и оформления да; классификатор включает также неязыковые компоненты** да

25. Системы TQ-Metric в сравнении: Критерии классификации ошибок АТА SAE J2450 LISA QA Model 3.1 БП Окей Структурно-лингвистический + + + + Критерий коммуникативного эффекта - + - + Критерий источника ошибки + - - -

26. Системы TQ-Metric в сравнении: Строгость построения классификатора * классификатор построен на непоследовательном сочетании разных принципов; ** на практике упрощает определение типа ошибки АТА SAE J2450 LISA QA Model 3.1 БП Окей нет* нет* да; предельно формализованные критерии с множеством примеров* нет*

27. Системы TQ-Metric в сравнении: Количество градаций веса ошибки * В описании системы не указано четких критериев для определения веса ошибки. По-видимому, для определения веса следует использовать критерии FMEA , но они общие и требуют конкретизации применительно к локализации. * * Гибкость (максимальный учет контекста) АТА SAE J2450 LISA QA Model 3.1 БП Окей 6* * 2 3* 2

28. Системы TQ-Metric в сравнении: Ограничения на максимальный вес ошибки в зависимости от класса *Гибкость (максимальный учет контекста) АТА SAE J2450 LISA QA Model 3.1 БП Окей нет* да нет* да

29. Ограничения на максимальный вес ошибки в зависимости от класса Балл один и тот же (5), а серьёзность ошибок различная: в первом примере ошибка может привести к неверным действиям персонала , а во втором случае – нет оригинал перевод балл To reduce the noise different types of low noise valves and grill plates will be foreseen. Для снижения уровня шума следует предусмотреть разные типы малошумящей арматуры и вентиляционных решеток 5 (Т1) Construction employs 15 full length tie bolts that compress the discs <…> thereby forming a rigid rotor . В конструкции применяются 15 стяжных болтов, которые сжимают рабочие колеса <…> образуя жесткий вал.

30. Системы TQ-Metric в сравнении: количество действий для оценки ошибки *Чем более формален классификатор, тем меньше действий требуется для оценки ошибки (экономия времени) АТА SAE J2450 LISA QA Model 3.1 БП Окей 3 2 2 1-2*

32. Системы TQ-Metric в сравнении: Зачитываются ли ошибки, вызванные неустранимыми недостатками оригинала (отсутствие контекста, невразумительное и неграмотное изложение)? *Системы хорошо приспособлены ко входному тестированию квалификации исполнителей АТА SAE J2450 LISA QA Model 3.1 БП Окей нет данных да нет* нет*

33. Системы TQ-Metric в сравнении: Если проверяющий сталкивается с аналогичной ошибкой АТА SAE J2450 LISA QA Model 3.1 БП Окей нет данных зачитывается каждый случай неверного употребления нет данных При тестировании команды на проект – если однотипная ошибка ОФОРМЛЕНИЯ повторяется по всему тексту (использование точки вместо запятой для отделения дробной части, употребление лишних заглавных букв в имени собственном и т.д.), она зачитывается один раз. При выходном контроле - зачитывается каждый случай неверного употребления

35. Субъективность оценки Отношение между средним удельным баллом ошибок (по всем тематикам) после проверки разными людьми: EP( средн. ) 1 -й чел. EP( средн. ) 2-й чел. K субъектив. = АТА SAE J2450 LISA QA Model 3.1 БП Окей 1,5 1,0 1,1 1,0

37. Распределение балла ошибок между тематиками (среднее по 2-м проверяющим) Рисунок отличается Рисунок практически идентичен

39. Зависимость между ступенью ошибки и её весом в баллах Ступень ошибки Вес ошибки

40. Средняя скорость оценки 1 тест-задания при условии предварительного тщательного изучения текста оригинала * За счет большого количества стадий проверки ** С использованием специального ПО АТА SAE J2450 LISA QA Model 3.1 БП Окей 13 мин . * 9 мин . 11 мин . 7 ,5 мин . ** 9 мин . 5 мин . **

41. Выводы АТА SAE J2450 LISA QA Model 3.1 БП Окей Область применения Без ограничений Жесткие ограничения Без ограничений Некоторые ограничения Удобство классификатора Среднее Высокое Высокое Среднее Простота определения веса ошибки Средняя Высокая Низкая Высокая Стройность метода оценки Высокая Средняя Низкая Низкая Воспроизводимость результатов Низкая Высокая Средняя Высокая

42. Выводы * При условии привлечения к оценке двух проверяющих АТА SAE J2450 LISA QA Model 3.1 БП Окей Вероятность идентификации ошибки Средняя Средняя Высокая Средняя Лёгкость внедрения Низкая* Высокая Высокая Высокая Функциональность ПО Отсутствует Отсутствует Средняя Высокая Стартовая экономия Высокая Высокая Низкая Средняя Долгосрочная экономия Низкая* Высокая Высокая Высокая