Использование многозадачного обучения для речевого перевода с малой задержкой

Исследователи из Технологического института Карлсруэ (KIT) в Германии недавно применили многозадачное машинное обучение к низкоуровневому нейронному речевому переводу. Их исследование, которое было предварительно опубликовано на ArXiv, касается некоторых ограничений существующих методов нейронного перевода (NMT).

Достижения в области глубокого обучения привели к значительному улучшению речевого и текстового перевода людей. NMT, широко используемый подход к машинным переводам, обучает большую нейронную сеть для чтения предложения и обеспечивает точный перевод, как правило, путем моделирования целых предложений в интегрированную модель.

По сравнению с традиционными подходами, такими как трансляция на основе правил или статистических машин, NMT обычно обеспечивает более плавные переводы как для речи, так и для письменного текста. Хотя он может эффективно захватывать более сложные зависимости между исходным и целевым языками, чтобы последовательно работать хорошо, этот подход требует значительных объемов данных обучения.

«При применении перевода частичного предложения в системы перевода нейронных машин мы сталкиваемся с проблемой, что система МТ была обучена только полным предложениям, и, следовательно, декодер предвзято генерирует полные целевые предложения», — пишут исследователи в своей статье. «При приеме входных данных, которые являются частичными предложениями, выходы перевода не гарантируются точно в соответствии с входным контентом. В других случаях декодер может попасть в состояние более высокого поколения, повторяя последнее слово, которое несколько раз подавалось в его перевод. Для решения этих проблем исследователи KIT сосредоточили внимание на речевом переводе в случаях, когда NMT должен обеспечить первоначальный перевод в реальном времени, прежде чем оратор закончит свое предложение.

«В этой работе мы стремимся исправить проблему перевода частичного предложения в NMT», — пишут исследователи. «В идеале нам нужна модель, способная генерировать соответствующие переводы для неполных предложений без каких-либо компромиссов во время других случаев использования перевода».

Поскольку наборы данных с частичными предложениями недоступны, исследователи создали искусственные данные, которые могут быть использованы в процессе обучения. Они обучали сеть, используя многозадачное обучение, глубокую стратегию обучения, которая часто используется в обработке естественного языка (NLP) для обучения единой модели для различных задач, сокращения расходов и повышения ее эффективности.

Их исследование принесло многообещающие результаты, предполагая, что системы NMT могут быть адаптированы для наилучшей работы даже в тех случаях, когда данные, специфичные для конкретной задачи, недоступны, без потери производительности по исходной задаче, на которую они обучались. «Мы вначале показали, что простые методы генерации искусственных данных эффективны для получения более плавного результата с меньшей коррекцией», — заключили исследователи в своей статье. «Мы также продемонстрировали, что многозадачное обучение может помочь адаптировать модель к новому условию вывода, не теряя при этом оригинальной возможности переводить полные предложения».

Их адаптация NMT достигла высококачественных переводов при низкой задержке, сводя к минимуму количество исправленных слов на 45 процентов. В будущем их исследование может иметь значимые практические последствия, помогая разрабатывать лучшие инструменты для речевого перевода в реальном времени.

Мега образование


Яндекс.Метрика