Авто перевод видео в яндекс браузере

Закадровый перевод англоязычных видео в Яндекс.Браузере

О технологии автоматического закадрового перевода англоязычных видео в Интернете от Яндекса, появившейся в Яндекс.Браузере. Что являет собой эта технология, как её включить на YouTube.

Обновлено: 30 ноября «Яндекс» запустил закадровый перевод видео для французского, испанского и немецкого. Также компания улучшила саму технологию – теперь видео переводятся быстрее.

Не успели ещё мы, пользователи Интернета привыкнуть к тому, что автоматический перевод веб-страниц в браузерах – сегодня это уже вещь вполне достойного уровня, с помощью которой мы можем как минимум понять суть изложенного в текстах на иностранном языке, как технологии автоматизации перевода шагнули ещё дальше. И замахнулись они на закадровый перевод видеороликов, выложенных в Интернете. Относительно недавно Яндекс представил интегрированную в свой браузер Яндекс.Браузер технологию автоматического голосового перевода англоязычных видео на YouTube, Vimeo и некоторых других интернет-площадках (TikTok, Twitter, Facebook и «ВКонтакте».). Что за функция, и как она работает?

Цель создания Яндексом закадрового автоматического перевода видео в Интернете – сделать англоязычные видео доступными русскоязычным пользователям. Далеко не все русскоязычные владеют английским языком на должном уровне, чтобы понимать происходящее в обучающих, технических, научных и т.п. видео. Единственным решением, как русскоязычным смотреть YouTube-видео на английском, до недавнего времени были только субтитры. Но всерьёз рассматривать инструмент субтитров на YouTube можно, если только они созданы не автоматически, а на каналах, где авторы занимаются субтитрами и редактируют их. А таких немного. Предложенная Яндексом технология, во-первых, решает проблему низкого качества самого перевода субтитров за счёт реализации своих механизмов распознавания речи и перевода. Во-вторых, предлагает закадровый перевод, т.е. перевод с переозвучиванием видео. Переозвучивание базируется на механизме синтезирования речи Яндекса. Выполнено по принципу профессионального закадрового перевода: оригинальный звук заглушается и поверх него пускаются русскоязычные голосовые движки, озвучивающие переведённую речь. Технология закадрового перевода распознаёт оригинальные женские и мужские голоса и переозвучивает их, соответственно, женским и мужским голосовыми движками. Где, кстати, в женском голосовом движке каждый узнает голос Алисы – голосового ассистента Яндекс.Браузера. Также технология учитывает темп речи говорящих в оригинале.

Технология закадрового перевода интегрирована в Яндекс.Браузер, пока что её без проблем можно обнаружить только в десктопной версии браузера, но также она может быть доступна уже и на некоторых мобильных устройствах. В любом случае необходима последняя актуальная версия Яндекс.Браузера. В десктопной версии при открытии видео, где поддерживается закадровый перевод, увидим его кнопку «Перевести видео» в числе функций на самом видео. Кликаем эту кнопку.

Если ролик непродолжительный, закадровый перевод начнётся практически мгновенно. Если ролик длинный, придётся немного подождать, при больших объёмах обработки данных технологии нужно какое-то время на перевод и озвучку. В общем принцип работы перевода видео таков: при включении этой функции в видеоролике в фоне запускается распознавание речи, далее текст переводится, затем озвучивается голосовыми движками с применением мужского и женского голоса, а также различных темпов их воспроизведения. При этом закадровый перевод осуществляется максимально синхронно, насколько это возможно сделать автоматически. Для этого в процессе перевода учитываются временные отрезки оригинального звучания и в соответствии с ними запускается переозвучивание голосовыми движками.

Пока что технология работает только для видеороликов на английском языке. И только для видео, которые выложены в общем доступе. Использовать её предпочтительнее для видео разговорного жанра, но иногда она кое-как справляется с переводом текста в музыкальных клипах и видео концертов. Где-то с неточностями перевода, где-то с пропуском больших отрезков речи, но справляется. Но в каких-то видеороликах закадровый перевод работать не будет. Это могут быть музыкальные видео, видео с плохим звучанием и прочие случаи, где механизм распознавания речи столкнётся с какими-то трудностями.

В целом же Яндексу большой зачёт, весьма неплохо как для первых наработок. Остаётся надеться, что и идея, и её технология не будут заброшены, а будут эволюционировать. В процессе эволюции избавятся от шероховатостей и угловатостей и превратятся в годный качественный продукт отечественного производства.

Источник

В Яндекс.Браузер внедрили машинный перевод видеороликов

Яндекс объявил о работе над сервисом машинного перевода видео с одного языка на другой. Это позволит пользователям смотреть ролики в браузере с закадровым переводом. Прототип сервиса уже представлен, пока он переводит видео только с английского языка.

Как объяснили в компании, ее технология объединяет разработки «Яндекс.Переводчика», биометрии, распознавания и синтеза речи. Сервис машинного перевода сначала определяет пол говорящего, а затем подбирает соответствующий голос. Алгоритм отслеживает темп речи говорящего, за счет чего переводчик делает паузы, замедляет или ускоряет речь, чтобы закадровый голос совпадал с картинкой.

Перевод доступен в Яндекс.Браузере для Windows и macOS. Разработчики обещают, что скоро пользователи смогут выбирать, какие ролики переводить с помощью нового сервиса.

«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше», — говорит руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот.

В 2017 году Яндекс начал задействовать технологии на искусственном интеллекте при переводе текстов. Тогда к статистической модели, которая была в «Переводчике» с момента запуска, добавили технологию перевода с помощью нейросети. Компания объясняла, что ее технология не разбивает текст на отдельные слова, а рассматривает его целиком, чтобы лучше передать смысл.

В июне Яндекс открыл доступ к нейросети «Балабоба» для всех пользователей. Она работает на языковой модели из семейства YaLM (Yet another Language Model). Эта модель помогает нейросети запоминать правила языка, выбирать подходящие слова и связывать их по смыслу. У «Балабобы» нет своего мнения, она выдает случайные продолжения и может закончить историю, придумать подпись или написать небольшой рассказ.

Источник

Перевод страниц, картинок и видео

Встроенный переводчик показывает слова и фразы на том языке, который используется в интерфейсе браузера. Также он распознаёт надписи на картинках и даёт перевод поверх оригинального текста.

Перевод страниц, слов и фраз

Яндекс.Браузер автоматически определяет язык загруженной страницы и, если он отличается от языка интерфейса, предлагает перевести ее. Окно перевода можно также вызвать, нажав значок в Умной строке.

Если вы перевели страницу на один язык, а затем изменили язык перевода, то картинки автоматически переведутся на новый язык.

Чтобы увидеть текст переведенной страницы на языке оригинала, наведите курсор мыши на предложение. Оригинальный текст появится во всплывающем окне.

Если всплывающее окно с текстом не появилось:

Яндекс.Браузер может переводить на русский язык отдельные слова или предложения на странице. Чтобы увидеть перевод слова или словосочетания, выделите их и нажмите значок в контекстном меню.

Проверка правописания на иностранном языке

Браузер проверяет правописание в формах ввода (например, при работе с почтой).

Вы можете редактировать пользовательский словарь:

Перевод картинок

Чтобы перевести остальные картинки:

Чтобы посмотреть оригинал картинки, используйте один из способов:

Настройки перевода

Чтобы браузер переводил страницы на конкретном языке, не запрашивая разрешения:

Отключение переводчика

Если вы не хотите, чтобы браузер предлагал перевод иноязычных страниц:

Проблемы с переводом

Переводчик в браузере включён по умолчанию. Убедитесь, что ранее вы не отключили переводчик вручную:

Также страница может не переводиться, если когда-то при ее просмотре вы отказались от перевода. В этом случае:

Если картинка маленькая (например, кнопка с текстом), перевод может быть скрыт. Наведите указатель мыши на картинку, чтобы его увидеть.

Перевод страниц, картинок и видео

Перевод страниц, слов и фраз

Если всплывающее окно с текстом не появилось:

Источник

Мобильный Яндекс.Браузер автоматически определяет язык загруженной страницы и может перевести ее на русский или на другой язык по вашему выбору. Дополнительно переводчик распознает текст на картинках и покажет перевод поверх оригинального текста.

Также в браузер встроен перевод видео с английского языка на русский. Смотрите обучающие лекции и любимые видеоролики сразу на русском языке с помощью функции закадровой озвучки.

Чтобы перевести страницу с иностранного языка на русский, нажмите на странице значок или:

Вверху экрана появится панель перевода, где\nбудет виден прогресс. Если вы хотите прервать перевод, нажмите значок вверху справа.

Вернуться к странице на исходном языке можно так:

В панели перевода нажмите значок в правой части панели.

Мобильный Яндекс.Браузер переводит на русский отдельные слова и предложения. Чтобы увидеть перевод слова или фразы, выделите их. Вверху экрана появится панель с переводом.

Чтобы посмотреть все переводы слова или фразы:

Перевод картинок

Перевод появится поверх исходного изображения.

Чтобы посмотреть оригинал изображения:

Смена языка перевода

Чтобы перевести страницу на язык по вашему выбору:

Настройки перевода

Если вы хотите, чтобы браузер переводил страницы автоматически при их открытии:

Перевод и озвучка видео

Если кнопка перевода исчезла, нажмите на видео, и она появится снова.

Иногда перевод видео занимает некоторое время. Вам придет уведомление, когда всё будет готово.

Отключить переводчик

Проблемы с переводом

Переводчик в браузере включен по умолчанию. Убедитесь, что ранее вы не отключили переводчик вручную:

Текст на картинке не переведется, если:

Сейчас видео переводится на русский с английского, французского, немецкого и испанского языка. Технология находится в разработке, поэтому перевод доступен не для всех видео.

Если вы не нашли информацию в Справке или у вас возникает проблема в работе Яндекс.Браузера, все свои действия по шагам. Если возможно, сделайте скриншот. Это поможет специалистам службы поддержки быстрее разобраться в ситуации.

Чтобы перевести страницу с иностранного языка на русский, нажмите на странице значок или:

Вверху экрана появится панель перевода, где будет виден прогресс. Если вы хотите прервать перевод, нажмите значок вверху справа.

Вернуться к странице на исходном языке можно так:

В панели перевода нажмите значок в правой части панели.

Чтобы посмотреть все переводы слова или фразы:

Перевод картинок

Перевод появится поверх исходного изображения.

Чтобы посмотреть оригинал изображения:

Чтобы вернуть оригинальный текст на картинках, нажмите значок . Для просмотра на языке оригинала и страницы, и картинок, нажмите на панели перевода значок .

Смена языка перевода

Чтобы перевести страницу на язык по вашему выбору:

Настройки перевода

Если вы хотите, чтобы браузер переводил страницы автоматически при их открытии:

Перевод и озвучка видео

Если кнопка перевода исчезла, нажмите на видео, и она появится снова.

Иногда перевод видео занимает некоторое время. Вам придет уведомление, когда всё будет готово.

Отключить переводчик

Проблемы с переводом

Переводчик в браузере включен по умолчанию. Убедитесь, что ранее вы не отключили переводчик вручную:

Текст на картинке не переведется, если:

Источник

Яндекс.Браузер получил функцию автоматического перевода англоязычных видеороликов

Технология перевода работает в Яндекс.Браузере для десктопов и Яндекс.Браузере для Android, а также в мобильном приложении Яндекс для Android и iOS.

Теперь пользователи могут смотреть англоязычные научно-популярные программы, кулинарные шоу, лекции Элона Маска и Ричарда Фейнмана, стендапы и видеоблоги в русской озвучке. Технология реализована следующим образом, оригинальный звуковой поток приглушается и на него накладывается озвученный переведенный текст. Используются два голоса: мужской голос и женский голос, который также является голосом голосового помощника Алисы.

Руководитель Яндекс.Браузера Роман Иванов заявил:

Автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьера. Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к её решению ещё в 2011 году и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие.

Таким образом, теперь пользователи могут перевести практически любое видео из YouTube, Vimeo и других популярных платформ. Функция перевода поддерживается в Яндекс.Браузере для Windows, macOS, Linux и Android и в приложении Яндекс для Android и iOS.

Перевод выполняется в несколько этапов. На первом этапе распознается речь, она преобразуется в текст, которая разбивается на предложения помощью нейронных сетей. После этого определяется пол говорящего, предложения переводятся на русский язык и синтезируется голос. Наконец, остается совместить перевод с видеорядом. Это непростая задача, потому что приложения в русском языке длиннее, чем на английском.

Подробная информация по технической реализации доступна на «Хабре». Чтобы посмотреть видео с русской озвучкой, нужно нажать на кнопку в плеере и немного подождать. Процесс перевода займет несколько минут, а по его завершению вы получите уведомление.

Источник