В «Яндекс.Браузере» появился синхронный перевод трансляций на русский

Спустя год после запус­ка закад­ро­во­го пере­во­да видео в фир­мен­ном бра­у­зе­ре ком­па­ния «Яндекс» усо­вер­шен­ство­ва­ла эту функ­цию. Теперь посмот­реть на рус­ском язы­ке мож­но даже пря­мые транс­ля­ции, будь то пре­зен­та­ция новых смарт­фо­нов, интер­вью со зна­ме­ни­то­стя­ми, веби­на­ры, все­воз­мож­ные кон­фе­рен­ции или что-​то ещё.

Для быст­рой и каче­ствен­ной рабо­ты в пото­ко­вом сце­на­рии раз­ра­бот­чи­кам «Яндекса» пона­до­би­лось пере­стро­ить всю архи­тек­ту­ру закад­ро­во­го пере­во­да видео. В слу­чае с запи­сан­ны­ми роли­ка­ми ней­ро­сеть полу­ча­ет ауди­о­до­рож­ку цели­ком и сра­зу име­ет доступ ко все­му кон­тек­сту. В слу­чае с пере­во­дом пря­мой транс­ля­ции необ­хо­дим кар­ди­наль­но дру­гой под­ход: один алго­ритм рас­по­зна­ёт аудио и пре­вра­ща­ет его в текст бук­валь­но на лету, дру­гой — опре­де­ля­ет пол спи­ке­ра по биометрии.

Далее в дело всту­па­ет тре­тья ней­ро­сеть, кото­рая рас­став­ля­ет зна­ки пре­пи­на­ния и выде­ля­ет из тек­ста смыс­ло­вые фраг­мен­ты — части, содер­жа­щие закон­чен­ную мысль. Их „заби­ра­ет“ ещё одна ней­ро­сеть, отве­ча­ю­щая за пере­вод, кото­рый сра­зу син­те­зи­ру­ет­ся на рус­ском языке.

На дан­ный момент тех­но­ло­гия рабо­та­ет в режи­ме откры­то­го бета-​тестирования и доступ­на для огра­ни­чен­но­го чис­ла YouTube-каналов:

• English Speeches
• TED
• TedX 
• NASA
• SpaceX
• IGN
• The Game Awards 
• Apple
• CNET Highlights
• Google
• Google Developers
• TechCrunch
• Business Insider
• Freeinvesting
• Overlap

Таким обра­зом, уже гря­ду­щую пре­зен­та­цию новых iPhone 14‑й серии, ожи­да­е­мую в сен­тяб­ре, все жела­ю­щие смо­гут посмот­реть на офи­ци­аль­ном YouTube-​канале Apple с закад­ро­вым рус­ским пере­во­дом. В пер­спек­ти­ве спи­сок под­дер­жи­ва­е­мых кана­лов будет рас­ши­рять­ся. Более того, «Яндекс» пла­ни­ру­ет реа­ли­зо­вать функ­цию син­хрон­но­го пере­во­да на Twitch. Сейчас воз­мо­жен пере­вод транс­ля­ций на англий­ском, немец­ком, фран­цуз­ском, ита­льян­ском и испан­ском. В буду­щем в этот спи­сок доба­вят ещё пару евро­пей­ских язы­ков, а так­же китай­ский, япон­ский и другие.

Функция син­хрон­но­го пере­во­да транс­ля­ций доступ­на в деск­топ­ной вер­сии «Яндекс.Браузера» начи­ная с вер­сии 22.7.2.

Источник: 4PDA