«Яндекс Браузер» научился передавать оригинальные голоса и интонации при переводе видео

«Яндекс Браузер» запу­стил пере­вод видео ново­го поко­ле­ния. Нейросети, кото­рые «Яндекс Браузер» задей­ству­ет в закад­ро­вом пере­во­де, научи­лись пере­да­вать ори­ги­наль­ные голо­са и инто­на­ции геро­ев видео. Об этом CNews сооб­щи­ли пред­ста­ви­те­ли «Яндекса».

Ролики, пере­ве­ден­ные в «Браузере» с англий­ско­го, теперь зву­чат так, слов­но их герои вла­де­ют рус­ским. «Яндекс Браузер» стал исполь­зо­вать новую ней­ро­се­те­вую модель, кото­рая ана­ли­зи­ру­ет англо­языч­ную речь, выде­ля­ет тембр, ритм, инто­на­ции и вос­про­из­во­дит их в пере­во­де. Для это­го модель допол­ни­тель­но обу­чи­ли на сот­нях тысяч при­ме­ров аудио.

С пере­во­дом ново­го поко­ле­ния поль­зо­ва­те­ли теперь могут полу­чать более яркие эмо­ции от про­смот­ра видео. Это осо­бен­но каса­ет­ся роли­ков, в кото­рых важ­ны осо­бен­но­сти речи их участ­ни­ков: запи­сей живых выступ­ле­ний, скет­чей, речей извест­ных людей.

«Яндекс Браузер» так­же стал точ­нее пере­во­дить смысл ска­зан­но­го в видео. Теперь он учи­ты­ва­ет сти­ли­сти­че­ские осо­бен­но­сти речи, что дела­ет фор­му­ли­ров­ки более есте­ствен­ны­ми. Модель на осно­ве YandexGPT, исполь­зу­ю­ща­я­ся в пере­во­де видео, была при­зна­на лиде­ром по каче­ству пере­во­да с англий­ско­го на рус­ский язык по ито­гам меж­ду­на­род­но­го неза­ви­си­мо­го бенч­мар­ка DiBiMT.

Перевод ново­го поко­ле­ния уже досту­пен в «Браузере» во вре­мя про­смот­ра роли­ков, опуб­ли­ко­ван­ных на YouTube, в «Поиске» «Яндекса», на «VK Видео», «Дзене» и Rutube. Его могут вклю­чить все поль­зо­ва­те­ли, авто­ри­зо­вав­ши­е­ся в «Браузере» через «Яндекс ID». Перевод мож­но выбрать в пане­ли, кото­рая появ­ля­ет­ся при про­смот­ре видео в «Яндекс Браузере».