В сотрудничестве с OpenAI1 разработчики Spotify2 планируют перевести популярные подкасты на другие языки. Новая технология изменения голоса позволит натурально копировать манеру речи говорящего. Помимо этого, подкасты, записанные на английском, можно будет послушать на других языках с сохраненными «отличительными чертами речи говорящего». В качестве пилотного запуска материалы 5 подкастеров будут переведены на испанский, французский и немецкий языки.
«Мы считаем, что вдумчивый подход к искусственному интеллекту может помочь установить более глубокие связи между слушателями и создателями, что является ключевым компонентом миссии Spotify по раскрытию потенциала человеческого творчества», — говорит Зиад Султан, вице-президент по персонализации Spotify.
Глобализация контента
MrBeast, самый популярный YouTube-блогер в мире, давно имеет на своём канале встроенный дубляж видео на 13 языков. Правда, по сей день этим занимаются актеры дубляжа. Так, японский голос блогера — голос Наруто из культового японского аниме-сериала3. В коротком интервью для канала Creator Insider Джимми (настоящее имя YouTube-блогера) рассказал, что решение о мультиязычном контенте позволяет охватить как можно больше зрителей. К примеру, на испанском канале каждое видео набирает больше 20 миллионов просмотров, а на португальском канале — от 5 до 10 миллионов.
По мнению MrBeast, «если взять самые популярные 15 языков, то ты уже можешь охватить 90% населения мира».
Кроме того, решение централизовать все каналы, отмечает MrBeast, оптимизирует администрирование — не нужно создавать дюжину различных обложек, да и «это гораздо проще для фанатов». Основная причина перехода на мультиязычный формат — глобализация контента и продвижение алгоритмами, что влечет за собой растущую популярность и поднимающиеся цены на рекламные контракты, а это применимо не только к авторам, но и к корпорациям вроде Spotify.
Сервис HeyGen
В начале сентября русскоязычный интернет был наполнен новостями о свежей функции сервиса HeyGen: появилась возможность переводить видео на другой язык. Мемы — важный культурный феномен современности — стали первыми «жертвами» нейросети, и результат оказался поразительный. Настоящие актеры дубляжа сталкиваются с необходимостью подстраиваться под длину оригинального материала, однако искусственный интеллект (ИИ) создает виртуальную версию лица — deepfake — и заменяет настоящее лицо на то, которым может управлять. В итоге, мимика меняется в соответствии с переводом. Ещё зимой в Сети начали обсуждать схожую технологию TrueSync от Flawless AI: у программы такой же принцип работы и функционал, но, из-за меньшей доступности, она оказалась менее популярна.
Александр Коновалов, генеральный директор vidby — швейцарского стартапа, который также занимается дубляжом видео с помощью ИИ на 70 языков — в интервью для Forbes говорит о том, что «несоответствие между речью и мимикой отталкивает зрителей от просмотра и влияет на эффективность коммуникации», а подобные технологии улучшат восприятие контента. Вместе с тем, решается проблема дубляжа речи пожилых людей и детей из-за особенностей дикции: сейчас исследования сосредоточены на речи молодых и людей среднего возраста.
Пока что описанные программы не используются где-либо в качестве надежных инструментов постпродакшна, но, по прогнозам Fortune Business Insight, мировой рынок искусственного интеллекта уже к 2029 году достигнет около $1.4 трлн, а значит, уверенное развитие подобных технологий обеспечено.
- OpenAI — американская компания, занимающаяся разработкой и лицензированием технологий на основе машинного обучения.
- Spotify — стриминговый сервис, позволяющий легально прослушивать музыкальные композиции, аудиокниги и подкасты, не скачивая их на устройство.
- «Наруто» — сериал, рассказывающий о жизни шумного и непоседливого ниндзя-подростка Наруто Удзумаки, мечтающего достичь всеобщего признания и стать Хокагэ — главой своего селения и сильнейшим ниндзя.