Сейчас для озвучки видео нейросетями нужен доступ в интернет. Разработка Broadcom и CAMB.AI позволит перенести и озвучку, и даже перевод видео в реальном времени на пользовательское железо.
Это означает, что при переводе видео, во-первых, задержка будет очень низкой, а во-вторых, сам процесс будет конфиденциальным, так как происходит на устройстве. Разработчики чипа говорят, что тот позволит переводить информацию на более чем 150 языков. Озвучивать перевод будет голосовая модель, которую используют NASCAR, Comcast и Eurovision (но какая — не сказано).
Пример работы чипа — перевод сцены из мультфильма «Рататуй». Модель, судя по всему, озвучивает подгруженные заранее субтитры и никак не сохраняет оригинальные голоса. Как технология будет работать в реальном времени, да ещё и с переводом аудио, пока неясно. Чип тестируется, поэтому до релиза ещё далеко. Но в перспективе такие чипы в смартфонах и телевизорах могут устранить языковые барьеры для большинства пользователей.
