金网-财经股票门户网站
金网
>
聚合
>
科技

在泰坦尼克号残骸上测试视频会议技术

2022-07-28 11:06:47 来源:
摘要:卡内基梅隆大学和卡尔斯鲁厄理工学院的一位研究人员在语音翻译技术方面处于领先地位,他潜入泰坦尼克号的残骸,以测试他在该领域的最新工作。“通过解释和重建自然语音通信,我们正试图以自然的方式减少科学家和飞行员在此类任务中的工作量,尽管存在盐水、操作压力、对话对话和不良声学条件带来的挑战,”Waibel说,CMU语言技术学院和卡尔斯鲁厄理工学院教授。

    在北大西洋下 13,000 英尺的潜水器内,亚历克斯·韦贝尔记录了自己在前往传奇沉船时讲述他的潜水和与飞行员交谈的过程。然后,他使用语音识别技术将语音转换为文本,并通过声纳将选定的信息传输到地面。在船上,Waibel 和他的团队开发的新技术将文本重新合成为视频,将其显示为视频聊天,使用 Waibel 的声音并显示他的嘴唇与文字同步移动。 
 
   

    在水下,特别是盐水中,无线电信号不起作用,与潜水器的通信求助于低带宽声纳信号。消息传递大多不可用或仅限于文本。当科学家潜入泰坦尼克号时,他们只能通过声纳发送的短信与水面进行交流。这是一个缓慢的过程,可能会让人恼火,并增加潜水器和船上船员的工作量。 
 
    “通过解释和重建自然语音通信,我们正试图以自然的方式减少科学家和飞行员在此类任务中的工作量,尽管存在盐水、操作压力、对话对话和不良声学条件带来的挑战,”Waibel 说, CMU 语言技术学院和卡尔斯鲁厄理工学院教授。
 
    Waibel 和他的团队开发了从文本中重建视频的合成方法。该视频具有合成语音,可以适应说话者的声音,说话者的嘴唇与生成的音频同步移动。该方法适用于需要通过低带宽传输进行视频会议或间歇性连接导致视频输入质量差、丢失、断开连接或完全没有视频会议的场景。该方法还可用于合成另一种语言的视频以进行视频配音。这项研究是在卡尔斯鲁厄理工学院和 CMU 计算机科学学院与 Zoom Video Communications 合作进行的。Waibel 是 Zoom 研究员,为公司的人工智能研究和语言技术开发提供建议。
 
    Waibel 作为 OceanGate Expeditions 航行的成员前往泰坦尼克号沉船时测试了这项技术。在第一次潜水中,Waibel 必须谨慎而有选择地进行。沉船位于极端深度和强流下,与地面的通信是关键任务。Waibel 在潜水器中携带了一台运行高级语音识别软件的笔记本电脑。选择的短文本片段通过声纳成功传输到水面,并在船上重新合成,输出口型同步视频。其他的后来被记录和处理。有了更多的经验,该技术可以帮助减少工作量并提高沟通的自然度。“就好像我们现在可以从深渊中进行视频会议”。
 
    Waibel 在泰坦尼克号残骸上测试的技术建立在他数十年来在语音翻译方面的开创性研究之上。Waibel 和他的合作者展示了第一个连续翻译和同声传译系统,开发了第一个在手机上的商业语音翻译系统,并创建了第一个同声传译服务。他还为人道主义任务开发了对话翻译,并为欧洲议会提供口译支持。2021 年,Zoom 收购了一家机器翻译公司Waibel共同创立,以增强平台的实时翻译能力。

图片新闻

返回顶部