• 机器学习使单声道音轨变得更加身临其境

    2019-04-12 17:12:26

    机器学习使单声道音轨变得更加身临其境 机器学习使单声道音轨更加身临其境HomeHome EntertainmentPaul Ridden 12月29日,2018年2.5D系统能够通过在伴随视频中寻找视觉线索来近似单声道音轨

      机器学习使单声道音轨变得更加身临其境

      机器学习使单声道音轨更加身临其境HomeHome EntertainmentPaul Ridden 12月29日,2018年2.5D系统能够通过在伴随视频中寻找视觉线索来近似单声道音轨的声音方向(Credit:Syda_Productions / Depositphotos)立体声音响系统将为您提供对于乐器放置在制作团队创建的音景中的感觉很好。还有耳机可以自定义调整聆听体验,让您更加沉浸。现在,研究人员已经开发出一种机器学习系统,可以通过检查伴随的视频片段来计算单声道录音中的声音方向。一些机制可以帮助我们确定声音的来源。左边的噪音会首先击中我们的左耳,大脑用它来告诉我们声音确实来自我们的左边。我们面前的声音会毫无阻碍地到达耳道,但背后的声音会变形通过我们有趣的软骨和皮肤。同样,大脑使用它来计算声音方向。并且耳朵的形状可以帮助从上方,下方和周围放置声音。音量也可以是三维空间中声音放置的有用指示器。左侧的噪音在左耳上会比右侧响亮。而且,这些信息可以帮助大脑解决这种声音来自何处。精确地重建这种声音位置以实现单声道视频音轨是一项相当大的挑战。然而,德克萨斯大学奥斯汀分校的Ruohan Gao和Facebook Research的Kristen Grauman设计了一个他们称之为2.5D声音的系统,它使用视觉线索近似声音的方向,然后人为地扭曲左/右时间和音量研究人员首先建立了一个包含2000多个音乐片段的双耳录音数据库,附带视频。用于捕捉音频和视频的录音机由一对假人耳朵组成,两个人的头部宽度分开,麦克风在每个耳道拾取方向变化。使用GoPro动作凸轮记录设备前面的场景。然后使用音轨训练机器学习算法以识别录制视频中声音的来源。

       算法然后能够“观看”一个视频,并使用它学到的东西来扭曲单声道录音以模拟声音方向。“我们将结果输出称为2.5D视觉声音 - vi sual stream帮助将平坦的单声道音频“提升”为空间声音,“研究人员说。