就像对ARKit的3D模型所做的那样，Apple正在开发一种新的音频格式，即使在用户移动，戴着“ Apple Glass ”或其他AR设备(可能基于该设备)时，也可以更轻松地在用户周围放置声音。公司与皮克斯的合作。

以前已经证明Apple正在为Apple AR制作高分辨率视频图像，但现在它还致力于与之配套产生高质量的音频。在一对新的专利申请中，该公司正在研究与空间音频有关的选项。

具体来说，Apple希望建立一种音频格式，例如.MP3或.AAC，这已成为一种标准，并结合了AR所需的额外空间信息。该格式不仅需要包含实际的音频，而且还远远超出在立体声图片的左侧还是右侧播放元素的范围。苹果此前曾与皮克斯合作开发一种名为USDZ的格式，该格式用于将音频放置在用户周围的3D空间中。

“用于空间音频的文件格式”是一项新的专利申请，可能正在记录该皮克斯作品的至少一部分。但是，苹果此前曾表示，其与USDZ的目标是帮助跨消息，新闻和邮件等应用共享。

“在增强现实(AR)，虚拟现实(VR)和混合现实(MR)应用程序中产生三维(3D)声音效果是具有挑战性的……因为现有的音频格式最初是为在物理环境中产生3D声音而设计的具有固定的扬声器位置和固定的听众，”苹果在新应用程序中说道，“例如在电影院中。”

苹果将​​AR，VR和MR统称为“模拟现实”(SR)，并表示希望在许多现有3D音频格式的基础上发展。继续说：“ [例如，旨在产生3D声音的空间音频格式包括MPEG-H(运动图像专家组)3D音频标准，HOA(高阶Ambisonics)空间音频技术和DOLBY ATMOS环绕声技术”。

问题既与观众感知声音的位置以及创作者可以选择放置效果或音乐的位置有关。苹果公司说：“在SR环境中产生3D声音效果的一种替代方法是操纵音频对象中包含的离散声音，这些声音实际上可以位于3D环境中的任何位置。”

它继续说：“ [但是，使用现有的空间音频格式和对象为SR应用程序合成音频是困难的，因为没有统一的方法来访问各种声源并将它们合并到动态SR环境中。”

苹果公司提出的解决方案是创建一种格式，该格式类似于.m4v和.mp4是将不同元素组合在一起的“容器”格式。对于苹果公司对空间音频的新要求，该公司建议创建一个“音频资产库...，其中包括资产元数据，使模拟现实(SR)应用程序开发人员可以为SR应用程序编写声音。”

苹果公司说：“音频资产经过了格式化，包括音频数据，这些数据编码了能够被编入SR应用程序的声音，以及资产元数据，不仅描述了声音的编码方式，而且还描​​述了SR环境中听众的感受。声音。

该专利申请归功于四个发明人，其中两个具有相关的先前专利。例如，斯蒂芬·平托(Stephen E. Pinto)获得了有关“ Apple Glass”的空间音频导航的专利，而克里斯托弗·E ·尤班克(Christopher T. Eubank)则致力于在Apple AR设备中制作高分辨率图像的计划。