空间音频

不同材质的墙地表面，对于声音的吸收或者反射的特性是不一样的。反射回来的声音，可能频谱中的某些频率的能量损失更大。所以我们可以通过调整EQ（频率均衡）来模拟，比如衰减某些频段的EQ。但是真实情况确实是非常复杂的，比如，房间里有一面墙，墙上挂了镜子和毯子，那这面墙上就有3种不同反射效果的表面，各表面的大小形状，显然就会影响到早期反射和混响，精确计算会非常的困难。同理，房间里摆放的各种物品，也是会极大影响房间的空间音频效果的。我们都有生活经验，当搬家时把房间搬空，听起来就会跟有家具时差异很大。

如何实时判定游戏角色是否身处空间中，该空间的大小、形状、材质参数，以及为了模拟早期反射声所需的位置、朝向、声音障碍物等信息？简化的做法是只在游戏场景中划出空间区域，比如：山洞、房间等等，只需判断游戏角色是否在这个区域中，或是进入这个区域的入口边缘地带即可，这样的方式只能大致反映出发声点所处的空间环境信息，但基本上进入了这个空间后所有声音都是一样的，没有办法判断角色在这个空间中的具***置，通常对于空间定位要求不高的游戏会采用这种方式。对于空间定位要求高的，基本主流都会使用射线+空间信息编辑的方式，即在地图编辑中，详细指定出空间的大小形状、表面材质、障碍物件等等信息。然后通过从角色位置不停发出大量的射线，来标记空间信息，并返回某一时刻角色在空间中模拟空间音频效果所需的关键数据。这里我们可以看出，当然是射线越多效果越好，可是射线判定的系统消耗较大，硬件有限制的情况下就必须优化算法，有选择地发射线。比如，音源点到墙面的最短距离路径是最重要的，一定要有射线，音源后方的射线必要性较小，可以简化，等等。总的来说，就是主机游戏性能限制小，射线可以多，但手游性能限制就很大了，通常只能给出几条射线，是远远不够精确反馈空间信息的。

不同的房间，有不同房间的“音色”，也就是混响。这句怎么理解呢？混响声相当于是声波在房间里经过多次反射后密集的缠绕能量逐步消逝，这一系列反射声在听音位置进过人耳识别后产生的感觉。虽然早期反射声会因为声源在房间中位置朝向有区别，但是经过更长时间，更多次的反射之后，刚开始的反射路径差异就会被越来越多密集的来自四面八方的n次反射所抹平。反映到最终效果上，基本上只要是同一个房间，产生的混响声特性都是相似的。所以，通常我们都可以用一个简单的声源，比如敲一下鼓棒，录下房间里这个声源发声产生的混响效果，把录下的波形经过数学建模（或者不通过录下波形，直接根据混响原理数学建模），基本就能反映出这种类型房间的混响特性。这样我们需要把新的声音模拟房间的效果是，只需调出房间的混响模型，把新的声音套上去进行效果处理（这种抽象出的模型应用后，计算量就很低了），基本就能达到类似的听觉效果了。因为我们不可能所有房间都去录一遍，所以一般这类混响效果会开放些参数，让效果有些差别，这样模拟效果会有更多变化。这些参数通常有：混响类型（教堂、大厅、房间、板式、弹簧等等），混响时间（声能密度衰减到原来百万分之一所需时间），高频衰减率、混响扩散（房间是镜面反射还是漫反射）等等。

发声音源在空间中的不同位置、发声特性、朝向特性。位置、发声特性显而易见，这里简单说一下朝向特性，如果我们简单的按照6个朝向的一次反射声来说。理想化的音源，是一个朝四面八方散播出同等声波能量的球形音源，但是这种音源在现实中几乎不存在。比如我们以人发音的简化的例子，肯定是嘴朝向的那个方向，声波最没有受到影响，能量最大。方向偏离一些的声音，会受到嘴或者身体的影响，损失部分能量，跟嘴朝向相反的声音，因为声音要穿过头，显然能量损失最大。所以说，音源都是有朝向的，不同方向声波能量、频谱都是有差异的。但是，声波的传播速度是一样的，这就会导致，因为朝向不同，反射回来的6个1次反射波形，不仅先后速度（也就是反射回来到达耳朵的时间）有差异，能量特征也有差异，换成专业术语就是音量和频率均衡方面有差异。所以，如果我们发声的方向按朝这6个方向各转6次，得到的1次反射声波的特性都是有区别的。同理，如果挪动发音位置，显然也一定会影响这样6个1次反射声波的组合特征。这种区别，就是最简化版的人耳用来判断在房间的大小、位置、朝向以及房间声学特性的依据。这样最简模型下的，6个方向的1次反射声比较容易模拟（这句划重点，就是因为容易模拟才实用，也是游戏空间音频实际运用的基础），每一个方向的声音波形，计算经过反射后频率衰减和音量衰减（振幅衰减），再按照到达人耳的时间，跟直达声混合起来就行了。但真实世界的情况一旦复杂化，n（n接近无穷）个方向，n次、n阶反射声，对于算力的影响就很大了。

一个声音传播到人耳的不同阶段：直达声：发声后，球面推进出去的声波，直接传到我们耳朵里的，我们称之为直达声，在野外开阔的情况下，如沙漠草原等等，若忽略从地面的反射声之后，我们听到的声音基本都是直达声。早期反射声：经过障碍物反射后回到我们耳朵里的，我们称之为反射声。声波的速度是恒定的，根据发声位置，障碍物离声源的距离，反射面角度，决定反射声到达人耳速度的快慢有别。发声后，声波会在密闭空间中的来回四处弹射，总会有反射波较早到达人耳（通常在5-100毫秒之内）。这类反射声主要以初次或者二次反射声为主，我们称之为：早期反射声。混响声：之后的反射声依然不会消停，继续再次碰到障碍物，再一次次地被反射，一直到能量逐渐消失。因为无数声波四面八方的弹来弹去，这些经过多次反射的声音会密集缠在一起进入人耳，随时间能量越来越弱逐步消停。这种乱棍一样的多次反射声我们称之为：混响声。就像蝙蝠回声定位一样，通过解析早期反射声和混响声，人就能自然地分辨出房间有多大，墙面地面大概材质，房间里大致有什么东西，在房间什么位置发声，发声的朝向等信息。其中早期反射声的作用会更大些。