01
写在前面
我们常说人类是视觉动物。Colavita视觉主导效应*表明视觉障碍者对视觉信息存在强烈的偏好。当他们同时看到图像并听到声音时，他们可能会更加关注看到的东西而完全忽视了声音。
_*Colavita视觉主导效应：即当视听感官同时受到刺激时只对或优先对视觉信息做出反应。即对于大多数没有视觉障碍的人来说，视觉是最主要的感官。_
当视觉信息覆盖听觉信息输入时，会出现一些奇妙的现象，例如著名的麦格克效应*。但视觉占支配地位这个现象并不普在有些情况下，当视觉作为我们的主要感觉，但是它变得不那么有效时，我们就会依赖其他感官与感觉。其中一个情况是对时间的主观感知。
_*麦格特效应（McGurk effect）：指有时人类的听觉会过多受到视觉的影响从而产生误听的现象。当视觉看到的和耳朵听到的不匹配时人们会神秘地察觉到第三种声音。_有大量证据表明，听觉在时间处理中主导着视觉。 实验表明，当我们去感知一个视听事物的持续时间时，更多是是基于听觉，而不是视觉。声音感知持续时间通常被称为时间腹语术效应（temporal ventriloquism），与经典的腹语术效应相反（classic ventriloquist effect）。
腹语术效应是指在我们看电影时，我们可以清楚地感知到电影角色的语言是来自电视屏幕，而不是我们自己在发出声音的原因。在这种情况下，我们的视觉"捕捉"声音，影响我们对声音空间位置的判断。时间腹语术效应（Temporal ventriloquism）是则是一种反向效应。此文章是在游戏开发背景下对复杂感知机制进行的实用解释。每当我们接收到一个视听信息时，我们通常依赖视觉来理解事物在空间中的存在与运动，用听觉来感知他们在时间上的存在和运动。
并不是说视觉不可以用来感知时间，而是说当两个感官输入有些冲突的时候我们会更倾向于用听觉作为时间感知的来源。由于听觉会比视觉更快，人体会使用更快的感官来提供更可靠的输入来告诉我们时间也就十分合理了。
我们如何在日常工作中运用这些知识呢？我观察到了三种实际运用。
从最小的应用开始，我们可以使用单独的音效来配合屏幕上展现的视觉的事件，让它们看起来让人感觉更快、更流畅、更敏捷等；中等规模的应用上，有节奏的音乐会有助于传达游戏动态或者某一节事件的时间；最后我们还可以对背景音乐进行一些改变，来达到让玩家可以感觉时间流逝的快与慢。
02
音效与视觉动作
适时的声音可能会影响对视觉的感知。 一个著名的例子是双闪光错觉，声音使一些人看到两个快速闪光而不是一个。一个鲜为人知但更迷人的例子是运动反弹错觉，它展示了声音是如何改变视觉运动感知的，甚至在某种程度上会完全改变视觉事件。这些错觉在游戏开发环境中并不是特别有用，但它们表明了声音对我们所看到的内容有多大的影响。
由于听觉更占优势，所以我们可以通过声音有意地打破视听同步，在时间上分离同时发生的事件，并更好地传达它们的数量。
我做了一个简短的视频来演示这一点:
（此处为视频，请在原文中观看）
在视频中显示的两个箭头同时射中目标。直观地说，我们希望将声音与视觉效果是同步并同时播放的，做法就会像在刚开始时一样。然而，如果在时间上没有适当的分离，两个声音会融合成一个。这种感觉很奇怪，因为这种巧合在现实生活中不太可能发生。
我开始逐步延迟声音，注意每次延迟50毫秒时会发生什么。50 毫秒和 100 毫秒的延迟都让人感觉自然而可信。一些人甚至可能认为第二次撞击在视觉上是延迟的（多亏了时间腹语术效应！）。在150毫秒时，延迟很明显但仍然可以接受。只有在200毫秒时，缺乏同步才变得十分明显。
这个技巧有助于从感知上澄清视觉的混乱场景，因为有许多同时发生的事件。除此之外这个技巧还有其他实际应用。一项研究表明，音效会影响动画渲染的平滑度。当动画没有声音时，用户会更加容易注意到运动平滑变化使用的是较低帧率。最重要的是，尖锐、敏捷的声音使视觉运动看起来比没有音频时更快。
注意
我不主张使用音频来弥补视觉缺陷。解决上述问题的正确方法是首先在视觉上将事件分开。任何视听缺乏一致性都会降低感知的流畅性，并潜在地增加玩家体验时的认知负荷。但是，当你极度缺乏视觉上的资源或想要尝试不同的感觉时，这些技巧可能会有所帮助。
请记住，这些效应仅在相对较短的时间尺度上出现，并且范围有限。如果音频和视频在时间上间隔较大，那么它们就会作为两种不同且互不相关的信息出现。ITU-R BT.1359-1建议广播中视听去同步的特定阈值是这样的：检测能力阈值为+45，-125 ms；可接受性阈值为+90，-185 ms；其中正值表示声音先于视觉效果。考虑到我们的媒体的互动性，我将坚持使用更小的可探测性和可接受性范围。
03
节奏模式
还记得YouTube上那些动物随着音乐跳舞的有趣视频吗？仔细观察它们，你会意识到动物的运动通常与音乐节奏并不匹配。你的大脑会根据歌曲的节奏结构调整你对乐章的感知，欺骗你认为它们很合适。大多数人都不擅长视觉分析节奏。
从游戏开发的角度来看，这意味着 音频成为传达节奏模式的主要信息通道。 这在基于节奏和音乐的游戏中很明显，但在理解节奏可以帮助玩家赢得具有挑战性的战斗时，这一点很容易被忽视。游戏内事件的声音的准确和同步表示会指导玩家。如果你仔细玩过任何流行的战斗游戏，观察角色的节奏(不一定是音乐节奏)，以及声音如何帮助你理解这些节奏，你就很容易理解这一理念。你可能会觉着故意省略有节奏的音乐会让挑战难度增加，我觉着你说的没错，对任何感官作缺失处理通常不会提供一个有趣的挑战。因此我强烈认为这种设计应该十分慎重。听觉优势也是许多音效设计师在射击游戏中寻找与帧率无关的枪声音效的原因。视觉上，当游戏跳过一两帧时，玩家可能不会注意到；但在稳定的听觉节奏中，任何偏差都会变得非常明显。所以说这一点不容忽视。如果你想听一个例子，可以查看关于《Borderlands 3》武器音频的视频。
04
音乐和时间判断
有强有力的证据表明，在视听环境中，仅仅是音乐的存在就会导致对时间的高估。这意味着每当音乐播放时，我们就会觉得这种体验持续的时间比它实际持续的时间长。也有证据表明，音乐的存在正在导致人们低估时间。两个观点存在着冲突，但是两者都认为音乐的存在会比没有音乐导致时间估计不准确。
Ansani及其同事的一项研究将对时间的高估与意识唤醒*联系起来：音乐越激烈，人们就会越高估时间。作者特别强调节奏和音乐复杂性是增加唤醒的因素，他们会影响人对时间的感知。支持这些想法的研究并不少。这对我来说也非常有意义：每当我们被唤醒时，时间就会减慢，让我们对周围发生的任何事情做出反应。*意识唤醒：指人的潜在意识中存在着本人没有意识到的某种意识，需要被点拨，被“唤醒”。
另一项研究表明，在游戏中添加音乐会导致玩家估计时间比原本时间要短。研究人员要求一组测试对象在玩耍过程中估计时间，而另一组则被要求在玩耍后再评估比赛时间。只有第一批成员在演奏音乐时明显低估了时间。
一项关于赛车游戏的研究表明，玩家在自己选择的音乐作为背景音乐时会高估时间，而在其他人选择背景音乐时会低估时间。这与人们在购物时播放熟悉的背景音乐花的时间会更少的观点是一致的。更有趣的是，对赛车游戏的研究表明让人兴奋的音乐会使人估计的时间更短，而不是更长。
那么，到底发生了什么呢？总的来说，关于音乐和时间感知的研究领域很深奥，需要很长时间去研究。但是我没有花费太长时间，所以我的总结可能不是很深入，但也不差。对这种矛盾的一种合乎逻辑的解释是，这种影响是分情况的。一些音乐会导致高估，另一些会导致低估。但据我所知，目前没有明确的证据支持这一观点。
有证据表明，对时间的感知会根据人们对音乐的喜爱程度而变化。 在视听环境中，当播放的音乐与用户体验一致时，可能会发生时间高估。不愉快和不协调的音乐会导致对时间的低估。 如果这是真的，那么在大多数与游戏相关的环境中，我们就会高估游戏的价值：游戏通常配有与体验相一致的音乐来支持游戏体验，即使音乐本身听起来并不是很好听。上述两项关于游戏的研究都显示了对音乐的低估，但它们都没有明确地使用支持游戏体验的元素，所以人们可能会认为音乐是不协调的。
Ansani和他的同事提出了另一种解释，这种解释与我从研究中看到的一致。在大多数低估的情况下，人们会有意识地意识到时间在流逝——要么是在等待，要么是知道有人会让他们对要花的时间进行估计。相反，在大多数高估的情况下，人们没有跟踪时间并回顾评估它。
因此，音乐可能会对时间的前瞻性和回顾性判断产生相反的影响。在人们意识到时间的情况下，音乐可能会分散我们的注意力，使我们无法监控时间流动。在我们没有时间意识的情况下，它会让大脑记录更多的事件，使用更多的注意力和记忆资源，让整个经验变得更复杂。音乐的强度也会导致更高的唤醒。这可能是两种效果的调节因素。
为什么我们一开始要塑造玩家的时间观念?
对于这个问题，游戏设计师可能有更好的答案，但我看到了一些创造性的应用。例如，我们可以改变音量，让某些时刻感觉更长、更难忘。或者我们可以尝试着增加免费游戏的平均回合长度。
我特别感兴趣的是当玩家等待时的音频处理，如比赛安排、加载屏幕或类似的空闲时间。
05
写在最后
我想我应该给出一个明确的建议：不要在游戏中的空闲时间添加任何复杂的自定义音频，否则会给人感觉时间比实际上要更长。
我的主观经验和专业直觉中的每一点都表明这是正确的：当我们在加载屏幕上添加自定义音乐曲目时，我们让玩家有意识地意识到，游戏加载需要的等待似乎很长。
作为一个在周末写这个博客的人，我无法在适当的实验中测试这一点。但我非常有兴趣如何使用声音让人们忽略类似于等待的这段时间。这会让我们极大地改善许多游戏中的玩家体验。
#思考
看完这篇文章你有什么想法吗？欢迎评论区留言。
ABOUT US
参考文章：
作者：
Denis Zlobin
译者：糖醋排菇
为尊重版权和译者
转载请联系我们