首页 关于我们

神经交响脑电图——神经生理学的数据声音化

作者:脑机接口社区 2024/11/25 10:12


神经交响脑电图 —— 神经生理学数据声音化
Neuro-symphonic Encephalography —— Data sonification for neurophysiology

每当一个神经元与它的许多“邻居”交流时,细胞就会瞬间改变它的膜电位——细胞内外的电荷差——哪怕是引起很小的变化,从而让大量的带电粒子,也就是盐离子流入细胞。膜两侧盐离子的这种变化代表了神经元的电活动。如果我们把大脑看成是一台咸肉电脑,那么神经元就像一种半导体,它会在极短的时间内切换到开的位置,然后再切换到关的位置,在这个过程中传递信息。这些是尖刺,它们真的会让你思考。 

在大众科学的描述中,脉冲神经元通常以一定的时间间隔放电。然而,现实却很少如此有条不紊。虽然还不清楚任何特定的峰值包含多少信息,但我们知道峰值的频率和时间,这是信息在大脑中流动的基础。

神经科学家对这些离散的、单一的峰值非常感兴趣,它们作为大脑中信息的还原单位——不存在携带不完整信息的不完整峰值;这是全或无的 (all-or-nothing)。如果我们对单个峰值感兴趣,并且我们认为它们的时序 (timing) 至关重要,那么我们如何才能清晰直观地呈现它们?

尖峰栅格图(Spike Raster)

栅格图是传达少量神经元随时间变化的活动的一种典型方法。这张图可以帮助识别细胞放电反应的模式,比如刺激引起的神经活动爆发,以及大脑相邻层之间更协调的振荡,比如海马体 (Hippocampal) 尖波纹 (Sharp Wave Ripple,SWR)。栅格图可以很好地显示少量脑细胞的尖峰活动。然而,当扩展到现代多电极阵列获取的数据量时,在数小时或数天内连续记录100个通道,光栅图可能会变得难以应对——神经动态也更难以解释。

栅格图是将单个神经元尖峰作为时间函数表示的一种简单而有效的方法,因此,呈现较长尖峰序列的自然选择是将静态栅格图扩展到视频中。一种常用的选择是冗余地描绘时间,即在x轴上进行空间编码,在动画中进行时间编码,引导观看者以视频播放的速度沿着屏幕移动他们的眼睛。或者,我们可以设置一个恒定宽度的时间窗口,如下面的视频左面板所示,从13秒开始,这样观看者的眼睛可能会一直聚焦在屏幕的同一部分。

尖峰声音化(Spike Sonification)

视频本身可能缺乏充分传递出神经活动的手段,所以添加声音来突出尖峰可能是一种有益的增强。这项技术可以追溯到早期的电生理学,将一个膜片钳夹中的神经元连接到电极上,电极本身连接到放大器上,放大器可以将神经元的微小电压变化转化为人耳可听到的压力变化。

这种尖峰声化技术可以让观察者使用我们灵敏的听觉系统进行模式检测;这个系统也能让我们注意到朋友在忧虑中的声音变化的细微差别,让我们得知他可能喜欢肖邦,讨厌五分钱乐队。我们可以使用声音来补充神经活动的可视化,通过使用我们精细调谐的听觉感官来听到神经元发射数据中的模式,以及看到它们。虽然这种方法可能无法通过使研究人员识别以前未被发现的模式来推动新的发现,但它可以使人们对体验神经生理学作为多感官体验的新欣赏手段。

作者的实验涉及使用 MIDI 发生器 (MIDI-generators) 对通过电生理学和光学生理学(例如使用荧光显微镜的钙离子成像)方法捕获的神经尖峰数据进行声波处理。下面,以下将分享这些项目的例子,学习如何成功地执行尖峰声化,以及对设计考虑的一些想法。

音高(Pitch)

现代研究人员通过他们的现代工具,比过去的模拟生理学家通过他们简单的贴片钳 (patch clamps) 和吉他放大器 (guitar amps) 提供了更多的创造性灵活性。由于多电极记录探针和统计处理技术(如脉冲分类)的技术进步,今天的神经科学家能够通过放电的特征来区分不同的神经元和它们的集合。这允许一种听觉属性——在这个例子中,音高,在外行人的术语中被定义为音调的高低——将神经活动的信息传达给听者,即该活动的声音表现。作者的获奖项目《猿猴交响曲》(《A Simian Symphony》)研究了在特定活动模式下,从海马体的不同预定义层记录的声化尖峰数据,即尖波波纹或SWR

(你可以在这里和这里阅读更多关于该项目的信息:https://diagnosticbiochips.com/our-story/blog/a-simian-symphony;https://directorsblog.nih.gov/2023/12/08/experiencing-the-neural-symphony-underlying-memory-through-a-blend-of-science-and-art/)。

对于这种活动,活跃细胞的解剖深度是一个有趣的变量,它揭示了整个活动的本质。通过根据一个已知的实验特征(在这个实验中,是脉冲细胞的深度)设置与每个脉冲相关的声音音高,就有可能听到大脑各层之间交替激活的模式。

正如上面的视频所揭示的那样,虽然许多听众可能会抱有某种期望,认为尖峰声化会提供一种美观的旋律,但情况并非总是如此。这里存在一个技术挑战,因为人类能听到的音高范围是有限的。将这一有限范围进一步限制为从一个令人满意的音阶(如主要音阶)中提取,可能会限制峰值数据声化的可行性。以MIDI生成器为例,它可能是著名的数字声音工具。在这个系统产生的128个独立音高中,只有50个属于大调音阶(major scale)。

作者的另一个尖峰声化项目,《A Cubic Millimeter of Mouse Brain》(如下所示),收到了很多反馈,认为尖峰声化的音轨并没有被所有听众完全理解。这段视频展示了55个功能匹配的神经元模型 (来自皮层网络机器智能项目;Machine Intelligence from Cortical Networks) 在一个高度互联的皮质柱 (Cortical Column) 中放电的视听表现,该皮层柱由Vernon Mountcastle于1955年首次提出,作为大脑中计算的功能单位。

节奏(Tempo)

另一个对尖峰声化至关重要的参数是尖峰发生的速度。近乎实时的时间回放有助于促进大脑活动和行为之间的比较,比如一只动物的运动。下面的MIDI生成的示例以实时速度播放。虽然可以听到神经活动的全局模式,但回放速度可能有点太快,无法清楚地检测到尖峰的序列。

然而,实时回放速度对于表示所有的神经峰值活动并不是必要的,甚至也不是有用的,例如当有趣的是神经元放电的序列顺序时。例如,在《A Simian Symphony》中,动画开始使用实时回放速度以尽可能接近原始格式显示数据。然而,这个项目背后的研究团队感兴趣的是在特定的涟漪 / 连锁 (ripple) 事件中细胞集合的激活顺序。为了更好地揭示这种顺序,声音回放速度被减慢到实时速度的1/200,让听者更容易地欣赏它们序列中的单个音符。

超越尖峰:作为神经交响曲的场电位
(Beyond Spikes: Field Potentials as a Neural Symphony)

敲击钢琴琴键或钢鼓所产生的不连续的打击声,非常适合于神经元尖峰等“全或无”的事件。然而,大脑中许多更有趣的信号是由许多神经元的集体行为引起的电压的大规模波动产生的节奏。这些波动是由它们的局部场势 (Local Field Potential,LFP) 和派生电流源密度 (Current Source Density,CSD) 描述的连续变量。这些术语分别描述了脑组织极化的方向和强度(有多强的正极性或负极性?)以及极化在组织中的分布(极化强烈的地方是哪里?距离极化源越远,极化如何衰减?)。这些组织尺度的电位变化测量提供了一个更广泛的神经活动视角,超越了单个峰值。在这种情况下,从多个电极通道连续记录感兴趣的大脑活动信号,这些电极通道在被研究的脑组织中物理间隔。这种丰富、连续和多通道的数据好由一组持续乐器来代表,这些乐器可以在音符的不同质量(如音量或音高)下长时间保持一个音符,例如小提琴或圆号部分。

上面的音频记录显示了使用上面绘制的数据生成的交响乐。每个小提琴声道的音高编码了该声道对应的电极和神经元的空间深度,而小提琴的音量则根据每个电极记录的电压变化而随时间变化。使用这种技术,可以同时看到和听到在 SWR 期间海马体各层之间的信号波动。

在《A Simian Symphony》的最终版本中,单位尖峰声化(钢琴音符)和可视化(闪点)被叠加到 LFP 和 CSD 视听数据(蓝红色背景和小提琴交响曲)上。由于 SWR 发生得非常快 (在50毫秒内),回放速度被显著减慢,以允许观看者欣赏大脑中一些同步的振荡模式的动态。

结论

所描述的实验当然没有调整所有在进行神经活动数据声音化时可以操作的参数。然而,它们揭示了在图形中添加音频层可以帮助更深入地吸引观看者,通过将数据可视化转变为多感官的、沉浸式的、直观的体验。

来源:泰和利康Bioreco

仅用于学术分享,若侵权请留言,即时删侵!

本文来自新知号自媒体,不代表商业新知观点和立场。
若有侵权嫌疑,请联系商业新知平台管理员。
联系方式:system@shangyexinzhi.com