A neural algorithm for a fundamental computing problem

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布!

A neural algorithm for a fundamental computing problem

 

 

science, no. 6364 (2017): 793-796

 

Abstract

  相似性搜索(例如,识别数据库中的相似图像或网站上的相似文档)是大规模信息检索系统面临的基本计算问题。我们发现,果蝇嗅觉回路通过计算机科学算法的变体(被称为位置敏感哈希)解决了该问题。果蝇回路将相似的神经活动模式分配给相似的气味,因此当经历相似的气味时,可以应用从一种气味中学到的行为。然而,果蝇算法使用了三种不同于传统方法的计算策略。可以转换这些策略以提高计算相似性搜索的性能。这种观点有助于阐明支持重要感觉功能的逻辑,并为解决基本计算问题提供了概念上新的算法。

 

  许多神经回路的基本任务是响应输入刺激而生成神经活动模式,以便可以专门识别不同的输入。我们研究了果蝇嗅觉系统中用于处理气味的回路,并发现了解决基本机器学习问题的计算策略:近似相似性(或最近邻搜索)。
  果蝇的嗅觉回路会为每种气味生成一个"标签",这是一组神经元,当出现这种气味时会激发该神经元(1)。该标签对于学习行为对不同气味的反应至关重要(2)。例如,如果奖励(例如糖水)或惩罚(例如电击)与气味相关联,则该气味分别会变得有吸引力(果蝇会接近气味)或排斥(果蝇会避免气味)。分配给气味的标签稀疏——仅一小部分接收气味信息的神经元对每种气味做出响应(3-5),并且不重叠:两种随机选择的气味的标签共享的活动神经元很少(如果有的话),因此不同气味很容易区分(1)。

  气味标签是通过三步过程计算的(图1A)。第一步涉及从蝇鼻中的气味受体神经元(ORN)到肾小球结构中的投射神经元(PN)前馈连接。有50种ORN类型,每种类型对不同的气味具有不同的敏感性和选择性。因此,每种输入气味在由50个ORN发放率确定的50维空间中都有一个位置。对于每种气味,在50种ORN类型中,ORN发放率的分布呈指数分布,其均值取决于气味的浓度(6, 7)。对于PN,消除了这种浓度依赖性(7, 8);也就是说,在50种PN类型中,发放率的分布呈指数分布,所有气味和所有气味浓度的均值均接近相同(1)。因此,回路中的第一步实质上是使用称为除法归一化(8)的技术"将均值居中"(许多计算流水线中的标准预处理步骤)。此步骤很重要,这样果蝇才不会将气味强度与气味类型混淆。

  第二步,主要的算法研究开始于此,涉及神经元数量的40倍扩展:五十个PN投射到2000个Kenyon细胞(KC),由稀疏的二值随机连接矩阵连接(9)。每个KC接收并求和来自大约六个随机选择的PN的发放率(9)。第三步涉及一个赢家通吃(WTA)回路,其中强大的抑制反馈来自称为APL(前对侧向神经元)的单个抑制神经元。作为结果,除最高发放的5%的KC外,其他所有KC均被沉默(1, 3, 4)。这些剩余5%的发放率与分配给输入气味的标签相对应。

  从计算机科学的角度来看,我们将果蝇回路视为一个哈希函数,其输入是一种气味,其输出是该气味的标签(被称为哈希)。尽管标签应区分气味,但将非常相似的气味与相似标签关联起来对果蝇也是有利的(图1B),这样,当气味非常相似或带噪版本很大时,可以应用针对一种气味而习得的条件响应。学到的气味是有经验的。这使我们推测果蝇回路会产生对位置敏感的标签;也就是说,一对气味越相似(由该气味的50个ORN发放率定义),它们分配的标签就越相似。局部敏感哈希[LSH (10, 11)]函数是解决计算机科学中众多相似性搜索问题的基础。我们翻译了果蝇回路的见解,以开发一类LSH算法,以有效地找到高维点的近似最近邻。

  想象一下,为您提供了大象的图像,并试图从网络上数十亿幅图像中找到与大象图像最相似的100张图像。这被称为最邻近搜索问题,它在信息检索,数据压缩和机器学习中具有根本的重要性(10)。每个图像通常表示为特征值的d维向量。(果蝇在过程中产生的每个气味都是发放率的50维特征向量。)距离度量用于计算两个图像(特征向量)之间的相似度,目标是有效地找到任何查询图像的最近邻。如果网络仅包含少量图像,则可以轻松地使用蛮力线性搜索来找到确切的最近邻。如果网络包含许多图像,但是每个图像都由一个低维向量(例如10或20个特征)表示,则空间划分方法(12)同样可以满足要求。但是,对于具有高维数据的大型数据库,这两种方法都无法扩展(11)。

  在许多应用程序中,只要可以快速找到它们,就返回与查询"足够近"的一组最接近的邻居是足够的。这激发了一种通过LSH (10)查找近似最近邻的方法。对于果蝇,如前所述,对位置敏感的属性指出,产生相似ORN响应的两种气味将由本身相似的两个标签表示(图1B)。类似地,对于图像搜索,比起摩天大楼图像的标签,大象图像的标签将与另一幅大象图像的标签更类似。

上一篇:Codeforces-Div.1及格计划


下一篇:Codeforces Problem - 101C - Vectors