20 世纪 80 时代后期，超大规模集成电路（VLSI）发明者之一、美国加州理工大学院的 Carver Mead 教授初次提出了神经拟态的概念，设想用 CMOS 仿照电路的方法去仿照生物视网膜，建立具有生物核算特性的体系，并与学生打开了这方面的研讨。

　　src=后来这项技能从美国传播到欧洲，在全球规模内延伸开来，世界各地的科学家和企业家们的研讨都指向同一个问题：怎么才干让根据 CMOS 仿照电路所做出的视网膜更接近于人眼？

　　来自奥地利的 Christoph Posch 便是重视神经拟态技能的学者之一，自 2000 年左就开端从事神经拟态相关的作业，并和 Luca Verre 一同兴办了一家研制神经拟态视觉芯片的公司 Prophesee，在神经拟态视觉芯片技能范畴位居全球前列。

　　不久前，雷峰网与 Luca 进行了一次沟通，Luca 谈到了神经拟态视觉芯片技能的最新开展：人工视网膜范畴现已有成功事例，现在正在手机等消费电子方面寻觅愈加宽广的开展空间。

　　与人体的神经反射相同，电路中的神经拟态首要分为两个部分，承受信号的传感器和感触信号的神经中枢，因而衍生出类人眼和类脑等神经拟态芯片。仿照人眼的作业，首要是事情相机承当。

　　与传统的视觉传感器有所不同，事情相机是一种受生物启示而诞生的新式视觉传感器，有时也被称之为动态视觉传感器。在生物视觉中，一部分视觉细胞会对动态的事物灵敏，仿照人眼的这一特色，就诞生了用于灵敏捕捉运动物体的事情相机。

　　事情相机的中心在于，其间每一个像素处都有一个独立的光源，当该像素处的亮度改变超越设定阈值时，就会生成和输出脉冲数据，因而能够完结一些根据帧的传统相机无法完结的使命，例如高速运动、高动态规模建图等等，具有高动态规模和低时延等长处。

　　在神经拟态视觉技能方面具有二十多年研讨经历的 Christoph，看到了事情相机的潜力，以为是时分兴办一家公司，将这项技能从试验室带到商场。

　　Prophesee CEO Luca 告知雷峰网，大约八年前，Luca 在巴黎攻读 MBA，想在作业上寻求一些新打破，正是在这个时刻段结识了 Christoph，在听完其对神经拟态视觉技能的介绍和剖析后，遭到很大启示，清楚地知道这项技能将为商场带来巨大价值，所以毫不犹豫地决议同 Christoph 一同创业，几天后，Prophesee 就这样诞生了。

　　开端，Christoph 和 Luca 都以为，这项技能的实质在于开发一个仿照人眼的人工模型，因而能够用来仿照人眼视网膜的作业原理，协助视网膜功用受损的瞎子康复视力，因而决议将这项技能运用于医疗范畴。

　　因而在 Prophesee 建立初期，发布的第一代产品首要用于协助视障人士和瞎子康复视力。Luca 表明，Prophesee 的第一代产品首要用于生物电子公司 Pixium Vision 和生物制药公司 GenSight 的运用，现已获得不错的试验效果。 现在这两家公司正在想办法尽可能削减手术的复杂性，期望尽快把这项技能运用到更多患者身上。Luca 解释道。

　　Prophesee 作为神经拟态视觉技能方面全球抢先的公司，证明了事情相机在仿照人眼方面的潜力，为了进一步推进神经拟态技能的开展，Prophesee 决议一边继续坚持对医学运用的重视，一边将事务重心更多地转向手机端和电子范畴，以及工业范畴。

　　事实上，比起在仿照人眼上获得的开展，神经拟态视觉技能在工业和消费电子范畴开展更快，在 CMOS 痛点难解的状况下，以及智能手机同质化严峻的状况下，逐步演变成手机厂商未来比赛赛中的一部分。

　　追溯图画传感器的开展进程，开端以高像素、高制作难度的 CCD 器材为干流，后来逐步被功耗和本钱更低的 CMOS 替代。

　　但 CMOS 也有自己的问题，由于首要经过对光电流进行时刻上的技能完成曝光，从曝光到数模转化再到数据的传输耗时长，功耗高，影响图画的帧率，帧与帧之间距离时刻长形成信息缺失，然后添加了机器对图画的判别。

　　一起，CMOS 图画传感器输出 8-12bit 信息，数据传输量大、能耗高、读取慢、存储空间需求、大处理图画能耗高。

　　在 CMOS 图画传感器的开展进程中，也有不少厂商测验处理这些痛点问题，但根据其经过快门操控一切像素在同一时刻内进行积分曝光的作业原理，其帧率、数据量和动态规模三个参数难以平衡。

　　例如，在高动态规模的拍照中，常常运用多重曝光算法，即交融多个不同曝光时刻的帧图画而成高动态规模的图画，必定导致帧率下降，更多的数据运算和更大的体系延时，在要求短呼应时刻和捕捉快速改变的场景中无法适用。

　　src=咱们平常用手机拍照运动的物体时，尤其是在光线缺乏的状况下，会发现拍照方针的边际不太明晰，这是由于现在手机摄像头会在固定的时刻节点获取信息，当咱们按下相机快门，传感器开端进光，快门封闭。这段曝光时刻内，假如拍照方针发生移动，拍出来的相片就会含糊。Luca 说这是传统摄像头普遍存在的问题。

　　具有动态捕捉才干的事情相机能够更好地处理这些问题，因而近几年，索尼和三星都纷繁入局事情相机，抢在 CMOS 革新前夜做好布局，改进手机印象才干。

　　Prophesee 作为为数不多的事情相机草创公司，一起也是索尼的协作伙伴，鉴于在医学运用范畴的经历，也现已在智能手机范畴获得新开展，推出相片去含糊功用并现已和高通打开协作。

　　Luca 向雷峰网展现了选用 Prophesee 事情相机芯片之后所拍照相片与传统摄像头的项目比照，能够观察到前者所拍照出的正在运动中的球拍和球都愈加明晰。

　　src=咱们也有在和一些手机大厂进行协作，方针是在 2024 年完成量产。Luca 说道。

　　除了在手机摄像头范畴的运用落地，事情相机也能够在一些炽热赛道上发挥作用。

　　在 AR、VR 范畴，事情相机有望处理眼球追寻的难题，协助用户下降运用 AR、VR 设备时的晕厥感。一年前，Meta 在 WACV 会议上发布了一项有关处理眼动难题的运用研讨，便是根据 Prophesee 事情相机来检测场景中的改变。

　　眼睛移动的速度十分快，所以需求十分高速的摄像头盯梢眼睛的移动，但传统摄像头根据帧，快速追逐眼动需求十分高的帧率进行拍照，这会发生十分多数据，添加能耗和数据处理时刻。但事情相机能够针对信息的改变，只追寻移动物自身，在坚持低功耗低推迟的状况下完成高速追寻。Luca 解释道。

　　在智能驾驭方面，Luca 表明，Prophesee 现在的运用研讨首要会集在两个方面，一是监控驾驭员在座舱内的行为，在司机开车时对其注意力进行监控，例如经过监测眨眼的速度和频率，判别司机是否有呈现注意力下降的状况；

　　二是在辅佐驾驭方面，能够协助检测轿车前方的障碍物，尤其是在低光或许强光的环境下经过更高的动态规模供给更精确的障碍物勘探，进步行车的安全性。

　　现在，Prophesee 也现已和博世、英特尔以及雷诺日产进行协作，打开更多在轿车范畴的试验。

　　如此先进的神经拟态视觉技能，工艺本钱是否会比 CMOS 更贵，Luca 则表明，Prophesee 的传感器相同根据传统的 CMOS 技能制作，在工艺本钱方面适当，不过作为一项全新的技能，还需求进一步扩展研制投入，一起商场需求扩展，才干真实完成降本增效。