索尼今天宣布开发两种新型成像传感器，即IMX500和IMX501。这些传感器的新功能是将AI芯片直接封装到传感器中。索尼表示，开发带有嵌入式AI芯片的传感器的整个想法是为了规避基于云的AI处理可能带来的各种问题。
索尼IMX500传感器结构
索尼IMX500不是常规的成像传感器，但实际上，它采用了索尼的堆叠传感器设计。索尼已经开发出将DRAM层夹在传感器的光学层及其电路之间的功能，以增加拍摄缓冲区。最初引入此功能后，这就是智能手机可以960fps超级慢动作拍摄的原因。现在，索尼已经设法将AI处理引擎打包到该层中，而不仅仅是具有DRAM。索尼称其为逻辑芯片，包括处理图像信号的ISP，专用于AI信号处理的DSP和AI模型的存储器。这种方法有两个明显的优点。该传感器的分辨率为12.3兆像素，对角线尺寸为1 / 2.3英寸。
目前，大多数与图像有关的AI处理都发生在云上，据Sony称，这可能存在隐私问题。此外，还有连接问题，如果您的手机失去与云的连接，则AI处理将停止。索尼的方法肯定可以缓解其中的一些问题。OEM可以使用任何类型的推理引擎对AI芯片进行编程，具体取决于传感器的部署位置。另外，可以对传感器芯片组件进行编程，以要么整体输出图像，要么放弃图像数据，而使用基于推理的信息。机载AI芯片可以由OEM编程的事实使IMX500的使用极为灵活。有趣的是，苹果公司的设备(例如iPhone 11 Pro)和华为公司的设备(例如华为P40 Pro利用设备上的AI处理，不依赖云。
潜在用例
索尼IMX500听起来像一个可以以多种方式使用的传感器。对于智能手机，可以通过在传感器上运行推理来减轻主要SoC的负担，而更高级的AI任务仍可以使用云来执行。该传感器还可以用在安全摄像机中，在安全摄像机中可以对其进行编程，以例如识别进入建筑物的人员是否戴着口罩。给定COVID的时间，这实际上可能是非常有用的事情。但是，可能性是无限的。
索尼IMX500和IMX501的可用性
索尼已经提到，IMX500已经交付给合作伙伴OEM，而IMX501将在六月开始交付。考虑到整个行业目前再次将重点放在百万像素大战上，我们不希望在智能手机领域看到这种传感器。
