全球首款具有AI处理功能的CMOS亮相 索尼IMX500和IMX501亮相
大家都知道,2020年5月14日,索尼正式亮相了两款具有AI处理功能的CMOS传感器——IMX500和IMX501。两枚传感器均采用了1/2.3英寸尺寸,拥有1230万有效像素。尽管在像素数和传感器面积上的数据不算突出,但是作为世界上首款在逻辑芯片上加入AI处理功能的CMOS芯片,IMX500和IMX501未来将会在包括物联网在内的众多领域实现更多的可能性,感兴趣的朋友不要错过了。
左: IMX500 右: IMX501
IMX500和IMX501在应用上的主要创新,是在CMOS上首次加入了AI图像分析与处理功能,因此可以帮助设备摆脱高性能处理器或外部系统进行运算,从而大大减少了传输数据量,得以让信息更快速、更低延迟的传输到其他写作单元上,减少功耗以及通讯成本。
全球首款配备AI处理功能的图像传感器
IMX500和IMX501采用背照式结构设计,拥有约1230万有效像素用于捕捉广角图像信息。除了传统的图像传感器运算电路之外,该逻辑芯片还配备了Sony专门用于AI信号处理的DSP(数字信号处理器)和用于AI模型的存储器。这种配置消除了对高性能处理器或外部存储器的需求,使其成为Edge AI系统的理想选择。
支持元数据输出
IMX500和IMX501可以通过ISP在处理阶段直接在逻辑芯片上进行AI处理,并直接提取信息作为元数据进行输出,从而大幅度减少了需要进行处理的数据量。同时元数据输出还可以有效的降低隐私安全风险。
视频高速AI处理
由于在逻辑芯片中增加了高速AI处理核心,使得传感器可以突破常规CMOS的单独输出静帧进行AI处理的逻辑。在视频拍摄过程中即可通过ISP及AI核心完成运算,并可在视频拍摄时对拍摄对象进行高精度实时跟踪。
可选AI模型
用户可以将自己选择的AI模型写入嵌入式存储器,并可以根据其要求或使用系统的位置条件对其进行重写和更新。例如,当在零售地点安装了使用该产品的多个摄像机时,可以在不同的地点、环境、时间或目的上使用多功能的单一类型的摄像机。安装在设施入口处时,可用于计算进入设施的游客人数;当安装在商店的货架上时,可用于检测库存短缺;当在天花板上时,它可用于热图商店访客等。