索尼宣布了全球首款集成了AI智能的图像传感器。新型IMX500传感器兼具处理能力和内存功能，无需额外的硬件即可执行机器学习驱动的计算机视觉任务。索尼表示，结果将是更快，更便宜，更安全的AI相机。
 
在过去的几年中，从智能手机到监控摄像头的各种设备都受益于AI的集成。机器学习不仅可以用来改善我们所拍摄图片的质量，而且可以像人类一样理解视频。在框架中识别人和物体。这项技术的应用非常广泛（有时令人担忧），从无人驾驶汽车到自动监控，应有尽有。

 
但是许多应用程序依靠将图像和视频发送到云进行分析。这可能是一个缓慢而又不安全的过程，使数据暴露给黑客。在其他情况下，制造商必须在设备上安装专门的处理内核，才能满足额外的计算需求，例如苹果，谷歌和华为的新型高端手机。
 
从左到右：作为裸芯片的IMX500和作为封装产品的IMX501。索尼电子公司
 
但索尼表示，与这两种方法相比，其新型图像传感器提供了更为简化的解决方案。
 
索尼业务与创新副总裁马克·汉森（Mark Hanson）谈到边缘计算时说：“还有其他方法可以实现这些解决方案，”边缘计算使用的是未直接连接到图像传感器的专用AI芯片。 “但是我不相信它们会比我们运送数十亿个图像传感器具有更高的成本效益。”
 
IMX500适用于商业客户，而非消费类硬件
 
索尼在图像处理市场的巨大影响力必将使这项技术大规模推向客户。汉森指出，该公司拥有超过60％的市场份额，去年出货了约16亿个传感器，其中包括苹果iPhone 11 Pro中的所有三个相机。
 
 
不过，这种第一代AI图像传感器不太可能最终出现在智能手机和平板电脑等消费类设备中。取而代之的是，索尼将瞄准零售商和工业客户，汉森（Hanson）则将亚马逊的无现金Go商店作为潜在应用。
 
在亚马逊的Go商店中，零售商使用数十个具有AI功能的相机来跟踪购物者，并向他们收取从货架上抓取的物品的费用。汉森说：“他们每天放置数百个摄像头，并且正在运行PB级的数据，而其便利性得分却很小。”报告表明，由此产生的硬件成本减慢了这些商店的推出速度。 “但是，如果我们可以最小化该功能并将其放在芯片的背面，我们可以做各种有趣的事情。”
 
亚马逊在西雅图开设了第一家无收银台便利店
AI计算机视觉的许多应用程序（例如Amazon Go）都需要大量昂贵的相机。 Stephen Brashear /盖蒂图片社摄
除了节省成本外，还有隐私保护。如果AI芯片直接粘贴在图像传感器的背面，则可以在设备上完成对象检测。图像传感器本身不会执行需要进行的任何AI分析，而只是发送元数据，而不是将要分析的数据发送到云或附近的处理器。
 
好处包括更大的隐私和更快的处理速度
因此，如果您想创建一个智能相机来检测有人是否戴着口罩（目前是一个非常现实的问题），则可以为IMX500图像传感器加载相关算法，该算法可使相机快速发出“是”信息。 ”或“不” ping。
 
汉森说：“现在，我们已经消除了通常是每秒60帧的4K视频流，只是‘嘿，我认出了这个物体’。” “这可以减少数据流量，并且还可以帮助保护隐私。”
 
另一个大的应用是，其中需要图像传感器来帮助所谓的协作机器人（旨在与人类紧密合作的机器人）免于殴打他们血肉充沛的同事的麻烦。集成AI图像传感器的主要优点是速度。如果合作机器人检测到不应有人员进入的人并且需要快速停车，那么尽快处理该信息至关重要。

 
大陆集团股东周年大会
 
人工智能摄像头还有助于使设计为与人类并肩工作的机器人安全。朱利安·斯特拉施特尔特（Julian Stratenschulte）摄影/图片联盟通过Getty Images
索尼表示，IMX500在执行此类任务时比许多其他AI相机快得多，并且能够在3.1毫秒内将标准图像识别算法（MobileNet V1）应用于单个视频帧。汉森说，相比之下，竞争对手的芯片，例如由英特尔拥有的Movidius生产的芯片（用于Google的Clips相机和DJI的Phantom 4无人机），可能需要数百毫秒（甚至几秒钟）的处理时间。

但是，最大的瓶颈是IMX500处理更复杂的分析任务的能力。 汉森说，目前，图像传感器只能使用漂亮的“基本”算法。 这意味着在可预见的未来，诸如驾驶自动驾驶汽车之类的更复杂，更多样化的任务肯定需要专用的AI硬件。 而是将IMX500视为简单的单应用程序设备。
 
但这只是第一代，未来技术无疑会得到改进。 目前，相机更智能，因为它们将数据发送到计算机。 将来，相机本身将成为计算机，并为其提供更智能的解决方案。
 
IMX500的测试样品已经开始向早期客户发货，价格从10,000日元（93美元）起。 索尼预计首批使用图像传感器的产品将于2021年第一季度上市。