NEC携手东京工业大学，以AI技术视觉识别度

视觉识别系统是指将企业的一切可视事物进行统一的视觉识别表现和标准化、专有化。通过VI，将企业形象传达给社会公众。视觉识别系统(VI)又可分为两大主要方面：一是基础系统，包括企业名称、品牌标志、标准字体、印刷字体、标准图形、标准色彩(宣传口号、经营报告书和产品说明书等八大要素;二是应用系统。它至少包括十大要素，即产品及其包装、生产环境和设备。展示场所和器具、交通运输工具、办公设备和用品、工作服及其饰物、广告设施和视听资料、公关用品和礼物、厂旗和厂徽、指示标识和路牌等等。

NEC与日本国立大学法人东京工业大学工学院奥富正敏教授、田中正行特定副教授的研究团队(以下简称东京工业大学)共同开发了“多模(注1)图像融合技术”，通过AI技术将一般摄像头拍摄的可见光图像与热成像相机拍摄的非可见光图像进行自动高效合成，且提高了单个图像拍摄时的视觉识别度。

在需要瞬时视觉识别的各个领域中利用此项技术，即便在恶劣条件下也可以实现正确判断。例如，夜间或浓雾等恶劣天气条件下也可以正常进行的设施监控;即便迎面行驶汽车的刺眼的车灯及黑暗造成视觉死角也可以使用的自动驾驶支持;不仅可以监测建筑表面的裂缝，还可以监测其内部异常的基础设施点检等。

以往想要合成不同种类摄像头拍摄的图像需要专家进行复杂的手动合成作业。而此技术则将各种摄像头采集的图像通过AI技术自动高效合成，无需手工操作。并且充分利用可见光图像和非可见光图像各自的优势，即便是以往人眼难以看清的场景也可以获得较高的视觉识别度。

NEC与东京工业大学今后也将继续通过产学合作形式共同研发支撑各项社会基础设施安心安全运转的图像处理以及AI相关技术。

【背景】

近年来，在图像传感器的不断升级及成本持续下降的背景下，将热成像摄像头及可捕捉物体内部构造的X光?太赫兹波?毫米波摄像头等非可见光摄像头应用到夜间、浓雾等恶劣天气、逆光、遮蔽等不利条件下的监控及诊断的情况越来越普及。但是这些非可见光摄像头比可见光摄像头的分辨率和画质都要低，视觉识别起来很困难，因此需要将可见光摄像头与之配合在一起使用，通过对比双方的图像进行监视和诊断。因此，想要快速精准地判断对象物体的状况是比较困难的。为解决这个课题，最好的办法就是将两种图像合成一个图像，但是过去的合成办法需要精通摄像头和摄影环境的专家亲自手动调整，从各自单独的图像中抽取出适于合成的部分，一边注意防止过度曝光和曝光不足以及噪点增强破坏图像等问题，一边进行复杂的图像合成作业。另外，在非可见光中包含的用于判断异常及危险物的特征很可能因为合成造成丢失，这也是一个重要课题。

NEC与东京工业大学通过学习了专家的变换技能的AI技术，将可见光摄像头与非可见光摄像头拍摄的图像自动高效统合，提高对象物?状况的视觉识别度，共同开发了即便在恶劣环境下也可以快速判断是否存在异常或危险物的“多模图像融合技术”。

图1：本技术适用例(注2)

【新技术的优点】

AI技术自动从多个图像中选择出视觉识别度高的图像，并在强调非可见光中包含的细小特征的同时进行图像合成，从而实现打破以往局限性的高度视觉识别。

AI技术会根据热成像摄像头、太赫兹摄像头等摄像头种类、环境特征(亮度、光线方向、有无障碍物)等不同条件，对图像内各部分的视觉识别度的高低进行评价，从而从各个图像中自动抽取出最适宜的部分。

此外，AI技术在处理非可见光摄像头拍摄的图像时，会针对异常及危险物的细小特征进行解析，进行适当的强弱调整以避免因过度曝光及曝光不足而破坏图像，从而自动生成以往无法实现的高视觉识别度的多模(可见光-非可见光)融合图像。

(注1) Multimodal(多模)

多种模式、形态。本文中提到的多模是指可见光摄像头拍摄的图像和红外线摄像头等非可见光摄像头拍摄的图像。

(注2) 获得创新研发推进项目(ImPACT)Tough Robotics Challenge关于恶劣环境模拟设备的许可并使用。