北航团队搞出了一个热红外成像和人工智能结合的新东西

孟偲带领的北航团队搞出了一个热红外成像和人工智能结合的新东西,麦姆斯咨询说了,最近这个叫TherNet的网络有了突破。他们在《IEEE Transactions on Pattern Analysis and Machine Intelligence》上发了论文,名字就叫“TherNet: Thermal Segmentation Network Harnessing Physical Properties”。 这个网络主要是想让机器既能看到数据,还懂物理道理。大家都知道热红外成像靠的是物体自己发热,可是成像质量老是受到大气、传感器还有物体之间相互干扰的影响。这就导致咱们平时用的那些纯数据驱动的算法,很难应对环境变化。 以前的方法缺什么呢?(1)大气把信号给挡住了。(2)传感器太慢了,跟不上动态场景。(3)物体之间热量乱串,边界分不清。(4)数据太少了,模型不顶用。这些问题要是不解决,分割出来的结果肯定不准。 为了克服这些困难,研究团队在两个地方下了功夫。一个是建模,他们把热辐射成像的理论用数学公式写了出来,并且证明了神经网络可以很稳地还原这个过程。另一个就是设计网络结构了,他们设计了四个专门的模块:(1)大气传输模块负责把大气吸收的信号补回来;(2)热惯性模块用来修正时间响应的滞后;(3)材料边界模块用来强化模糊的边界;(4)材料辐射模块用来区分材质不同但温度相近的物体。 这四个模块分工明确。大气传输、热惯性和材料边界这三个模块被放进了特征编码阶段,材料辐射模块则放在了语义解码阶段。这样一来,整个网络就被物理机理给引导起来了。实验结果显示,这个方法分割效果特别好,还在智能驾驶和视障导航这些实际场景里验证过了。 论文链接在这里: