“我们是夜鹰，我们打破黑暗，还原世界原本的色彩，让人们在黑夜中像白天一样地生产生活。”这是一个成员皆由“00 后”学子组成的团队，想借助“夜鹰”系统达到的目标。
“夜鹰”，是一套支持极低照度环境下高清视频全彩成像的夜视系统，通过小型暗室摄影棚构建低照度环境，来实现全彩夜视成像能力的展示。其开发团队，是在南京大学电子科学与工程学院彭成磊老师指导下，由该学院三名 2019 级本科生组成的。
他们基于深度学习算法，实现了在星光级 1mLux 极弱光环境照度下的无补光嵌入式高清视频全彩成像系统。该系统能以较低的成本部署到各种应用场景，并支持 80 个类别以上的目标识别功能，可广泛应用于城市安防监控、交通违规监测、保护动物追寻、石窟壁画保护等领域。
图丨“夜鹰”展示界面
暗光增强成像领域已有几十年的研究历史，也拥有激光夜视、热成像等技术。不过，这些技术都存在着诸多缺点，包括噪点多、颜色细节缺失、需要辅助光源以及目标识别难等。最重要的是，其最低极限照度始终保持在较高水平且难以下降。
在全彩夜视成为刚需的当下，先对硬件进行优化、再结合传统算法的方案已经走到极限，需要开发更好的技术，来满足不同应用场景对暗光成像的需求。
基于此，多年来专攻嵌入式智能系统和多光谱成像领域的彭成磊，带领蔡立本华、陈威宇和赵雨飞三位成员，组建嵌入式暗光增强全彩成像小组，完成了“夜鹰”系统的开发。
其中，队长蔡立本华主要负责模型算法的设计训练，赵雨飞主要负责模型部署和交互页面设计，陈威宇主要负责硬件系统设计选型以及软件框架搭建。该成果于近日在第五届中国国际进口博览会上英特尔展台上展示。
“夜鹰”系统可以把普通 CMOS（Complementary Metal Oxide Semiconductor，互补金属氧化物半导体）相机采集的极低信噪比的原始图像，通过自主设计的神经网络模型进行颜色恢复、噪声去除、亮度提升，并将增强后的成像结果显示到人机交互界面上。
其所达到的这种高清视频全彩成像效果，与此前相关工作实现的效果并不相同。“夜鹰”支持 540p 分辨率下每秒 24 帧的清晰稳定视频全彩成像显示。赵雨飞解释说：“该系统主要强调分辨率和全彩效果，并在此基础上保证帧率的流畅性。”
此外，为了提升用户易用性，该团队还扩展开发了更多交互功能。通过“夜鹰”系统的界面，使用者不仅可以查看采集到的原始图像、经处理恢复后的高清图像、视频实时帧率以及图像颜色直方图等信息，还能执行图像存储、参数调节、画面缩放等操作。另据悉，目前彭成磊实验室正在进一步推进全新支持 1080p 高清格式的“夜鹰”升级版本。
2022 年 9 月，研究人员凭借“夜鹰-暗光增强全彩成像”这一成果，在全球 25 个国家和地区的参赛队伍中胜出，获得了 2022 年度英特尔人工智能全球影响力嘉年华 18 岁以上组全球总冠军。