来源:“AIPP学术”公众号
研究背景
动态场景下的目标追踪
目标追踪是计算机视觉、人工智能和机器人领域的关键技术,尤其在需要实时响应和决策的应用中至关重要。动态场景下的目标追踪直接影响智能系统的决策能力、精度与鲁棒性,随着人工智能和计算机视觉技术的进步,其在各个领域中的作用将愈加显著。因此,开发更高效的目标追踪方法成为当前技术研究的重点。单像素成像技术作为计算成像的一个重要分支,利用单一光电探测器测量场景对结构光的响应,并通过算法重构图像。与传统相机不同,它不依赖传感器阵列,从而简化了系统设计并降低了成本。该技术在红外、紫外和太赫兹波段成像以及透过散射介质和非视域成像方面显示了独特优势。然而,现有的空间光调制器调制速率较低,限制了单像素成像的时空分辨率,尤其在目标追踪应用中面临挑战。因此,亟需发展新的方法以提升其性能。生物视觉机制在提升成像分辨率的同时可以有效降低数据处理量,为此提供了启示。基于这一策略的注视点成像技术已在提高感兴趣区域(ROI)分辨率方面取得进展,并且通过硬件优化和计算方法的结合,进一步拓宽了应用范围。因此,将单像素成像技术与生物视觉机制结合,成为在动态场景下实现目标追踪的有前景的途径。
研究亮点
1. 提出了受生物自适应可变瞳孔启发的单像素成像新方法,可根据目标姿态自适应调整ROI区域,提升成像分辨率。
2. 可针对场景目标,通过灵活的单元布局策略,实现多运动目标的姿态追踪、轨迹重现和大场景高分辨成像。
受自适应瞳孔启发的注视点单像素成像技术
作为一种新型计算成像技术,单像素成像技术利用无空间分辨率的光电传感器,测量成像场景对一系列预设结构光的响应光强,并从一维电信号中重构图像,其具有工作光谱宽、灵敏度高、非视域成像等优点。然而,单像素成像依赖大量光学调制,在时间分辨率和空间分辨率之间存在权衡,这限制了其在动态场景下对多姿态目标的高分辨率成像,成为其发展面临的主要挑战。
为解决上述挑战,中国科学技术大学龚兴龙教授、邓华夏教授团队提出了一种受可变瞳孔启发的自适应注视点单像素成像技术(PFSPI)。该技术通过改进掩模的单元布局来灵活调整中央凹区域形状,从而实现与多姿态目标的精准匹配(图1),并使高分辨率区域的最大利用率提升约63%。与传统的目标追踪方法不同,PFSPI实现了目标的姿态采集和高分辨率重建,通过强大的场景感知能力和大视场显著提高了成像性能,有望成为一种在动态场景下实现多姿态目标实时成像的实用方法。相关研究成果以“Adaptive aperture pupil-inspired foveated single-pixel imaging for multi-posture moving targets”发表在自然指数期刊《Applied Physics Letters》上,并被编辑部遴选为期最佳论文(Featured Article)。
图1.受生物视觉启发的自适应孔径中央凹成像
在不同环境下,生物进化出了不同形状的瞳孔,如捕猎动物猫科的竖状瞳孔和草食动物的状瞳孔等。该研究受生物自适应可变瞳孔启发,提出了一种自适应注视点的单像素成像技术。该技术能够在复杂场景下实现目标的精准捕获和高清成像。PFSPI不仅继承了单像素成像技术在传统多像素相机受限领域中的优势,如非可见光谱和弱光环境成像,还有效解决了单像素成像在时空分辨率之间的权衡问题。最关键的是,通过采用灵活的单元布局策略,该方法有效地调整了中央和周围区域的分辨率,以满足不同成像需求。这种实用的解决方案确保了中央凹区域的分辨率与场景特征相匹配,从而为大规模复杂场景下的多姿态目标追踪提供了有价值的参考。
图2.PFSPI在不同目标场景下的应用
团队介绍
上述研究成果来自中国科学技术大学智能材料和振动控制实验室计算成像课题组。论文第一作者为中国科学技术大学工程科学学院硕士研究生薛祎颢,通讯作者为龚兴龙教授、邓华夏教授和王冠博士后。该研究得到了国家自然科学基金和中央高校基础科研基金的资助和支持。
龚兴龙,中国科学技术大学近代力学系教授、博士生导师,国家杰出青年科学基金获得者,享受国务院政府特殊津贴。现任中科院材料力学行为和设计重点实验室主任。目前主要研究方向为智能材料和实验固体力学中的先进测量方法、技术与应用。已发表SCI收录论文四百余篇。自2019年斯坦福大学发表 “World Ranking of Scientists (2%)”以来,连续5年入选该榜单。2020年以来,已连续4年入选Elsevier发布的“中国高被引学者榜单”。
邓华夏,中国科学技术大学特任教授,获国家高层次青年人才项目、中科院高层次青年人才项目、安徽省自然科学基金杰出青年基金等特别资助。紧盯国家重大需求,围绕着动态系统的测试、控制和应用展开研究,在振动控制、量子计算成像等领域取得了一系列原创性的研究成果。已发表SCI收录论文一百余篇,授权国家发明专利50余项。获得了中国仪器仪表协会“金国藩青年学子奖”、英国利物浦大学最高奖“Duncan Norman Research Scholarship”、Frontiers in Materials “Rising Star”、安徽省科学技术奖二等奖等学术奖项。