现在，普林斯顿大学(Princeton University)和华盛顿大学(University of Washington)的研究人员利用一种粗盐粒大小的超小型相机克服了这些障碍。研究人员在11月29日发表在《自然通讯》(Nature Communications)杂志上的一篇论文中称，新系统可以产生清晰、全彩的图像，其体积是传统复合相机镜头的50万倍。

通过相机硬件和计算处理的联合设计，该系统可以实现医疗机器人的微创内镜诊断和治疗疾病，并改善其他机器人的成像尺寸和重量的限制。数千个这样的相机阵列可以用于全场景传感，将表面变成相机。

传统的相机使用一系列弯曲的玻璃或塑料透镜将光线弯曲成焦点，而新的光学系统依赖于一种被称为超表面的技术，这种技术可以像计算机芯片一样产生。这个超表面只有半毫米宽，布满了160万个圆柱形柱，每个柱的大小与人类免疫缺陷病毒(HIV)差不多。

每个柱子都有独特的几何形状，其功能就像光学天线。为了正确地塑造整个光波前的形状，必须改变每个柱体的设计。在基于机器学习的算法的帮助下，贴子与光线的交互结合，为迄今开发的全彩超表面相机产生了最高质量的图像和最宽的视野。

相机创造的一个关键创新是光学表面和产生图像的信号处理算法的集成设计。该研究的资深作者、普林斯顿大学计算机科学助理教授Felix Heide说，这提高了相机在自然光条件下的性能，而以前的超表面相机需要实验室的纯激光或其他理想条件才能产生高质量的图像。

研究人员将他们的系统产生的图像与之前的超表面相机的结果进行了比较，还将传统的复合光学相机使用6个折射透镜拍摄的图像进行了比较。除了镜框边缘有一点模糊外，这种纳米相机拍摄的照片与体积是传统相机50多万倍的镜头拍摄的照片不相上下。

其他超紧凑超表面透镜的图像畸变严重，视场小，捕捉全光谱可见光的能力有限——被称为RGB成像，因为它结合了红、绿、蓝来产生不同的色调。

“设计和配置这些微小的微结构来做你想做的事，这是一个挑战，”普林斯顿大学计算机科学博士生伊森·曾森(Ethan Tseng)说，他是这项研究的负责人之一。“对于捕捉大视场RGB图像的特定任务来说，这是一个挑战，因为有数百万这样的微型结构，我们不清楚如何以最佳方式设计它们。”

联合首席作者Shane Colburn通过创建一个计算模拟器来自动测试不同的纳米天线配置来解决这个挑战。由于天线的数量和它们与光交互的复杂性，这种类型的模拟可以使用“大量的内存和时间，”Colburn说。他开发了一个模型，以有效近似超表面的图像生产能力，并具有足够的精度。

作为华盛顿大学电子与计算机工程系(UW ECE)的博士生，他主持了这项工作，他现在是该学院的助理教授。他还在西雅图的Tunoptix公司指导系统设计，该公司正在将超表面成像技术商业化。Tunoptix是由科尔本的研究生顾问Arka Majumdar共同创立的，他是华盛顿大学欧洲经委会和物理系的副教授，也是这项研究的共同作者。

共同作者詹姆斯·怀特黑德是欧洲经济学院的博士生，他基于氮化硅制造了超表面，一种类似玻璃的材料，与用于计算机芯片的标准半导体制造方法兼容，这意味着给定的超表面设计可以很容易地以低于传统相机镜头的成本进行大规模生产。

“虽然光学设计方法并不新鲜,这是第一本系统使用表面光学技术的前端和neural-based处理,”Joseph Mait说Mait-Optik顾问、前高级研究员,在美国陆军研究实验室首席科学家。

“这项工作的意义在于完成了一项艰巨的任务，即联合设计超表面上百万个特征的大小、形状和位置，以及检测后处理的参数，以实现预期的成像性能，”没有参与这项研究的Mait补充说。

海德和他的同事们现在正致力于为相机本身增加更多的计算能力。除了优化图像质量，他们还希望增加目标检测和其他与医学和机器人相关的传感模式的功能。

Heide还设想使用超小型成像仪来创造“传感器表面”。“我们可以把单个表面变成超高分辨率的摄像头，这样你就不再需要在你的手机背面安装三个摄像头，但你的整个手机背面将成为一个巨大的摄像头。”我们可以在未来想出完全不同的方法来制造设备，”他说。

除了曾、科本、怀特黑德、马强达和海德，这项研究的作者还包括华盛顿大学的博士生黄罗成;以及普林斯顿大学博士后研究员白承焕(Seung-Hwan Baek)。

这项工作得到了美国国家科学基金会、美国国防部、华盛顿大学现实实验室、Facebook、谷歌、Futurewei Technologies和亚马逊的部分支持。

Journal Reference:

1. Ethan Tseng, Shane Colburn, James Whitehead, Luocheng Huang, Seung-Hwan Baek, Arka Majumdar, Felix Heide. Neural nano-optics for high-quality thin lens imaging. Nature Communications, 2021; 12 (1) DOI: 10.1038/s41467-021-26443-0