戴琼海院士团队研发集成显微镜，只需皮肤图片就能生成诊断报告

来源：DeepTech
时间：2023-08-31 11:03:37

近日，清华大学戴琼海院士团队制备一款集成显微镜，其光学性能比同规格商用显微镜高出 5 倍，数值孔径为 0.1，体积和重量仅为 0.15 立方厘米和 0.5 克，尺寸比传统显微镜缩小 5 个数量级，景深扩大 10 倍以上。

(资料图片)

造价总成本不超过 10 美元，非常适合大规模生产，并在各种样本中均表现出良好的适用性。

（来源：Nature Communications）

针对这款集成显微镜在手机显微镜中的应用，课题组进行了一系列探索。

首先，他们将基于集成显微镜所研发的手机显微镜用于皮肤水分的检测中，通过将皮肤状态划分为缺水、适度及过饱和三种情况，成功实现准确率超过 80% 的皮肤水分检测。

其次，他们利用手机显微镜拍摄得到的高清晰度图像，进行皮肤病的诊断探索。结果显示，用户仅需使用手机拍摄自己的皮肤，借助本次集成显微镜就能生成详尽的皮肤诊断报告。

（来源：Nature Communications）

此外，他们还计划将手机显微镜用于快速的水源筛查工作。届时，只需将水源样本承载在载玻片上，使用手机显微镜拍摄之后，就能自动分析样本中是否含有可能致病的微生物，从而确保野外环境或资源匮乏地区的饮用水安全问题得到妥善解决。

（来源：Nature Communications）

担任相关论文第一作者的清华大学博士后张元龙表示：“我们的审稿人收到论文之后感到很兴奋。其中一位审稿人开门见山地表示我们的方法很好地启发了高性能微型成像设备的设计。他还表示这项工作将传统光学设计、计算成像和深度学习很好地结合在一起。”

图 | 张元龙（来源：张元龙）

日前，相关论文以《基于渐进优化和深度学习设计的大景深紧凑显微镜》（Large depth-of-field ultra-compact microscope by progressive optimization and deep learning）为题在 Nature Communications 上发表 [1]。

清华大学博士后张元龙是第一作者，清华大学吴嘉敏助理教授、方璐副教授以及戴琼海院士担任共同通讯作者。

图 | 相关论文（来源：Nature Communications）

作为生物学、系统神经科学以及临床诊断等领域研究的关键工具，光学显微镜的重要性不言而喻。

然而，众多传统的台式显微镜因其复杂的组成结构、巨大的体积和高昂的成本，导致在资源有限的环境中无法得到有效应用，这极大地限制了它们在各领域的应用规模和范围。

然而，微型化集成技术和深度光学技术的兴起，无疑为研发小型、低成本且高性能的成像系统提供了新的可能。

尽管如此，在简化光学系统的同时，对于现有的微型显微镜来说，其依然面临着难以实现大视野、大景深以及高性能显微成像的巨大挑战。针对这一问题，课题组开展了本次研究。

据介绍，本次工作最早起源于 2020 年底该团队与一家外部公司（下称“合作公司”）的“头脑风暴”。当时，合作公司期待在手机显微成像这一全新领域取得突破，旨在解锁对更微小物体的拍摄能力，为用户带来超越微距镜头的摄影体验。

然而，传统显微镜在设计过程中无法实现视场、分辨率和景深三大关键要素的平衡，不能完全满足用户的拍摄需求。

为解决这一难题，课题组与合作公司的产学研团队深入研究显微镜头的设计方法，提出了球面透镜模型、非球面与球面透镜混合模型、以及全非球面透镜模型等解决方案，以期逐步减小镜头所需体积。然而，这种方法依然比较传统，无法满足所需的性能指标。

与此同时，他们注意到一项新的深度光学技术：并行优化光学设计和图像处理算法。该技术已被证明在实现大视场、高动态范围和高光谱成像等方面具有显著优势。

然而，他们发现在简化型光学系统中，当前的深度光学技术会受到限制，并且面对微观应用中日益扩大的解空间和像差，该类技术在小工作距离和大视场角的应用中依旧面临巨大挑战。

此外，大多数用于恢复百万像素级显微图像的深度神经网络，需要大量的存储空间和计算资源，而这些资源在实际使用的集成系统中难以得到配置。

面对两条难以前行的道路，他们当时便想到：何不汲取两者的优势，将它们融合在一起？

于是，他们开始采用传统方法构建大框架，利用深度光学技术进行微调，并将系统与神经网络进行统一优化，借此提出了新的设计方案：一种渐进优化的策略。

使用该策略时，他们先是通过基于光线追踪的优势，将复杂设计空间中的严重非线性问题约束在可行范围内。

然后，通过集成具有立方相位分布的衍射光学元件，来增强点扩散函数的深度不变性，进而联合深度神经网络，对衍射光学元件参数配置做出共同优化。

在图像恢复任务上，本次研究采用一种名为“仿真-监督”的方法。即通过图像融合技术，来获取全焦清晰图像作为目标图像，借此建立一个物理感知模型，以便模拟集成显微镜的前向成像过程。其中，生成模糊图像作为输入图像，以供神经网络训练使用。

此外，通过对神经网络模型进行剪枝和压缩，可以让模型变得更加轻量化，从而便于在移动平台上部署。

图 | 集成显微镜渐进优化原理总览（来源：Nature Communications）

基于这种渐进优化的研发路线，以及运用先进的光学设计技术和基于物理先验的深度学习图像恢复算法，在满足微型化、大视场和大景深的要求下，课题组希望可以实现高质量的成像。

最终，遵循这一渐进型的优化路线所开发出来的集成显微镜，具备体积小巧、重量轻等特点，能够轻松嵌入手机之中，无需任何额外配件即可实现移动诊断应用的便携化。

（来源：Nature Communications）

张元龙表示：“我的博士导师戴琼海教授，一直特别喜欢看到实验室开发的新方法和新技术能够投入实际应用并解决实际问题，他以及其他老师对本项目的推进给予了大力支持。”

（来源：Nature Communications）

目前，课题组正在持续拓宽手机镜头设计的性能边界，也正在深入挖掘手机显微镜的潜力，以期设计一颗可以同时实现显微与微距成像的变焦镜头。

届时，用户既能通过微距焦段发现拍摄对象、构筑相应的构图，也能利用显微焦段捕捉无与伦比的细节。

最终，他们期望设计出这样一款或一系列镜头：既能实现如人眼般的视角和色彩再现，同时又能支持多种放大倍率，让普通用户也能拥有观察微观世界的细致能力。

另据悉，担任本次论文一作的张元龙，自本科来到清华以来已有 11 年之久。其于 2012 年进入清华大学航天航空学院学习并辅修数学双学位。随后在戴琼海指导之下完成博士研究及博士后项目。

“身在院士团队中，这既意味着巨大的压力，也预示着更高的期望。我身边的同侪都是卓越的人才，这迫使我投入更多的精力，以期更加卓越。”张元龙说。

未来，他将持续专注于生物医学工程交叉研究，致力于突破传统设备的极限，积极在交叉领域的科研挑战中寻求突破。

参考资料：

1. Zhang, Y., et al., Large depth-of-field ultra-compact microscope by progressive optimization and deep learning. Nature Communications, 2023. 14(1).

关键词：