《Plant Phenomics》：PanicleNeRF: Low-Cost, High-Precision In-Field Phenotyping of Rice Panicles with Smartphone
编辑推荐：
本文提出 PanicleNeRF 方法，结合大模型 Segment Anything Model（SAM）和小模型 You Only Look Once version 8（YOLOv8），利用智能手机视频实现田间水稻稻穗三维（3D）模型的高精度、低成本重建，有效提取稻穗性状，为水稻育种提供助力。
### 研究背景
水稻（
Oryza sativa L.）作为全球重要作物，养活了超过半数的世界人口。稻穗性状对水稻产量和品质意义重大，精准测量稻穗性状的方法对加速水稻育种、提高作物生产力至关重要。
众多基于实验室的水稻稻穗表型研究采用了 RGB 扫描、X 射线计算机断层扫描（CT）等技术。但这些方法局限于室内受控环境，且劳动强度大，需要将稻穗从田间收获并手动处理。
近年来，3D 重建方法在田间植物表型分析中得到越来越多应用。不过，对于水稻稻穗这种结构复杂、纹理重复且田间环境复杂的器官，精确 3D 重建仍面临诸多挑战。传统的结构光相机、地面激光扫描仪（TLS）等在田间应用时存在各种问题，如测量精度下降、灵活性受限等。
在处理智能手机拍摄的多视图图像时，空间雕刻、结构从运动（SfM）与多视图立体视觉（MVS）（SfM-MVS）、3D 高斯溅射（3D-GS）和神经辐射场（NeRF）等 3D 重建方法各有优劣。NeRF 虽在高质量 3D 模型重建方面展现潜力，但缺乏目标检测和分割能力，需要结合高质量图像分割方法。
材料和方法
田间实验设计和水稻材料 ：在海南陵水隆平高科和浙江嘉兴农科院的水稻成熟期分别进行了两个田间实验。种植了籼稻（S616 - 2261 - 4/Hua Hui 8612）和粳稻（Pigm / 浙江粳稻 99）。数据采集 ：在两个实验中各选取 50 个稻穗，在特定时间、天气条件下，用智能手机环绕目标稻穗录制 15 秒、分辨率为 1920×1080 像素、帧率为 30 帧 / 秒的视频，并从中提取多视图图像。录制后，将稻穗带回实验室测量实际性状。数据预处理 ：利用 SfM 计算相机位置和方向，采用姿态衍生视角方向（PDVD）和图像对齐滤波（IAF）过滤图像，减少图像处理时间。2D 图像分割 ：提出一种集成大模型和小模型的方法。利用 SAM 进行通用图像分割，再用 YOLOv8 进行实例分割，通过融合两者结果完成 2D 图像分割，并使用 F1 分数、交并比（IoU）和边界重叠（BO）评估分割性能。水稻稻穗 3D 重建 ：评估多种 NeRF 方法后，选择即时神经图形原语（Instant-NGP）进行 3D 重建。将 NeRF 生成的隐式密度场通过移动立方体算法和网格点提取转换为显式 3D 模型，输出点云。通过计算决定系数（R 2 ）、均方根误差（RMSE）和相对均方根误差（rRMSE）评估 3D 点云的准确性。水稻稻穗性状提取
点云处理 ：用密度聚类算法（DBSCAN）进行点云聚类，再通过主成分分析（PCA）区分标签和稻穗点云，并基于已知尺寸的参考标签进行点云尺寸校准。稻穗长度性状提取 ：对稻穗点云下采样，采用多切线角约束改进标准拉普拉斯收缩（LBC）骨架法，计算稻穗长度。稻穗体积性状提取 ：对校准后的稻穗点云进行体素化，根据体素数量计算稻穗体积。 开发网络平台 ：为方便使用，开发了网络平台（http://www.paniclenerf.com ），用户上传视频后，平台自动处理数据并生成重建点云的旋转演示视频和预测的表型性状。
结果
2D 图像分割 ：PanicleNeRF 在 2D 图像分割上表现优异，F1 分数、IoU 和 BO 值均优于 Mask-RCNN 和 YOLOv8，在处理复杂背景和稻穗分支结构时，能实现更精准的分割。水稻稻穗 3D 重建 ：PanicleNeRF 有效去除背景，准确提取目标稻穗和标签，生成的点云比传统 SfM-MVS 方法（如 COLMAP 和 Metashape）更完整、噪声更少、分辨率更高。稻穗性状提取 ：PanicleNeRF 能准确提取稻穗长度，籼稻和粳稻的 rRMSE 分别为 2.94% 和 1.75%。稻穗体积与实际粒数和粒重相关性强，籼稻的R 2 分别为 0.85 和 0.80，粳稻为 0.82 和 0.76。整个 PanicleNeRF 工作流程中，数据采集 15 秒，数据预处理 15 分钟，2D 图像分割和 3D 重建各 2 分钟，稻穗性状提取 4 分钟。
讨论
多模型融合在水稻稻穗 2D 分割中的优势 ：结合 SAM 和 YOLOv8 优势的 2D 分割方法，比单一模型性能更优。现有模型在作物数据集上表现不佳，而训练新的作物分割网络需要大量样本，目前数据不足。利用大模型的泛化能力和小模型的目标检测能力，可实现更精准的分割。PanicleNeRF 在精细尺度上的优势 ：传统 SfM-MVS 方法在处理田间稻穗场景时，因特征匹配错误、小物体深度估计误差和几何约束不足等问题，生成的点云噪声大、不完整。PanicleNeRF 通过神经网络学习场景信息，能更好地处理相似特征、重复纹理和视差不足的情况，生成更完整、细节丰富的重建结果。稻穗性状提取性能及比较 ：PanicleNeRF 在稻穗长度、粒数和粒重预测中，R 2 高、rRMSE 低。粳稻稻穗分支紧凑，其稻穗长度预测比籼稻更准确；而在预测粒数和粒重时，籼稻数据集表现更好。与其他方法相比，PanicleNeRF 能在田间快速评估稻穗性状，性能更优。局限性和未来展望 ：PanicleNeRF 在稻穗表型分析中表现良好，但存在通量有限、对采集环境要求高、数据预处理耗时等问题。未来可借助无人机等设备提高通量，利用多相机同步曝光减少风的干扰，设计专用数据采集设备优化预处理流程。
结论
传统 3D 重建和分割方法在处理水稻稻穗复杂结构和纹理时存在不足，不适合田间稻穗表型分析。PanicleNeRF 方法结合 SAM 和 YOLOv8 进行图像分割，利用 NeRF 技术进行 3D 重建，能有效提取和分析稻穗表型。该方法在 2D 图像分割、点云质量和稻穗性状提取方面表现出色，有望推动高质量田间水稻稻穗表型分析的发展，助力水稻育种工作。
打赏
下载安捷伦电子书《通过细胞代谢揭示新的药物靶点》探索如何通过代谢分析促进您的药物发现研究
10x Genomics新品Visium HD 开启单细胞分辨率的全转录组空间分析！
欢迎下载Twist《不断变化的CRISPR筛选格局》电子书
单细胞测序入门大讲堂 - 深入了解从第一个单细胞实验设计到数据质控与可视化解析
下载《细胞内蛋白质互作分析方法电子书》
