《Communications Biology》:Diffusion MRI GAN synthesizing fibre orientation distribution data using generative adversarial networks
编辑推荐:
在医学成像领域,深度学习技术依赖大量训练数据,临床数据却受限,尤其是罕见病数据稀缺。研究人员开展基于生成对抗网络(GANs)生成纤维取向分布(FODs)数据的研究,成功训练 α-WGAN 生成的 FODs 能产生准确纤维束和连接组,为扩充临床数据集提供新途径。
在医学影像分析的前沿领域,深度学习技术就像一把神奇的钥匙,为临床影像数据的自动化分析带来了无限可能。卷积神经网络(CNN)在病变检测、MRI 数据分类和分割等任务中表现出色,然而这把钥匙想要发挥最大作用,却面临着一个棘手的难题 —— 训练数据不足。临床数据的收集不仅耗时耗力,而且个人数据使用受限,尤其是在罕见病研究中,数据更是稀缺,这极大地限制了深度学习在医学领域的广泛应用。
为了突破这一困境,来自德国柏林夏里特医学院(Charité Universit?tsmedizin Berlin)、芬兰东芬兰大学 A.I. 维尔塔宁分子科学研究所、阿尔托大学理学院神经科学与生物医学工程系、意大利墨西拿大学脑图谱实验室等机构的研究人员展开了深入研究。他们的研究成果发表在《Communications Biology》上,为医学成像数据的扩充带来了新的希望。
研究人员的核心目标是利用生成对抗网络(GANs)来生成复杂的医学成像数据,尤其是纤维取向分布(FODs)数据。FODs 是一种复杂的数据类型,它通过将扩散建模为球谐函数,并将权重存储为多个三维体积,能够反映大脑白质中轴突纤维束的方向和密度等微观结构信息,对于研究大脑的结构连接至关重要。
为了实现这一目标,研究人员采用了一种改进的 α-Wasserstein GAN(α-WGAN)模型。该模型结合了 Wasserstein GAN 和变分自编码器(VAE),有效避免了传统 GANs 中常见的模式崩溃和训练不稳定问题。研究数据来源于人类连接组计划(HCP)的公开数据,研究人员从中提取并处理了 FOD 图像,构建了训练集和验证集。在模型训练过程中,他们精心调整参数,经过 37000 次迭代训练,最终成功让模型学会生成 FODs 数据。
下面来看看具体的研究结果:
- 视觉检查和 FOD 值直接分析:通过生成的 FOD 图像,能够清晰识别大脑的主要解剖结构,如脑室、基底神经节、胼胝体等,也能捕捉到特征性的白质纤维束。不过,合成数据存在一些小问题,比如部分体素值不太符合生理情况,图像相比验证数据略显模糊。这是因为 VAE 本身存在一定的局限性,但与低分辨率的纯 VAE 生成的 FODs 相比,α-WGAN 生成的图像在空间细节上已有明显提升。
- Tractography 和结构连接组:对生成的 FODs 数据进行处理,成功得到了有意义的 tractography-derived 连接矩阵和结构连接组。与验证数据的连接组相比,两者结构相似,但合成数据的连接组在一些指标上存在细微差异。例如,合成数据的全局效率略低于验证数据,不过两者连接组的相关性系数分布相似,这表明生成的连接组在整体结构上与真实数据较为接近。
- 单个纤维束:使用不同算法重建单个纤维束,发现合成 FODs 得到的纤维束在形状和大小上与验证数据相似,但部分小纤维束如 UF 在合成数据中重建困难。此外,合成数据的纤维束体积普遍比验证数据小,不过纤维密度的变化趋势相似,这说明生成的 FODs 在一定程度上能够反映真实数据的纤维特征。
综合来看,研究人员成功训练 α-WGAN 生成了具有解剖学意义的 FODs 数据。这些合成数据在训练机器学习模型时非常有用,能够扩充训练数据集,提升模型的性能。而且,该方法不仅局限于 FODs 数据,未来有望扩展到合成其他 4D MRI 数据,为医学研究提供更多的数据支持。这一研究成果对于罕见病的研究意义重大,能够有效补充有限的训练数据,帮助神经网络更好地学习疾病特征,从而提高诊断和分析的准确性。同时,在医学培训、数据分析教学以及算法测试等方面,合成数据也能发挥重要作用,推动医学领域的不断进步。
在研究过程中,研究人员主要运用了以下关键技术方法:
- 数据处理技术:从 HCP 公开数据集中获取数据,利用 MRtrix3 软件包计算 FOD 图像,包括响应函数计算、多壳多组织约束球反卷积(MSMT-CSD)等步骤,并对数据进行预处理和空间分辨率转换,同时通过旋转操作扩充训练数据。
- 模型构建技术:采用改进的 α-WGAN 模型,该模型包含生成器、判别器、编码器和代码判别器四个子网络,通过巧妙设计各网络结构和参数,实现从高斯噪声向量生成 FODs 数据。
- 验证分析技术:运用多种指标对生成数据进行验证,如通过视觉检查、直方图分析比较 FOD 值,计算连接组的全局效率和 Mantel 相关性,以及使用 Dice 分数评估纤维束体积和形状相似性等。
涓嬭浇瀹夋嵎浼︾數瀛愪功銆婇€氳繃缁嗚優浠h阿鎻ず鏂扮殑鑽墿闈剁偣銆嬫帰绱㈠浣曢€氳繃浠h阿鍒嗘瀽淇冭繘鎮ㄧ殑鑽墿鍙戠幇鐮旂┒
10x Genomics鏂板搧Visium HD 寮€鍚崟缁嗚優鍒嗚鲸鐜囩殑鍏ㄨ浆褰曠粍绌洪棿鍒嗘瀽锛�
娆㈣繋涓嬭浇Twist銆婁笉鏂彉鍖栫殑CRISPR绛涢€夋牸灞€銆嬬數瀛愪功
鍗曠粏鑳炴祴搴忓叆闂ㄥぇ璁插爞 - 娣卞叆浜嗚В浠庣涓€涓崟缁嗚優瀹為獙璁捐鍒版暟鎹川鎺т笌鍙鍖栬В鏋�
涓嬭浇銆婄粏鑳炲唴铔嬬櫧璐ㄤ簰浣滃垎鏋愭柟娉曠數瀛愪功銆�