分享：GH4169合金微观组织结构的超声评价与扩散生成方法

无损检测技术在现代工业中扮演着至关重要的角色,广泛应用于航空航天、能源、汽车等领域[1-2]。近年来,超声检测技术在材料科学与工程领域取得了显著进展[3-4]。作为一种无损获取材料内部结构信息的手段,超声检测已被广泛应用于评估材料的微观组织结构和缺陷。传统超声检测方法通常依赖经验公式和物理模型来解释和重建材料内部的几何特征,如晶粒大小、圆度及长短轴比等参数,但这些数值化信息忽略了材料内部的空间分布和微观结构细节。 

随着机器学习技术的发展,尤其是生成模型如生成对抗网络（GAN）、变分自编码器（VAE）及扩散模型（DM）[5]的出现,使微观组织结构的智能生成成为可能。这些深度学习模型能够基于累积的材料数据自动生成高度逼真的微观组织结构图像。近年来的研究表明,GAN和条件GAN（CGAN）在微结构图像重构中表现优异[6-7]。此外,扩散生成模型在处理各种类型的微观结构图像时也展现出了优越的性能[8]。 

为探讨基于超声评价数据和扩散生成模型的微观组织结构图像生成方法,提出了一种智能生成方法,结合已知的合金超声检测数据和材料的几何特征,通过扩散生成模型实现复杂合金材料的微观组织图像重构。笔者利用超声检测所获取的晶粒尺寸、圆度、长短轴比等参数,通过扩散生成模型生成逼真的二维虚拟金相图。相比传统的超声数据分析方法,扩散生成模型通过大规模数据集训练,可以更准确地学习复杂材料的微观组织特征,进而生成高精度的微观组织结构图像。 

扩散生成模型的优势在于逐步学习微观图像的概率分布,并通过降噪过程重构清晰的结构图像,因而其在处理高复杂度的微观组织结构时表现突出。结合超声检测数据,扩散生成模型能够有效预测材料的内部组织结构,并生成相应的组织结构图像,为材料性能预测和结构优化提供精准的参考。 

笔者首次将超声评价数据与扩散生成模型结合,用于GH4169合金材料的微观组织图像重构。试验结果表明,扩散生成模型在微观组织结构图像生成中表现出性能优越,其与超声数据融合具有可行性和准确性。该方法为超声检测技术在复杂材料微观组织分析中的应用开辟了新路径。 

1.   基于统计学习的微观组织结构生成方法

在利用超声评价数据和累积数据进行微观组织结构重构时,首要任务是选择适合的图像生成模型。为此,评估不同生成模型的性能,以确定最能捕捉图像库统计特征的最佳模型至关重要。最终选定的模型将与超声评价数据融合,以约束和引导生成过程,从而提升生成结果的准确性和可靠性。 

在深度生成模型中,GAN（生成对抗网络）、VAE（变分自编码器）和DM（扩散模型）是3类主要的模型。GAN通过生成器生成样本,并由判别器进行对抗学习提升样本质量。VAE通过编码器将数据压缩为隐空间表示,再由解码器还原数据,并通过最大化证据下界（ELBO）优化模型。DM则逐步向数据添加噪声再通过逆过程去除噪声,以恢复数据结构,其中去噪扩散概率模型（DDPM）优化了采样效率和生成效果[9]。 

1.1   SA_GAN模型

为了重构GH4169合金的微观组织结构图像,文章使用结合自注意力机制的SA_GAN模型来学习图像数据库的统计特征。该模型通过生成器和判别器中的自注意力模块,有效捕捉远距离区域的关系,生成更细腻且真实感更强的微观结构图像。自注意力模块使得生成器在处理局部细节和全局结构时更为高效,从而能提升生成效果。 

1.2   VQ_VAE模型

文章还采用VQ-VAE模型[10]进行GH4169合金微观组织图像的重构。该模型通过将图像的连续特征量化为离散嵌入向量,实现数据压缩与重构。VQ-VAE由编码器、量化器和解码器组成,编码器将图像编码为隐变量,量化器将其映射到离散嵌入空间,解码器则用这些嵌入向量重构图像。在训练过程中,通过最小化重构损失和承诺损失函数来优化模型。此外,模型采用自回归先验对隐变量进行采样,进一步提升微观组织结构的生成质量。 

1.3   MDiff模型

为对GH4169合金微观组织结构图像进行扩散生成方法的重构,文章还借鉴IDDPM[11],训练了针对微观组织结构生成的MDiff模型。MDiff模型通过学习微观组织图像的统计特征,能够生成高质量的微观组织结构图像。 

MDiff模型的基本思想是通过加噪和去噪的过程逐步生成数据。首先,数据通过一个参数化的马尔可夫链不断添加噪声,使其分布逐渐趋于高斯分布。而后在生成阶段,模型通过反向扩散过程逐步去噪,以恢复数据的结构。该模型将去噪视为高斯分布的回归问题,通过神经网络U-Net预测均值和方差来完成生成。MDiff模型架构如图1所示。 

图  1  MDiff模型架构示意

2.   模型对比试验与结果

试验通过学习GH4169合金真实二维微观组织结构图像库,利用VQ-VAE、SA-GAN和MDiff三种模型生成了1 000张尺寸为256像素×256像素（长×宽）的微观组织结构图像。不同生成模型的图像生成效果如图2所示。 

图  2  不同生成模型的图像生成效果

可以看出,VQ-VAE模型未能有效学习微观组织中晶粒的完整性特征,生成图像中的晶粒结构较为破碎,无法还原晶粒的清晰边界。相比于VQ-VAE,SA-GAN模型在晶粒结构的细化表现上仍显不足,未能完全再现原始图像的清晰度。MDiff模型在晶粒形貌的学习上更加精确,生成的微观组织结构图像在晶粒形态和晶界特征方面与原始微观组织图像更为一致,即该模型较好地保留了晶粒的完整性和晶界的清晰度。 

为进一步验证这3种模型在生成微观组织图像上的性能,笔者采用一系列评价指标对模型训练效果的分布一致性进行定量评估。这些指标包括：结构相似性指数（SSIM）[12]、峰值信噪比（PSNR）[13]、学习感知块相似度（LPIPS）[14]、弗雷歇尔距离（FID）以及核距离（KID）。 

不同生成模型生成图像质量的评价结果如表1所示。分析显示,SA_GAN模型在SSIM和FID等指标上的表现较差,无法有效还原真实微观组织的结构。晶粒形貌分析表明,该模型生成的晶粒形状较为失真。相比SA_GAN模型,VQ_VAE模型在清晰度上有所提升,但在FID和KID上仍未能达到较高水平,晶粒边界模糊导致晶粒形貌分析结果不理想。MDiff模型在所有定量指标上表现优异,尤其是在FID和KID指标上,最接近真实数据。 

综上所述,MDiff模型在视觉效果和定量评价指标上均表现优异,能够有效地模拟GH4169合金微观组织结构的真实特征。 

3.   基于超声评价的扩散生成方法

研究表明扩散生成模型能够通过学习微观组织的概率分布,逐步去噪,从而重构高度逼真的微观组织结构图像。为实现GH4169合金材料内部微观组织结构的非破坏性、高可靠性重构,文章提出了一种新的生成方法,即将超声评价数据与扩散生成模型相结合的方法。该方法基于超声评价数据的准确几何特征,结合深度学习模型的强大生成能力,提供了一条智能化的微观组织图像生成路径。所提基于超声评价的扩散生成模型框架如图3所示。 

图  3  基于超声评价的扩散生成模型框架

3.1   微观组织结构的超声评价模型

超声检测技术能够深入探测材料内部,获取重要的几何信息,如晶粒的尺寸、圆度及长短轴比。这些参数精确反映了材料的内部微观结构,是生成高保真度微观组织结构图像的关键依据。通过构建的多参数超声评价模型[15],该模型结合超声特征参数Y和真实几何特征参数Xn,来获取指定超声特征参数输入的超声评价数据${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$。超声评价数据为生成高保真微观组织图像提供了关键的几何约束,确保生成结果与真实结构在形态上的一致性。 

笔者使用自建的超声C扫描系统对GH4169合金试样进行超声检测,在数据采样区域采集A扫信号,并提取超声特征参数Y（纵波声速Y1、衰减系数Y2以及频率偏移Y3）。此外,笔者通过金相试验获取合金试样的微观组织结构图像,并采用图像处理算法提取内部的晶粒面积S,晶粒周长L以及晶粒长轴a,短轴b。由此计算真实几何特征参数Xn,包括晶粒尺寸X1（${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">1</span>}}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);">=</span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2</span>}\sqrt{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">/</span>\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}$）,圆度X2（${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2</span>}}<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">=</span>\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">4</span>}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);">π</span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">/</span>{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2</span>}}$）和长短轴比X3（X3=a/b）[16]。 

超声特征参数通过二次多项式映射函数转换为单维超声参数Z,使用单阶最小二乘拟合方法,构建单维参数与超声评价数据${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$（晶粒尺寸${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">1</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$、圆度${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$、长短轴比${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">3</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$）的拟合函数,从而得到超声评价模型。其模型计算公式为 

式中：λi1,λi2,λi3为映射参数；ξ1,ξ2为拟合参数。 

为获取最佳的映射参数以及拟合参数,文章以真实几何特征参数Xn与拟合获取的超声评价数据${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$之间的拟合误差为优化目标。通过优化目标最小化获取最佳精度的两组参数,误差计算公式为 

式中：m为总样本数；Xnl为第l个样本直实几何特征参数；${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$为第l个样本拟合获取的超声评价数据。 

由此最终得到晶粒尺寸、圆度以及长短轴比的多参数超声评价模型。 

3.2   扩散生成模型与超声评价的融合

在扩散生成模型中,超声检测提供的几何约束数据起着关键作用,特别是在反向扩散过程中,这些数据会直接影响生成图像的每个去噪步骤,超声评价作用下的反向扩散过程示意如图4所示。通过将晶粒尺寸、圆度和长短轴比等几何特征数据注入模型的生成过程,扩散模型能够生成与实际材料微观组织高度一致的微观组织结构图像。 

图  4  超声评价作用下的反向扩散过程示意

在U-Net架构的扩散模型中,超声评价数据通过条件卷积机制整合到模型中。在生成图像的每一个去噪步骤中,超声几何数据通过卷积核对特征进行调整。该数据通过专门的条件编码器（τ）进行处理后,将提取的几何特征嵌入到U-Net的不同层次中。这些几何信息作为额外的输入通道,作用于卷积层的权重,使卷积操作不仅依赖于当前的图像特征,同时也受制于超声检测获取的几何参数。 

在每一层的卷积过程中,超声几何数据通过调整卷积核的权重,影响特征提取的方向和强度。这种基于条件卷积的机制确保了扩散模型在逐步去噪过程中生成的图像细节与超声检测获取的微观组织特征相一致。卷积层通过卷积核的调整,能够有效捕捉到晶粒形状特征,从而使生成的图像能够更好地反映材料的真实微观结构。 

通过这一机制,超声检测获取的几何数据在每个去噪步骤中与图像的生成过程深度结合,确保了微观组织结构图像的真实性和精度。这种卷积条件约束为扩散生成模型提供了强大的控制能力,使得生成的微观结构图像在细节和整体形态上都能符合实际材料的特性。 

4.   基于超声评价的扩散生成试验与结果

该试验旨在验证基于超声评价的扩散生成模型的效果,研究对象为经过特定热处理工艺的GH4169合金锻件。首先,对GH4169合金原始锻件按以下工艺进行热处理：在960 ℃下保温60 min后空冷,温度梯度为20 ℃；然后在720 ℃下保温8 h,再以50 ℃·h−1的速率炉冷至620 ℃,最后保温8 h后空冷。对热处理后的合金试样使用自建的超声C扫描系统进行超声检测,采集A扫描信号并提取关键超声特征参数,包括纵波声速、衰减系数和频率偏移。 

根据现有的超声评价方法,利用提取的超声特征参数计算合金的超声评价数据,包括晶粒尺寸、圆度及长短轴比。将这些几何数据作为输入条件导入基于超声评价的扩散生成模型中,用于生成微观组织结构图像；为了验证生成的虚拟金相图与真实微观组织结构在形貌上的一致性,笔者进行了金相试验并采集了合金的真实金相图像（见表2）。 

Table  2.  智能生成模型以及金相检测获取的合金内部信息对比

项目	超声检测数据			超声评价数据
	纵波声速/m · s−1	衰减系数/dB · mm−1	频率偏移/MHz	晶粒尺寸/μm	圆度	长短轴比
超声评价	5 848.829	0.263	0.891	14.132	0.572	1.867
生成模型	生成的微观组织图像			14.512±1.391	0.585±0.038	1.841±0.113
金相试验	真实的微观组织图像			13.893	0.608	1.867

通过对比分析虚拟和真实微观组织结构图像,可以发现虚拟生成的微观组织结构图像在晶粒形态和分布上与实际的微观组织具有高度一致性,能够达到以假乱真的效果。这表明,基于超声评价的扩散生成模型在生成与真实材料微观结构相似的微观组织结构图像方面具有显著的潜力。 

为了进一步验证生成的虚拟微观组织结构图像与超声评价数据之间的一致性,笔者对扩散生成模型生成的100张虚拟微观组织结构图像进行了定量分析。文章计算出各图像的平均晶粒尺寸d、圆度m以及长短轴比r等几何特征参数,计算结果如表2所示。采用相对误差衡量数据之间的差异,晶粒尺寸相对误差计算公式为 

式中：dg为生成图像的晶粒尺寸；dr为真实图像的晶粒尺寸。 

其中圆度和长短轴比的相对误差计算方式类似。 

计算得到生成图像的几何结构数据与超声检测数据的相对误差,晶粒尺寸的相对误差为2.69%,圆度的相对误差为2.27%,长短轴比的相对误差为1.39%。可见,基于超声评价的微观组织生成模型在输入输出环节的误差较小,能够实现基于指定输入数据的微观组织图像定制化生成。 

进一步对比生成的虚拟微观组织图像与真实金相试验获取的微观组织图像的几何结构数据,结果显示：晶粒尺寸的相对误差为4.46%,圆度的相对误差为3.78%,长短轴比的相对误差为1.39%。这些结果进一步证明,基于超声评价数据的扩散生成模型能够精确生成与真实金相结构几何特征相匹配的虚拟二维微观组织图像。 

综上所述,该模型不仅能利用超声评价的几何数据有效约束生成过程,还能够实现对特定超声检测结果的虚拟微观组织图像的精确重构。这种方法为材料微观结构的研究和表征提供了新的生成工具,在无需实际金相试验的条件下,通过超声评价结果即可生成高度逼真的虚拟微观组织图像,为材料科学与工程领域的应用提供了有力支持。 

5.   消融试验

为验证晶粒尺寸d、圆度m以及长短轴比r数据在控制生成图像中晶粒几何形状中的必要性,笔者设计了消融试验。试验内容包括：① 不使用超声评价参数控制生成；② 仅使用单个参数控制生成（晶粒尺寸、圆度和长短轴比）；③ 两两组合参数控制生成；④ 同时使用三个参数进行控制。通过对比生成图像与真实数据的误差,评估各参数的影响,从而此三类参数在生成过程中的作用。 

基于不同参数约束的消融试验结果对比如表3所示,可见,不同约束条件下生成的图像与真实几何结构特征数据之间的相对误差存在显著差异。无约束条件下的平均误差最大,为17.39%；结合晶粒尺寸、圆度和长短轴比的完整约束条件下的误差最小,平均值为9.163%。单独使用某一约束条件时,晶粒尺寸的约束效果最好,误差平均值为9.643%。 

试验结果表明,单一超声评价结果不足以准确控制生成图像的几何形态。综合晶粒尺寸、圆度和长短轴比3个参数能够有效约束生成过程,得到更接近真实组织结构的虚拟微观组织图像,验证了3类超声评价结果在微观组织图像生成中的必要性和充分性。 

6.   结论

提出了一种结合超声评价和扩散生成模型的二维虚拟微观组织结构图像生成方法,并通过试验验证了其有效性。与传统的统计学习方法相比,该方法在结合超声检测提供的几何约束数据后,能够更准确地重现合金材料的微观组织结构。试验结果显示,基于超声评价数据的扩散生成方法在晶粒尺寸、圆度和长短轴比的精度上具有显著优势,生成的虚拟微观组织结构图像在形貌分布上与真实微观组织结构图像高度一致。定量分析表明,该方法在较小误差范围内重构了合金的几何结构特征,验证了其在生成高精度虚拟微观组织结构图像中的潜力。该研究为基于超声评价数据的虚拟材料表征提供了新途径,并为未来的材料微观组织建模和虚拟试验提供了参考。 

文章来源——材料与测试网