halcon 入门教程（五） 缺陷检测

原文作者：aircraft

原文链接：https://www.cnblogs.com/DOMLX/p/18785484

 

 

 有兴趣可以多看其他的halcon教程

 halcon 学习教程目录

 

 

 

 

　　　　　　　　　　本篇主要讲一些常见的缺陷检测方法，目前只会讲一些，后面有空的话会不断的补充完整。因为缺陷的种类实在太多太多了，各种各样的缺陷可能都要用各种不同的检测方法去检测，所以想要精通缺陷检测特别难，基本大家都是熟悉自己经常遇到的缺陷领域。

 

第一种：就是最常见的Blob分析加上特征提取（本篇也会多给一些这个示例。因为确实是最基础也是最常用的，用的好你可能百分之八九十的缺陷都可以检测，主要还是看对这块的理解）

 

第二种：图像匹配定位后再加Blob分析，可以结合本篇的Blob分析和我下一篇的：halcon 入门教程（六） 图像匹配（基于形状的模板匹配）与缺陷检测区域定位

 

第三种：建立模板区域的差异模型，原理就是后面所有的产品都与一个标准品做差异模型，可以差异的程度对其判断NG,OK。可以看我这篇博客理解：halcon 入门教程 （七） halcon中是怎么实现半导体/Led中的GoldenDie的检测方法的 基于局部可变形模板匹配 variation_model模型

 

第四种：光度立体法（基本属于2.5d的视觉范围了，适用于一些物体表面有凹凸情况下的检测，通过多个角度方向的打光图片，来获取伪3d的信息进行缺陷检测）

 

第五种：图像匹配定位后再加测量（比如一些钢管，或者元器件表面的某个东西的长度，宽度，厚度，半径之类的达不达标），可以结合halcon 入门教程（六） 图像匹配（基于形状的模板匹配）与缺陷检测区域定位 和 halcon 入门教程（三） 测量量测相关（点到线距离，线到线距离，轮廓线距离，一维测量，圆形测量，矩形测量等）这两篇来看，组合起来基本就是这种检测方法了。

 

第六种：机器学习和深度学习的缺陷检测（基本都是通过标记好的和坏的训练集，给神经网络程序训练学习，学习成功后，后面只要传入该产品图，或者某个区域图，便可以直接给出判断好坏，甚至处理一下可以把具体缺陷都标注显示出来）

有兴趣可以看看我这篇博客：halcon 深度学习教程（一）分类检测 （工业里如何使用halcon深度学习去检测分类产品）

 

第七种：空域和频域分析（适用于一些像皮革，木材，纹理石板之类的对比度低的产品上去进行检测）

 

第八种：三维重建后再加特征提取（属于3d视觉的领域了，会多一些诸如高度或者说深度信息）

 

 

 

 

　　　下面一些算子的原型我就不介绍了，有看过前面教程的应该都认识这些常用的算子了。而且每个示例代码我都打了非常详细的注释，基本看着注释应该是可以理解的吧。

 

一.Blob分析加上特征提取

 

示例1：榛子威化饼的质量检测   

 

 

OK图：

 

NG图：

 

示例代码：

* ​************************************************************* * 本程序演示针对榛子威化饼的质量检测 * 检测方法：基于形态学处理提取目标区域，通过孔洞面积和矩形度进行缺陷判断 * 工业应用：食品包装完整性检测（破损、变形检测） * 检测标准：孔洞面积>300 或 矩形度<0.92 判定为不合格 * ​*************************************************************  * 初始化图像和显示窗口 read_image (Image, 'food/hazelnut_wafer_01') * 关闭可能存在的旧窗口 dev_close_window () * 创建自适应图像尺寸的显示窗口 dev_open_window_fit_image (Image, 0, 0, -1, -1, WindowHandle) * 禁止窗口自动更新（提升执行效率） dev_update_window ('off')  * 设置可视化参数 * 线宽3像素用于突出显示轮廓 dev_set_line_width (3) * 轮廓显示模式（节省显示资源） dev_set_draw ('margin') * 设置等宽字体便于字符对齐 set_display_font (WindowHandle, 20, 'mono', 'true', 'false')  * 处理24张连续拍摄的威化饼图像 for Index := 1 to 2 by 1     * 读取序列图像（文件名格式：1~2.bmp）          read_image (Image, Index+'.bmp')          * 图像预处理     * 使用直方图平滑法进行二值化（适合低对比度场景）     binary_threshold (Image, Foreground, 'smooth_histo', 'light', UsedThreshold)     * 8.5像素半径开运算去除毛刺和小孔洞     opening_circle (Foreground, FinalRegion, 8.5)          * 特征提取     * 计算区域内部孔洞总面积（关键缺陷指标）     area_holes (FinalRegion, AreaHoles)     * 计算区域矩形度（1为完美矩形，值越小变形越严重）     rectangularity (FinalRegion, Rectangularity)          * 显示原始图像     dev_display (Image)          * 质量判定逻辑     * 孔洞超标或形状变形时显示红色报警     if (AreaHoles > 300 or Rectangularity < 0.92)         dev_set_color ('red')         Text := 'Not OK'     * 合格产品显示绿色轮廓     else         dev_set_color ('forest green')         Text := 'OK'     endif          * 显示检测结果     dev_display (FinalRegion)     * 在窗口左上角显示OK/NG状态     disp_message (WindowHandle, Text, 'window', 12, 12, '', 'false')          * 非最后一张图像时暂停观察     if (Index < 2)         * 显示继续检测提示         disp_continue_message (WindowHandle, 'black', 'true')         stop ()           * 模拟产线节拍控制     endif endfor

 

示例2：鳍片检测程序（fin.hdev）  利用形态学分析与差异模型检测

 

 

两张边缘有凸出的图片：

 

 

 通过提取白色背景区域，然后进行闭运算将区域边缘小凸出闭合，然后与原始区域做个差异，得到缺陷位置，在进行开运算，消除多提出来的边的区域。

 

结果图：

 

 

实例代码：

* ​************************************************************* * 鳍片检测程序（fin.hdev） * 功能：通过形态学处理检测金属鳍片缺陷 * 检测逻辑： *   1. 二值化分离前景 *   2. 闭运算填充结构间隙 *   3. 差异检测潜在缺陷区域 *   4. 开运算去除噪声 * 工业应用：散热器制造质检 * ​*************************************************************  * 关闭窗口自动刷新（提升执行效率） dev_update_window ('off')  * 读取鳍片图像序列（fin2, fin3） read_image (Fins, 'fin' + [2:3])  * 初始化显示窗口 get_image_size (Fins, Width, Height) dev_close_window () * 创建与图像等大的黑色背景窗口 dev_open_window (0, 0, Width[0], Height[0], 'black', WindowID) * 设置等宽字体便于信息对齐 set_display_font (WindowID, 14, 'mono', 'true', 'false')  * 遍历处理3个检测对象（实际图像为2张，索引从1开始） for I := 1 to 2 by 1     * 选择当前处理对象     select_obj (Fins, Fin, I)          * 显示原始图像     dev_display (Fin)          * 步骤1：二值化分割（最大化前景背景可分性）     binary_threshold (Fin, Background, 'max_separability', 'light', UsedThreshold)     * 蓝色显示初始分割结果     dev_set_color ('blue')     dev_set_draw ('margin')     dev_set_line_width (4)     dev_display (Background)     disp_continue_message (WindowID, 'black', 'true')     stop ()       * 质检员确认阶段结果          * 步骤2：大半径闭运算填充结构间隙     closing_circle (Background, ClosedBackground, 250)     * 绿色显示填充后区域     dev_set_color ('green')     dev_display (ClosedBackground)     disp_continue_message (WindowID, 'black', 'true')     stop ()       * 确认形态学处理效果          * 步骤3：差异检测（理想结构与实际结构对比）     difference (ClosedBackground, Background, RegionDifference)          * 步骤4：开运算去除微小噪声     opening_rectangle1 (RegionDifference, FinRegion, 5, 5)          * 显示最终检测结果     dev_display (Fin)             * 原始图像背景     dev_set_color ('red')         * 红色高亮缺陷     dev_display (FinRegion)       * 叠加缺陷区域          * 计算缺陷区域特征     area_center (FinRegion, FinArea, Row, Column)          * 非最后一张图像时暂停     if (I < 2)         disp_continue_message (WindowID, 'black', 'true')         stop ()           * 模拟产线节拍等待     endif endfor

 

示例3：塑料网缺陷检测程序   使用动态阈值检测塑料网中的异常纹理区域     原图与均值图比对 提取出比均值图还暗的多的缺陷区域出来

 

两张测试的原图：

 

 

实例代码：

* ​************************************************************* * 塑料网缺陷检测程序 * 功能：使用动态阈值检测塑料网中的异常纹理区域 * 检测逻辑： *   1. 图像平滑处理消除纹理干扰 *   2. 动态阈值分割异常区域 *   3. 连通域分析与面积筛选 * 工业应用：塑料编织品质量检测 * ​*************************************************************  * 关闭窗口自动更新（提升执行效率） dev_update_window ('off')  * 读取塑料网基准图像（用于窗口初始化） read_image (Image, 'plastic_mesh_'+[1])  * 初始化显示窗口 dev_close_window () get_image_size (Image, Width, Height) dev_open_window_fit_image (Image, 0, 0, Width, Height, WindowHandle)  * 设置可视化参数 * 等宽字体便于信息对齐 set_display_font (WindowHandle, 18, 'mono', 'true', 'false') * 轮廓显示模式（节省显示资源） dev_set_draw ('margin') * 设置检测结果轮廓线宽 dev_set_line_width (3)  * 处理两张塑料网图像序列 for J := 1 to 2 by 1     * 读取当前检测图像（文件名格式：plastic_mesh_1.bmp~plastic_mesh_2.bmp）     read_image (Image, 'plastic_mesh_' + J+'.bmp')          * 图像预处理：49x49均值滤波（消除高频纹理干扰）     mean_image (Image, ImageMean, 49, 49)          * 动态阈值分割（检测比背景暗5个灰度级的异常区域）     dyn_threshold (Image, ImageMean, RegionDynThresh, 5, 'dark')          * 连通域分析（分离独立缺陷区域）     connection (RegionDynThresh, ConnectedRegions)          * 面积筛选（过滤500像素以下的噪声）     select_shape (ConnectedRegions, ErrorRegions, 'area', 'and', 500, 99999)          * 统计缺陷数量     count_obj (ErrorRegions, NumErrors)          * 显示原始图像和检测结果     dev_display (Image)     dev_set_color ('red')       * 红色高亮缺陷     dev_display (ErrorRegions)          * 判定结果输出     if (NumErrors > 0)         * 显示NG标识（位置：第24行，第12列）         disp_message (WindowHandle, 'Mesh not OK', 'window', 24, 12, 'black', 'true')     else         * 显示OK标识         disp_message (WindowHandle, 'Mesh OK', 'window', 24, 12, 'black', 'true')     endif          * 非最后一张图像时显示继续提示     if (J < 2)         disp_continue_message (WindowHandle, 'black', 'true')         stop ()           * 模拟产线节拍控制     endif endfor

 

结果图：

 

 

 

OK，这里先写这几个，还有更多的都在halcon的官方案例集里，右边那一堆都是。

 

 

 

 

二.空域和频域结合的缺陷检测

这里主要的案例都来自halcon程序集的快速傅里叶变换，有兴趣详细了解的，就可以去看看。就如我一直在说的，halcon里的实例就是自己最好的老师。

 

 

先大概了解一下这个东西：

 

一、图像的两个视角：空间域 vs 频域

​1. 空间域（你看到的图像）​

• ​是什么：图像由像素组成，每个像素代表某个位置的亮度值。
• ​直观理解：就像你看到的一张照片，每个点直接显示颜色或明暗。
• ​工业应用：直接观察表面划痕、颜色异常等（但复杂纹理中的小缺陷难以直接看到）。

​2. 频域（图像的“成分分析”）​

• ​是什么：将图像分解为不同频率的波（高频=细节/边缘，低频=整体形状）。
• ​直观理解：像把音乐分解成不同频率的音符，高频是鼓点，低频是贝斯。
• ​工业应用：检测周期性纹理中的异常（如织物瑕疵、注塑件表面缺陷）。

二、快速傅里叶变换（FFT）是什么？

• ​核心作用：快速将图像从空间域转换到频域（反之亦可）。
• ​为什么快：优化算法，计算复杂度从O(n²)降到O(n log n)，适合实时检测。

三、HALCON中的FFT操作步骤（以检测塑料表面缺陷为例）​

​1. 读取图像

read_image (Image, 'plastics_01.jpg')  * 读取塑料件表面图像

2. 转换到频域

* 执行FFT（空间域→频域） fft_image (Image, ImageFFT)  * 输出是复数图像（实部+虚部）

3. 频域滤波（增强缺陷）​

 

* 生成高斯低通滤波器（抑制背景纹理） gen_gauss_filter (Filter, 20, 20, 0, 'none', 'rft', Width, Height) * 频域相乘（保留高频=缺陷，抑制低频=背景） convol_fft (ImageFFT, Filter, FilteredFFT)

4. 转换回空间域

* 逆FFT（频域→空间域） fft_image_inv (FilteredFFT, ImageFiltered)  * 得到增强后的图像

5. 缺陷检测

threshold (ImageFiltered, Defects, 120, 255)  * 阈值分割 connection (Defects, ConnectedRegions)       * 连通区域分析

四、频域分析在工业中的典型应用

​1. 周期性纹理检测（如织物、金属网）​

• ​问题：直接观察难以发现断丝、孔洞。
• ​解决：通过FFT找到异常频率成分。

​2. 表面微小缺陷增强

• ​问题：划痕与背景纹理对比度低。
• ​解决：抑制背景纹理（低频），增强缺陷（高频）。

​3. 振动分析

• ​问题：机械振动导致图像模糊。
• ​解决：在频域分离振动频率成分并修复。

五、关键注意事项

​1. 图像尺寸要求

• FFT对图像尺寸敏感，最佳性能要求尺寸为2的幂次（如512x512）。
• ​HALCON会自动填充：optimize_rft_speed函数优化处理速度。

​2. 滤波器设计

• ​低通滤波：gen_gauss_filter（抑制高频噪声）。
• ​高通滤波：gen_derivative_filter（增强边缘）。
• ​带阻滤波：组合高低通滤波器（去除特定频率噪声）。

​3. 结果可视化

• ​查看频谱图：

power_real (ImageFFT, PowerSpectrum)  * 计算功率谱 dev_display (PowerSpectrum)           * 显示频域能量分布

亮点表示强频率成分（如周期性纹理）。

六、完整代码示例（塑料表面缺陷检测）​

dev_update_off () read_image (Image, 'plastics_01.jpg') get_image_size (Image, Width, Height) dev_open_window (0, 0, Width, Height, 'black', WindowHandle)  * FFT转换到频域 fft_image (Image, ImageFFT)  * 设计高斯滤波器（抑制低频背景） gen_gauss_filter (Filter, 15, 15, 0, 'none', 'rft', Width, Height) convol_fft (ImageFFT, Filter, FilteredFFT)  * 逆FFT转回空间域 fft_image_inv (FilteredFFT, ImageFiltered)  * 缺陷分割与显示 threshold (ImageFiltered, Defects, 100, 255) connection (Defects, ConnectedRegions) dev_display (Image) dev_set_color ('red') dev_display (ConnectedRegions)

七、总结

• ​FFT在工业中的价值：将肉眼难见的纹理异常转化为可检测的信号。
• ​学习建议：从简单滤波开始，逐步尝试带通/带阻滤波，观察频域图的变化。
• ​调试技巧：通过power_real可视化频域，调整滤波器参数观察缺陷检测效果。
• 适用于具有一定纹理特征的图像，纹理可以理解为条纹，如布匹、木板、纸张等材质容易出现。
• 适用于需要提取对比度低或者信噪比低的特征。

 

 

 

 

OK，接下来学习一下主要运用到的算子

 

 

 

 

1.空域转频域算子fft_image(Image : ImageFFT : : )详解：

• 输入参数：
  • Image：输入图像（必须为单通道灰度图像）。
• ​输出参数：
  • ImageFFT：频域图像（复数形式，包含实部和虚部）。

工作原理

1. ​复数图像结构：

   • ImageFFT包含两个通道：可通过get_image_size查看通道数：Channels := 2
     • 第一个通道：实部（Real Part）
     • 第二个通道：虚部（Imaginary Part）

2. ​频域特性：

   • 低频分量集中在图像中心（整体形状、背景纹理）。
   • 高频分量分布在四周（细节、边缘、噪声）。

工业应用示例（塑料表面缺陷检测）​

​场景描述

• ​问题：注塑件表面有微小划痕，但背景有周期性纹理干扰。
• ​目标：通过FFT抑制背景纹理，增强缺陷。

​代码流程

* 1. 读取图像并预处理 read_image (Image, 'plastics_01.jpg') rgb1_to_gray (Image, GrayImage)  * 确保输入是灰度图  * 2. 优化FFT计算速度（关键步骤！） optimize_rft_speed (Width, Height, 'standard')  * 自动填充至最优尺寸  * 3. 执行FFT转换到频域 fft_image (GrayImage, ImageFFT)  * 4. 频域滤波（示例：高斯带阻滤波） gen_gauss_filter (GaussFilter, 15, 15, 0, 'none', 'rft', Width, Height) convol_fft (ImageFFT, GaussFilter, FilteredFFT)  * 5. 逆FFT转回空间域 fft_image_inv (FilteredFFT, ImageFiltered)  * 6. 缺陷检测 threshold (ImageFiltered, Defects, 100, 255) connection (Defects, ConnectedRegions)

关键注意事项

​1. 图像尺寸优化

• ​问题：FFT对图像尺寸敏感，非2的幂次时速度慢。
• ​解决：使用optimize_rft_speed自动填充至最优尺寸。

get_image_size (Image, Width, Height) optimize_rft_speed (Width, Height, 'standard')  * 第三个参数可选：                                                 * 'standard'（平衡速度/内存）                                                 * 'explore'（深度优化）

2. 输入数据类型

• ​必须：输入图像为byte、uint2或real类型。
• ​建议：转换到real类型避免精度损失：

convert_image_type (GrayImage, ImageReal, 'real') fft_image (ImageReal, ImageFFT)

3. 滤波器设计

• ​低频抑制​（去背景）：

* 大σ值高斯滤波器（σ=20） gen_gauss_filter (LowPassFilter, 20, 20, 0, 'none', 'rft', Width, Height)

高频增强​（提取缺陷）：

* 高斯带阻滤波（抑制特定频率） gen_gauss_filter (BandStopFilter, 10, 10, 0, 'none', 'rft', Width, Height)

4. 结果可视化

power_real (ImageFFT, PowerSpectrum)  * 计算功率谱（实部² + 虚部²） dev_display (PowerSpectrum)           * 显示亮度表示能量强度

常见问题解答

​Q1：直接显示ImageFFT为什么是乱码？

• ​原因：频域图像是复数，无法直接显示。
• ​正确方法：需计算幅度谱或功率谱：

fft_image (Image, ImageFFT) power_real (ImageFFT, PowerSpectrum) dev_display (PowerSpectrum)

Q2：如何检测周期性缺陷？

• ​步骤：
  1. 在功率谱中查找对称亮斑。
  2. 设计带阻滤波器消除对应频率。
  3. 逆FFT后检测剩余异常区域。

​Q3：处理速度慢怎么办？

• ​优化措施：
  • 使用optimize_rft_speed优化尺寸。
  • 选择fft_generic的快速模式：

fft_generic (Image, ImageFFT, 'to_freq', 'explore', 'complex', Width)

总结

• ​核心价值：fft_image将图像转换到频域，使周期性纹理和微小缺陷更易分离。
• ​典型应用：
  • 消除背景纹理干扰（如金属网、织物）
  • 增强低对比度缺陷（如塑料划痕）
  • 振动模糊校正（如高速生产线图像修复）

通过合理设计滤波器，您可以在频域中“过滤”掉不需要的信息，显著提升缺陷检测的准确性。

 

 

2.生成高斯滤波器算子gen_gauss_filter( : ImageGauss : Sigma1, Sigma2, Phi, Norm, Mode, Width, Height : )详解：

功能描述

• ​作用：生成高斯滤波器（或高斯导数滤波器），用于频域或空域滤波。
• ​典型应用：
  • 抑制周期性背景纹理（如金属网、织物）
  • 增强微小缺陷（如塑料划痕、电子元件焊点缺陷）
  • 图像平滑去噪（保留边缘）

参数	类型	说明	工业检测调参建议
ImageGauss	输出对象	生成的高斯滤波器图像	-
Sigma1	实数	X方向的标准差（控制滤波器的横向扩展）	根据目标特征尺寸设置（例：缺陷宽度=20像素 → Sigma1=10）
Sigma2	实数	Y方向的标准差（控制滤波器的纵向扩展）	通常与Sigma1相同（各向同性滤波）
Phi	实数	滤波器的旋转角度（弧度）	0（无旋转）或根据纹理方向设置（如45°=0.785 rad）
Norm	字符串	标准化模式： 'none'：不标准化 'n'：归一化到单位能量	频域滤波用'none'，空域滤波用'n'
Mode	字符串	滤波器模式： 'rft'：频域滤波器（复数） 'dc_center'：空域滤波器	频域处理必选'rft'
Width	整数	滤波器宽度（需与待处理图像等宽）	通过get_image_size获取原图尺寸
Height	整数	滤波器高度（需与待处理图像等高）	同上

• • （例：划痕宽度6像素 → Sigma=2）

​2. Mode='rft'

• ​频域滤波器特性：​必须与图像等尺寸：
  • 生成复数滤波器（实部+虚部），直接用于FFT频域乘法
  • 滤波器中心在图像左上角（FFT标准布局）

get_image_size (Image, Width, Height) gen_gauss_filter(..., Width, Height)

3. Norm='none'

• ​频域滤波不推荐归一化：
  • 保持滤波器的绝对强度
  • 避免频域相乘后能量损失

工业应用案例：塑料表面划痕检测

​场景描述

• ​问题：塑料件表面有细微划痕，但存在网状纹理背景干扰。
• ​目标：抑制网状纹理，增强划痕特征。

​解决方案

1. ​生成带阻高斯滤波器​（抑制特定频率的网状纹理）
2. ​频域滤波后检测缺陷

​代码示例

* 1. 读取图像并转换为灰度 read_image (Image, 'plastic_mesh_01.jpg') rgb1_to_gray (Image, GrayImage)  * 2. 获取图像尺寸 get_image_size (GrayImage, Width, Height)  * 3. 生成高斯带阻滤波器（抑制网状纹理） Sigma1 := 25.0  * 抑制低频（对应网状纹理周期50像素） Sigma2 := 3.0    * 保留高频（划痕特征） gen_gauss_filter (GaussFilter, Sigma1, Sigma2, 0, 'none', 'rft', Width, Height)  * 4. 频域滤波处理 fft_image (GrayImage, ImageFFT) convol_fft (ImageFFT, GaussFilter, FilteredFFT) fft_image_inv (FilteredFFT, ImageFiltered)  * 5. 检测划痕 threshold (ImageFiltered, Scratches, 50, 255) dev_display (Scratches)

滤波器效果可视化

* 查看频域滤波器形状 power_real (GaussFilter, PowerSpectrum) dev_display (PowerSpectrum)  * 显示为中央暗区（抑制低频）+周边亮环（保留高频）

参数调优技巧

​1. 确定Sigma值

• ​步骤：
  1. 对正常样本做FFT，观察功率谱中的亮斑（背景纹理频率）
  2. 测量亮斑到中心的距离D（像素）
  3. 设置Sigma = D/2

​2. 方向性滤波（Phi调整）​

• ​应用场景：当缺陷具有方向性时（如平行划痕）
• ​设置方法：

* 检测到划痕方向为60度 Phi := rad(60)  * 转换为弧度 gen_gauss_filter(..., Phi, ...)  * 生成旋转滤波器

3. 多尺度滤波

* 组合不同Sigma值检测多尺寸缺陷 for Sigma := [5, 10, 20] do     gen_gauss_filter(..., Sigma, Sigma, ...)     convol_fft(...)     * 各尺度结果融合 endfor

常见问题解决

​Q1：滤波器处理后图像变暗

• ​原因：低频成分被过度抑制。
• ​解决：使用带通滤波（高斯相减）：

* 生成两个高斯滤波器相减 gen_gauss_filter (Gauss1, 30, 30, ...) gen_gauss_filter (Gauss2, 10, 10, ...) sub_image (Gauss1, Gauss2, BandPassFilter, 1, 0)

Q2：处理后出现振铃效应

• ​原因：滤波器边缘陡峭导致吉布斯现象。
• ​解决：增大Sigma值使滤波器过渡平滑。

​Q3：滤波后缺陷丢失

• ​原因：Sigma设置过小导致缺陷频率被滤除。
• ​调试：逐步增大Sigma值，观察频域功率谱变化。

总结

参数	调整策略
​Sigma1	根据背景纹理周期设置，越大抑制的低频越多
​Sigma2	根据缺陷尺寸设置，越小保留的高频细节越多
​Phi	沿缺陷方向设置（需先进行方向分析）
​Norm	频域滤波始终用'none'，空域滤波用'n'
​尺寸	必须与输入图像等大（通过get_image_size获取）

通过合理设置高斯滤波器参数，可以有效分离背景纹理与目标缺陷，提升工业视觉检测的准确性和鲁棒性。建议配合power_real可视化频域滤波器特性，进行参数调优验证。

 

 

3.频域卷积算子convol_fft(ImageFFT, ImageFilter : ImageConvol : : )详解：

功能描述

• ​核心作用：在频域中执行两个图像的卷积运算（等效于空域的滤波操作）。
• ​数学原理：频域卷积 = 频域图像 × 频域滤波器（复数乘法）。
• ​优势：比空域卷积快100倍以上（尤其适合大尺寸滤波器或图像）。

 

参数说明

参数	类型	说明	工业检测注意事项
ImageFFT	输入	经过FFT变换的输入图像（复数形式，实部+虚部）	必须通过fft_image生成
ImageFilter	输入	频域滤波器（需与ImageFFT同尺寸，复数形式）	常用高斯滤波器gen_gauss_filter生成
ImageConvol	输出	卷积结果（复数频域图像）	需逆FFT转换回空间域使用

 

工业应用场景（金属表面划痕检测）​

​场景需求

• ​问题：金属板表面有细微划痕，但存在周期性加工纹理（低频背景）。
• ​目标：抑制背景纹理，增强划痕特征。

​处理流程

* 1. 读取图像并转换到频域 read_image (Image, 'metal_surface_01.jpg') rgb1_to_gray (Image, GrayImage) fft_image (GrayImage, ImageFFT)  * 转换到频域  * 2. 生成高通高斯滤波器（增强高频缺陷） gen_gauss_filter (Filter, 5, 5, 0, 'none', 'rft', Width, Height)  * 3. 频域卷积（等效于空域滤波） convol_fft (ImageFFT, Filter, ImageConvol)  * 4. 逆FFT转回空间域 fft_image_inv (ImageConvol, ImageFiltered)  * 5. 检测划痕 threshold (ImageFiltered, Scratches, 80, 255) dev_display (Scratches)

频域卷积效果

• ​输入频谱：ImageFFT包含金属纹理（低频中心亮区）+ 划痕（高频边缘）。
• ​滤波器：高通滤波器（中央暗区，周边亮环）。
• ​输出频谱：抑制低频纹理，保留高频划痕信号。

关键参数详解

​1. 滤波器设计策略

滤波器类型	生成方法	适用场景
​低通	gen_gauss_filter大Sigma（如30）	抑制高频噪声（如电子元件毛刺）
​高通	1 - 低通滤波器	增强边缘/划痕
​带阻	高斯1 - 高斯2（不同Sigma）	消除特定频率干扰（如网格纹理）
​带通	高斯低通 - 高斯高通	提取特定尺寸特征

​2. 性能优化

• ​尺寸匹配：确保ImageFFT和ImageFilter尺寸相同（通过get_image_size验证）。
• ​预处理加速：

optimize_rft_speed (Width, Height, 'standard')  * 自动填充至最优尺寸

典型问题解决方案

​问题1：处理后出现振铃伪影

• ​原因：滤波器边缘陡峭导致吉布斯现象。
• ​解决：

* 使用渐变高斯滤波器（边缘平滑） gen_gauss_filter (Filter, 15, 15, 0, 'none', 'rft', Width, Height)

问题2：缺陷信号被过度抑制

• ​现象：阈值分割后缺陷区域消失。
• ​调试步骤：
  1. 检查滤波器类型（误用低通会抑制缺陷）。
  2. 可视化功率谱：

power_real (ImageConvol, PowerSpectrum) dev_display (PowerSpectrum)  * 确认缺陷频率是否保留

与空域卷积的对比

特性	频域卷积 (convol_fft)	空域卷积 (convol_image)
​速度	O(n log n) → 快（大核优势）	O(n²m²) → 慢（m为滤波器尺寸）
​适用场景	大尺寸滤波器（>15x15）	小尺寸滤波器（<15x15）
​内存占用	较高（需存储复数图像）	较低（实数运算）
​功能扩展	支持复杂频域操作（如带阻滤波）	限于简单核（高斯、Sobel等）

完整案例代码（织物瑕疵检测）​

dev_update_off () read_image (Image, 'fabric_01.jpg') get_image_size (Image, Width, Height) optimize_rft_speed (Width, Height, 'standard')  * 尺寸优化  * 频域转换 fft_image (Image, ImageFFT)  * 设计带阻滤波器（抑制织物纹理） gen_gauss_filter (LowPass, 40, 40, 0, 'none', 'rft', Width, Height) gen_gauss_filter (HighPass, 5, 5, 0, 'none', 'rft', Width, Height) sub_image (LowPass, HighPass, BandStopFilter, 1, 0)  * 频域卷积 convol_fft (ImageFFT, BandStopFilter, ImageConvol)  * 逆变换与检测 fft_image_inv (ImageConvol, ImageFiltered) threshold (ImageFiltered, Defects, 70, 255) connection (Defects, ConnectedRegions) select_shape (ConnectedRegions, FinalDefects, 'area', '>', 50)

总结

操作要点	工业检测意义
正确设计滤波器Sigma值	决定缺陷与背景的分离效果
功率谱可视化调试	快速定位频率干扰源
结合optimize_rft_speed	提升产线实时检测速度（尤其4K以上图像）
频域+空域联合处理	复杂缺陷检测（如同时存在划痕和孔洞）

通过合理使用convol_fft，您可以在半导体、汽车零部件、纺织品等行业中，高效解决复杂背景下的微观缺陷检测难题。

 

4.频域转空间域算子fft_image_inv(Image : ImageFFTInv : : )详解：

功能描述

• ​核心作用：将频域图像（复数形式）逆变换回空间域图像（实数形式）。
• ​数学原理：执行快速傅里叶逆变换（IFFT），恢复滤波后的空域图像。
• ​工业价值：将频域处理结果（如去噪、缺陷增强）转换为可视化的检测图像。

参数说明

参数	类型	说明	工业检测注意事项
Image	输入	频域图像（复数形式，实部+虚部）	必须经过fft_image或convol_fft处理
ImageFFTInv	输出	逆变换后的空间域图像（实数类型）	需进行后续阈值分割或形态学操作

工业应用场景（半导体晶圆缺陷检测）​

​场景需求

• ​问题：晶圆表面存在微小金属残留（高频缺陷），但被电路纹理（低频）干扰。
• ​目标：抑制电路纹理，增强缺陷信号。

​处理流程

* 1. 读取图像并转灰度 read_image (Wafer, 'wafer_01.tiff') rgb1_to_gray (Wafer, GrayWafer)  * 2. 优化FFT尺寸 get_image_size (GrayWafer, Width, Height) optimize_rft_speed (Width, Height, 'standard')  * 3. 转换到频域 fft_image (GrayWafer, WaferFFT)  * 4. 高通滤波（增强缺陷） gen_gauss_filter (HighPassFilter, 5, 5, 0, 'none', 'rft', Width, Height) convol_fft (WaferFFT, HighPassFilter, FilteredFFT)  * 5. 逆FFT转回空间域 fft_image_inv (FilteredFFT, ProcessedWafer)  * 关键步骤！  * 6. 检测缺陷 threshold (ProcessedWafer, Defects, 120, 255) dev_display (Defects)

关键参数详解

​1. 输入图像要求

• ​必须为复数图像：通过fft_image或convol_fft生成。
• ​尺寸验证：必须与原图尺寸一致（可通过get_image_size检查）。

​2. 输出图像特性

• ​数据类型：输出为实数图像（real类型），值域可能为负。
• ​动态范围调整：建议使用scale_image调整亮度：

scale_image (ProcessedWafer, ScaledImage, 10, 0)  * 放大10倍便于显示

典型问题解决方案

​问题1：逆变换后图像全黑

• ​原因：频域滤波器过度抑制所有频率。
• ​调试：

* 检查滤波器功率谱 power_real (HighPassFilter, PowerFilter) dev_display (PowerFilter)  * 应有非零区域

问题2：图像边缘出现振铃伪影

• ​解决：
  1. 使用渐变滤波器（如高斯滤波器代替理想滤波器）。
  2. 逆变换前应用窗函数：

multiply_image (FilteredFFT, WindowFunction, FilteredFFT, 1, 0)

问题3：亮度偏移

• ​现象：逆变换后整体亮度异常。
• ​处理：

* 重新计算均值并校正 mean_image (ProcessedWafer, MeanImage) sub_image (ProcessedWafer, MeanImage, CorrectedImage, 1, 0)

完整代码示例（LCD面板检测）​

dev_update_off () read_image (LCD, 'lcd_panel_01.png') get_image_size (LCD, Width, Height) optimize_rft_speed (Width, Height, 'explore')  * 深度优化  * 频域转换与滤波 fft_image (LCD, LCD_FFT) gen_gauss_filter (BandStop, 50, 50, 0, 'none', 'rft', Width, Height) convol_fft (LCD_FFT, BandStop, FilteredFFT)  * 逆FFT转换 fft_image_inv (FilteredFFT, FilteredLCD)  * 增强对比度并检测亮点缺陷 emphasize (FilteredLCD, EnhancedLCD, Width, Height, 1.5) threshold (EnhancedLCD, Defects, 200, 255) connection (Defects, ConnectedRegions) select_shape (ConnectedRegions, FinalDefects, 'circularity', '>', 0.85)

总结

操作步骤	工业检测意义	参数调整建议
fft_image_inv	将频域处理结果可视化	确保输入为正确滤波后的复数图像
动态范围调整	使缺陷更易观察	使用scale_image或emphasize增强对比度
振铃抑制	提高检测准确性	应用窗函数或渐变滤波器
尺寸优化	提升实时检测速度	必用optimize_rft_speed

通过合理使用fft_image_inv，您可以在电子元件、液晶面板、金属加工等领域，高效还原频域处理结果，实现高精度的缺陷检测。

 

 

 

5.傅里叶变换算子rft_generic(Image : ImageFFT : Direction, Norm, ResultType, Width : )详解：

 

功能描述

• ​核心作用：执行灵活的傅里叶变换（FFT）或实傅里叶变换（RFT），支持多种输入输出模式和参数配置。
• ​优势：比fft_image更灵活，可控制变换方向、归一化方式及窗函数。
• ​工业应用：适用于需要精细控制频域处理的场景，如复杂纹理抑制、微小缺陷增强。

参数说明

参数	类型	说明	工业检测推荐值
Image	输入	输入图像（实数类型）	需为单通道灰度图（byte/real）
ImageFFT	输出	频域图像（复数或实数形式）	根据ResultType选择输出类型
Direction	字符串	变换方向： 'to_freq'（空域→频域） 'from_freq'（频域→空域）	'to_freq'（正向变换）
Norm	字符串	归一化方式： 'none'（无） 'sqrt'（平方根） 'n'（单位能量）	频域滤波用'none'，分析用'n'
ResultType	字符串	输出类型： 'complex'（复数） 'real'（实数）	滤波操作选'complex'，功率谱分析选'real'
Width	整数	图像宽度（需与输入图像一致）	通过get_image_size获取

 

 

关键参数详解

​1. Direction（变换方向）​

模式	使用场景
'to_freq'	空域→频域，用于滤波、频率分析（95%工业应用场景）
'from_freq'	频域→空域，恢复处理后的图像（需与'to_freq'成对使用）

​2. Norm（归一化方式）​

模式	数学公式	适用场景
'none'	无缩放	频域滤波（保持能量不变）
'sqrt'	输出值乘以1/√N	图像重建（防止能量溢出）
'n'	输出值乘以1/N	频谱分析（确保能量守恒）

​3. ResultType（输出类型）​

类型	数据格式	典型应用
'complex'	复数（实部+虚部）	频域滤波、相位分析
'real'	实数（幅度或实部）	功率谱可视化、简单频域操作

窗函数（Window）的作用与选择

​常用窗函数类型

窗函数	特性	适用场景
'none'	矩形窗（无衰减）	快速检测，边缘信息重要时
'hann'	平滑衰减，减少频谱泄漏	大多数工业检测（推荐默认）
'hamming'	类似Hann，但首尾不归零	需要更高频率分辨率时

​选择建议

• ​缺陷检测：优先使用'hann'窗，平衡频谱泄漏抑制和边缘保留。
• ​尺寸测量：使用'none'窗避免边缘模糊。

 

总结

参数/操作	工业检测最佳实践
​Direction	'to_freq'用于滤波，'from_freq'用于重建
​Norm	滤波用'none'，分析用'n'
​Window	默认'hann'，边缘敏感场景用'none'
​ResultType	滤波操作选'complex'，简单分析选'real'
​性能优化	必用optimize_rft_speed，大图启用多线程

通过合理配置rft_generic参数，您可以在半导体、汽车零部件、纺织品等行业的复杂检测场景中，高效实现背景纹理抑制与微小缺陷增强，提升检测系统的准确性和鲁棒性。

 

 

 

接下来看一些实战案例，基本都在halcon的程序集里

 

示例1：塑料表面纹理缺陷检测程序（基于频域分析）

 

 

两张原图：

这张有个小点 看出来没？

 

 

 

实例代码：

* ​************************************************************* * 塑料表面纹理缺陷检测程序（基于频域分析） * 检测原理： *   1. 构造高斯带阻滤波器消除正常纹理 *   2. FFT频域卷积增强缺陷特征 *   3. 形态学处理定位异常区域 * 工业应用：注塑件表面质量检测 * 支持文件格式：BMP格式工业图像（推荐8bit灰度） * 硬件要求：500万像素以上工业相机，同轴照明系统 * 检测精度：最小缺陷检测尺寸0.1mm²（200dpi下约4像素） * ​*************************************************************   * ​*************** 检测流程示意图 ​*************** * 原始图像  * → FFT频域变换（使用优化算法加速） * → 高斯带阻滤波（抑制背景纹理） * → 逆FFT变换（获取滤波后图像） * → 局部对比度增强（突出缺陷边缘） * → 动态阈值分割（自适应亮度变化） * → 形态学优化（去噪+区域合并） * → 缺陷标记与结果输出   * ​*************** 系统初始化模块 ​*************** * 关闭窗口自动更新（提升大图像处理时的执行效率） dev_update_off () * 清理可能存在的残留窗口 dev_close_window () * 加载基准图像（用于获取系统参数） read_image (Image, 'plastics/plastics_01') * 获取图像尺寸参数（用于窗口创建和滤波器设计） get_image_size (Image, Width, Height) * 创建与图像等大的显示窗口（黑色背景利于缺陷观察） dev_open_window (0, 0, Width, Height, 'black', WindowHandle) * 配置显示字体（等宽字体确保字符对齐，14号字适合1080P显示） set_display_font (WindowHandle, 14, 'mono', 'true', 'false') * 设置绘制模式为轮廓显示（节省GPU显存资源） dev_set_draw ('margin') * 设置轮廓线宽（3像素宽度确保缺陷标记明显可见） dev_set_line_width (3) * 设置默认报警颜色为红色（符合工业标准报警色） dev_set_color ('red')  * ​*************** FFT性能优化模块 ​*************** * 根据特定图像尺寸优化FFT计算（选择最优的FFT算法实现） * 参数说明： *   'standard' - 平衡模式（兼顾速度和内存使用） *   其他可选模式：'explore'深度优化（耗时）/'estimate'快速估算 optimize_rft_speed (Width, Height, 'standard')  * ​*************** 滤波器设计模块 ​*************** * 构建复合高斯带阻滤波器（消除周期性背景纹理） * Sigma1: 低频截止参数（控制背景纹理抑制范围） *   - 推荐值 = 正常纹理周期/2（例如纹理间隔20像素则设10） *   - 当前值10.0适用于0.5mm间距网格纹理（200dpi下） Sigma1 := 10.0 * Sigma2: 高频截止参数（控制缺陷特征保留范围） *   - 推荐值 = 最小缺陷尺寸/2（例如6像素缺陷设3.0） *   - 当前值3.0对应0.3mm²微小缺陷检测 Sigma2 := 3.0 * 生成低频抑制高斯滤波器（大σ值滤波器） * 参数说明： *   GaussFilter1 - 输出滤波器对象 *   10.0 - X方向σ值（与Sigma1对应） *   10.0 - Y方向σ值（各向同性滤波） *   0.0 - 滤波器旋转角度（0度表示无旋转） *   'none' - 无标准化 *   'rft' - 频域滤波器类型 *   Width, Height - 滤波器尺寸（必须与图像一致） gen_gauss_filter (GaussFilter1, Sigma1, Sigma1, 0.0, 'none', 'rft', Width, Height) * 生成高频保留高斯滤波器（小σ值滤波器） gen_gauss_filter (GaussFilter2, Sigma2, Sigma2, 0.0, 'none', 'rft', Width, Height) * 合成带阻滤波器（Gauss1 - Gauss2） * 效果：抑制低频（背景纹理）同时保留高频（缺陷） * 参数说明： *   1 - 缩放因子（保持滤波器强度范围） *   0 - 偏移量（不做亮度调整） sub_image (GaussFilter1, GaussFilter2, Filter, 1, 0)  * ​*************** 主检测流程模块 ​*************** * 定义检测图像数量（支持批量处理） NumImages := 2 * 开始多图像批处理循环 for Index := 1 to NumImages by 1     * ​*************** 图像采集与预处理模块 ​***************     * 读取当前检测图像（支持序列号补零命名格式）     * 文件名示例：plastics_01.bmp, plastics_02.bmp...     read_image (Image, 'plastics_' + Index+'.bmp')     * 转换为灰度图像（兼容彩色相机输入）     * 注意：使用rgb1_to_gray保持亮度线性转换     rgb1_to_gray (Image, Image)          * ​*************** 频域处理模块 ​***************     * 执行FFT正变换（空间域→频域）     * 参数说明：     *   'to_freq' - 正变换方向     *   'none' - 不进行窗函数处理     *   'complex' - 输出复数格式频域数据     rft_generic (Image, ImageFFT, 'to_freq', 'none', 'complex', Width)     * 频域卷积运算（应用预设计滤波器）     * 原理：F(f*h) = F(f)·F(h)（频域乘法等效空域卷积）     convol_fft (ImageFFT, Filter, ImageConvol)     * 执行FFT逆变换（频域→空间域）     * 参数说明：     *   'from_freq' - 逆变换方向     *   'n' - 无标准化（保持动态范围）     *   'real' - 输出实数图像     rft_generic (ImageConvol, ImageFiltered, 'from_freq', 'n', 'real', Width)          * ​*************** 后处理与缺陷提取模块 ​***************     * 计算局部灰度范围（增强缺陷对比度）     * 参数说明：     *   10x10邻域窗口（需大于缺陷尺寸）     *   效果：突出缺陷边缘与纹理异常     gray_range_rect (ImageFiltered, ImageResult, 10, 10)     * 计算图像灰度极值（用于动态阈值设定）     * 参数说明：     *   0 - 忽略边界像素（避免边缘效应影响）     min_max_gray (ImageResult, ImageResult, 0, Min, Max, Range)     * 动态阈值分割（双阈值保护机制）     * 阈值逻辑：取固定阈值5.55和最大值的80%中较大者     * 设计目的：既防止低对比度缺陷漏检，又避免噪声干扰     threshold (ImageResult, RegionDynThresh, max([5.55,Max * 0.8]), 255)     * 连通域分析（分离独立缺陷区域）     connection (RegionDynThresh, ConnectedRegions)     * 初级面积筛选（过滤4像素以下噪声）     select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 4, 99999)     * 区域合并（防止同一缺陷被分割为多个区域）     union1 (SelectedRegions, RegionUnion)     * 闭运算处理（填充微小孔洞，平滑缺陷边缘）     * 参数说明：     *   10像素结构元（确保相邻缺陷合并）     closing_circle (RegionUnion, RegionClosing, 10)     * 二次连通域分析     connection (RegionClosing, ConnectedRegions1)     * 最终面积筛选（确认有效缺陷区域）     select_shape (ConnectedRegions1, SelectedRegions1, 'area', 'and', 10, 99999)     * 计算缺陷质心坐标（为后续定位提供数据）     area_center (SelectedRegions1, Area, Row, Column)          * ​*************** 可视化与结果输出模块 ​***************     * 显示原始图像（保持背景参考）     dev_display (Image)     * 统计缺陷数量     Number := |Area|     * 生成缺陷标记图形（30像素半径红色圆圈）     if (Number)         * 创建圆形轮廓对象（XLD格式）         * 参数说明：         *   30 - 圆环半径（根据缺陷尺寸调整）         *   0 - 起始角度（完整圆环）         *   rad(360) - 结束角度         *   'positive' - 顺时针方向         *   1 - 相邻点间距（高分辨率绘制）         gen_circle_contour_xld (ContCircle, Row, Column, gen_tuple_const(Number,30), gen_tuple_const(Number,0), gen_tuple_const(Number,rad(360)), 'positive', 1)         * 构造报警信息（显示缺陷数量）         ResultMessage := ['Not OK',Number + ' defect(s) found']         Color := ['red', 'black']           * 多颜色信息显示         dev_display (ContCircle)     else         * 合格品显示绿色OK标识         ResultMessage := 'OK'         Color := 'forest green'           * 工业标准通过色     endif     * 在图像左上角显示检测结果（坐标12,12避开检测区域）     disp_message (WindowHandle, ResultMessage, 'window', 12, 12, Color, 'true')     * 非最后一张时显示继续提示（模拟产线节拍控制）     if (Index != NumImages)         * 显示标准继续提示（底部右对齐）         disp_continue_message (WindowHandle, 'black', 'true')         stop ()           * 暂停等待操作员确认     endif endfor  * ​*************** 参数说明表（供工程调试参考） ​*************** * | 参数                  | 作用                                   | 工业调参建议               | * |-----------------------|----------------------------------------|--------------------------| * | Sigma1=10.0          | 控制背景纹理抑制范围                   | 根据正常纹理周期调整       | * |                       | 公式：Sigma1 ≈ 纹理周期/2              | 使用FFT频谱分析确定周期    | * | Sigma2=3.0           | 控制缺陷特征保留范围                   | 根据最小缺陷尺寸调整       | * |                       | 公式：Sigma2 ≈ 最小缺陷半径             | 需考虑点扩散函数影响       | * | gray_range_rect(10,10)| 局部对比度增强窗口                     | 窗口尺寸=2×缺陷直径        | * | threshold(5.55/0.8Max)| 动态双阈值机制                         | 5.55对应3σ噪声水平（8bit） | * | closing_circle(10)    | 缺陷区域平滑参数                       | 结构元直径=允许缺陷间距     |

 

 

结果图：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

未完待续。。。。。。。。。。。。