基于混合多级深度神经网络系统的半导体制造过程自动化视觉故障检测系统

2022-02-15 3954

在半导体领域，自动化视觉检测旨在通过利用人工智能和计算机视觉系统改进对制造缺陷的检测和识别，使制造商能够提高产量和降低制造成本。以往研究通常使用经典的计算机视觉方法，而近些年基于深度学习的方法应用的更加广泛。然而，基于深度学习的方法对小尺寸缺陷图案的识别较为困难，这些缺陷图案的尺寸通常只有几微米或者几像素，隐藏在大量高分辨率图像中。当这些缺陷模式发生在明显更大的晶圆表面上，经典的机器学习和深度学习解决方案难以解决小尺寸缺陷图案识别的问题。本文引入了一种新颖的混合多级叠加深度神经网络系统（SH-DNN）混合多级系统，该系统允许通过经典的计算机视觉管道在像素大小内定位最精细的结构，而分类过程由深度神经网络实现。所提系统将重点从其结构的详细程度转移到与任务相关的更感兴趣的领域。正如创建的测试环境所示，基于 SH-DNN 的多级系统超越了当前基于学习的自动视觉检测方法。该系统的性能（F1分数）高达 99.5%，对应于系统的故障检测能力相对提高了 8.6 倍。此外，通过专门为给定的制造链选择模型，可以满足运行时限制，同时提高当前部署方法的检测能力。


关键词：计算机视觉；模式和图像识别；深度学习；半导体制造；工厂自动化；故障检测

1. 研究背景

自动化视觉故障检测过程涉及系统的开发和集成，用于捕获和监控制造结果。质量控制的自动化使制造商能够受益于产量的提高和制造成本的降低。虽然半导体制造过程的数据采集通常会产生大量的图像数据，但缺陷图案通常为像素大小出现在高达105×105图像分辨率范围内。对基于深度学习的方法，这种小尺寸缺陷模式的检测和分类为常见难题。因此，本文通过心理学和视觉注意领域的概念来克服上述问题。

本文的贡献总结如下:本文提出一种新型的混合多级叠加深度神经网络系统（SH-DNN）的设计，该系统结合了经典图像处理方法和基于人工神经网络的方法的优点。将重点放在检查过程中每一步的详细程度上，以关注更多与任务相关的领域。它通过经典的计算机视觉管道对像素大小内的最精细结构进行定位，而分类过程则通过深度神经网络实现。深层神经网络能够以更高的分辨率处理给定的输入。从而更有效地检测通常仅在几µm大小范围内的最精细结构和大量高分辨率图像中的像素。

2. 研究内容

实验数据集由各种类型的晶圆组成，它们都具有不同结构和图像分辨率，每个芯片的像素从 224×224 到高达 960×1024 不等。最重要的是，这也意味着完美和有缺陷的芯片、street和street段的不同特征和子类的出现。表 1 描述了数据集的组成，共计六种不同的晶圆类型以及多达 5000 个芯片和 13500 个street。对于street段，每条street被分成多个重叠的平方street段区域。

表1 每个晶圆类型的芯片（包括内部和边界以及完美和有缺陷的芯片）和street（包括完美和有缺陷的street）的数据集概述

图片

表2和表3显示了一些典型的代表性芯片和街道样本。

表2 数据集芯片类八个代表性示例概述

图片

表3 数据集street分类概述

图片

图1显示了所提基于SH-DNN的系统及其处理步骤。在以下章节中，系统处理整个晶圆，以检测有故障和无故障的芯片。在处理晶圆图像之前，通过不同的显微镜记录它们，获取未拼接的子图像，或者预处理的图像，这些图像由显微镜软件拼接成单个图像。

图片

图1所提视觉故障检查系统

Street分类网络包括芯片分类网络与Street分类网络，都是基于VGG网络进行的改进。网络结构如表4和表5所示。

表4 用于芯片分类的自定义CNN层配置

图片

表5 用于street分类的自定义CNN层配置

图片

表6显示了常规基线、半导体和基于DL的方法的测试结果。这些方法目前分为半导体视觉检测领域中部署的基于单个DNN的解决方案，以及该领域中大多数未经DL研究的方法。

表6 基于SH-DNN的分类测试结果，采用常规基线方法和基于DL的芯片和street分类方法

图片
图片

此外，我们还评估了相关的常规基线和基于DL的内部和边界芯片分类方法，如表7所示。

表7 基于SH-DNN的分类测试结果，以及用于内部和边界芯片分类的常规基线方法和基于DL的方法

图片


3. 结论

所提自动视觉故障检测系统将经典图像处理方法的优点与基于深度学习的方法相结合，形成了一个混合多级叠加深度神经网络系统（SH-DNN）。该系统的优势在于能够检测到通常只有几微米大小的最精细结构，以及大量高分辨率图像中的像素。为此，多级系统有助于将处理集中在感兴趣的区域，因此允许后续的深层神经网络以更高的精度进行分类。根据详细程度进行区分，可以在更大的母区内检测缺陷模式，同时可以在自动化目视检查过程的早期阶段将其排除在进一步评估之外。遵循这一原则，每个处理步骤的结果都会根据所提寻址方案进行可视化，进而允许生成自己的晶圆图。虽然这些晶圆图在视觉上与晶圆探针测试创建的晶圆图相似，但它们是无风险获取的，因为检查过程是非侵入性的，进一步简化了检查员的评估过程。

使用多种基于机器学习和深度学习的方法进行对比评估，同时将其与更常用的自动化视觉检查方法进行比较。正如测试结果所示，所提基于SH-DNN的系统超过了当前最先进的自动视觉检查。这些改进突出表现在系统性能（F1分数）从95%提高到98.9%（对于常规基线方法为+3.9%），以及从95.7提高到99.5%（对于基于单DNN的方法为+3.8%）。这相当于系统的故障检测能力分别提高了4.6倍和8.6倍。




上一篇：工业软件：世界八大最顶尖的工业... 下一篇：如何完成一次B端产品的线下业务调...

热门文章排行榜

最新文章排行榜