(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210471824.1 (22)申请日 2022.04.29 (71)申请人 上海工程 技术大学 地址 201620 上海市松江区龙腾路3 33 (72)发明人 郭志慧　李志伟　周婕　赵剑光　 郑照　肖新杰　 (74)专利代理 机构 上海唯智赢专利代理事务所 (普通合伙) 31293 专利代理师 刘朵朵 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/75(2022.01) G06V 10/74(2022.01)G06V 10/22(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种针对QFN芯片中少样本缺陷的检测算法 (57)摘要 本发明提供了一种针对QFN芯片中少样 本缺 陷的检测算法， 属于计算机视觉技术领域。 该技 术方案具体包括： 获取框架上下表面图片， 选取 ROI区域并进行裁剪； 使用标注软件进行数据标 注； 将标注后的图片划分为多样 本缺陷数据集和 少样本缺陷数据集； 构建孪生Faster ‑RCNN网络 模型， 使用多样本缺陷数据集进行元学习训练； 利用训练好的模型对少样本缺陷数据集进行测 试， 得到图片的缺陷检测结果并进行评估； 根据 实际生产需求及检测效果重复以上操作， 得到最 终模型。 本发明通过改进现有Faster ‑RCNN网络 结构和训练流程中数据采样方法， 降低了对少样 本缺陷数据量的需求。 将推理模 型转化为相似度 计算模型， 该算法具有良好的扩 展性。 权利要求书1页 说明书4页 附图4页 CN 114937005 A 2022.08.23 CN 114937005 A 1.一种针对QFN芯片中少样本缺陷的检测算法， 其特 征在于， 包括如下步骤： (1)获取框架上 下表面图片， 对所述图片选取ROI区域并进行裁 剪； (2)使用标注软件 对裁剪后的所述图片的ROI区域进行 数据标注， 生成位置类别标签； (3)将标注后的所述图片划分为多样本缺陷数据集和少样本缺陷数据集； (4)构建孪生Faster ‑RCNN网络模型， 将所述多样本缺 陷数据集中的图片输入所述孪生 Faster‑RCNN网络模型进行 元学习训练， 获得训练好的模型； (5)利用所述训练好的模型对所述少样本缺陷数据集中的图片进行测试， 得到 图片的 缺陷检测结果并进行评估； (6)根据实际生产需求及检测效果重复步骤(3)～(5)若干次， 得到最终模型投入生产。 2.根据权利要求1所述的一种针对QFN芯片中少样本缺陷的检测算法， 其特征在于， 所 述步骤1中所述ROI区域 为QFN芯片区域， 所述图片选取ROI区域的方法为模板匹配算法。 3.根据权利要求1所述的一种针对QFN芯片中少样本缺陷的检测算法， 其特征在于， 所 述步骤2中对裁剪后的所述ROI区域进行数据标注即对所述图片 中的缺陷使用矩形框进行 位置与类别标注。 4.根据权利要求1所述的一种针对QFN芯片中少样本缺陷的检测算法， 其特征在于， 所 述步骤3中多样本缺陷数据集和少样本缺陷数据集按照数据量进行划分， 具有大量缺陷样 本的缺陷划分为所述多样本缺陷数据集， 具有仅少量样本的缺陷划分为所述少样本缺陷数 据集。 5.根据权利要求1所述的一种针对QFN芯片中少样本缺陷的检测算法， 其特征在于， 所 述步骤4中的所述孪生Faster ‑RCNN网络模型是在Faster ‑RCNN网络上加入孪生分支， 所述 孪生分支与所述Faster ‑RCNN的backbo ne网络共享 参数结构用于提取图片特 征向量。 6.根据权利要求5所述的一种针对QFN芯片中少样本缺陷的检测算法， 其特征在于， 所 述步骤4中的所述元 学习流程具体包括： (4.1)多样本缺陷数据集中随机选取N种缺陷， 在所述N种缺陷中随机选取一种缺陷抽 取K+1张图片， 其中K张图片加入支持集SupportSet， 另一张图片作为查询集QuerySet， 对剩 余N‑1种缺陷每种随机抽取 K张图片加入所述支持集Sup portSet； (4.2)将所述支持集SupportSet中的N*K张图片与其对应 的所述位置类别标签输入所 述孪生分支获得N*K个特 征向量； (4.3)将所述查询集QuerySet中的图片输入所述Faster ‑RCNN网络， 经过ROI  Pooling 生成的特征向量与所述孪生分支获得的N*K个特征向量分别计算相似度， 再将得到的相似 度向量输入predictor  head层中进行分类和精确定位； (4.4)通过损失函数计算 位置和类别损失； (4.5)设定循环次数， 循环(4.1)～(4.4)计算多次循环平均损失并通过梯度反向传播 学习参数进行参数 更新。 7.根据权利要求6所述的一种针对QFN芯片中少样本缺陷的检测算法， 其特征在于， 所 述步骤(4.3)中的计算相似度具体为， 所述ROI  Pooling生成的特征向量与所述孪生分支获 得的N*K个特 征向量进行 逐通道点积， 在特 征维度求向量相似度。 8.根据权利要求1所述的一种针对QFN芯片中少样本缺陷的检测算法， 其特征在于， 所 述步骤5中的评估以漏检率与误检率作为评估标准。权　利　要　求　书 1/1 页 2 CN 114937005 A 2一种针对QFN芯片中少样本缺陷的检测算法 技术领域 [0001]本发明涉及计算机视觉技术领域， 具体涉及一种针对QFN芯片中少样本缺陷的检 测算法。 背景技术 [0002]半导体引线框架作为集成电路的芯片载体， 是一种借助于键合材料(金丝、 铝丝、 铜丝)实现芯片内部电路引出端与外引线的电气连接， 形成电气回路的关键结构件， 它起到 了和外部导线连接的桥梁作用， 是集成电路封测的重要基础材 料。 [0003]半导体制作流程难以规避的会出现很多问题， 基于机器视觉的缺陷检测技术有利 于提高生产技 术、 降低生产成本， 也是 是避免产品劣品率过高的前提和必要技 术。 [0004]Faster RCNN是何恺明与RCNN作者共同完成的一项工作， 也是目前在目标检测领 域非常知名并应用广泛的一种深度学习框架。 自2016年被提出以后， 被广泛用于目标检测 领域。 [0005]而Faster RCNN用于工业缺陷检测领域往 往存在以下问题： [0006]首先是模型训练需要大量的缺陷数据， 而具有缺陷的图像是不容易获取的， 在高 度自动化的生产场景中， 产品的良率特别高， 收集缺陷样本非常耗时。 另外， 由于缺陷是 由 生产过程中的非受控因素产生的， 缺陷的形态是多种多样的， 各种 形态的样本很难收集完 整。 而当前 的用于缺陷检测的深度学习方法大多是基于大量缺陷样本建立模型 的， 缺陷样 本的缺乏导 致模型难以训练上线， 这更加限制了深度学习在工业检测领域的应用。 [0007]其次是模型训练需要大量的标签数据， 而缺陷标签是不容易获取的， 因为对缺陷 图像进行数据标注需要人工监督， 即需要大量有经验的专业人员进行人工标注， 这是非常 昂贵且耗时的。 发明内容 [0008]针对上述问题， 将孪生Faster ‑RCNN目标检测 算法应用于QFN芯片缺陷检测， 关键 点在于将推理问题转换为相似度计算问题， 降低了对少样本缺陷数据量的需求。 这使得网 络具有很好的扩展性， 可以对那些没有实际训练过 的少样本缺陷进行定位与分类， 甚至数 据量只有几张的缺陷通过该网络模型也能达到相当不错的检测效果， 这点是优于很多算法 的。 [0009]为了实现上述目的， 本发明提出一种针对QFN芯片中少样本缺陷的检测算法， 其特 征在于， 包括如下步骤： [0010](1)获取框架上 下表面图片， 对所述图片选取ROI区域并进行裁 剪； [0011](2)使用标注软件对裁剪后的所述图片的ROI区域进行数据标注， 生成位置类别标 签； [0012](3)将标注后的所述图片划分为多样本缺陷数据集和少样本缺陷数据集； [0013](4)构建孪生Faster ‑RCNN网络模型， 将所述多样本缺陷数据集中的图片输入所述说　明　书 1/4 页 3 CN 114937005 A 3