机器视觉工程师班

项目总体设计方案以及实施，全局认识（需求分析-》方案设计-》概要设计-》详细设计-》编码-》调试-》稳定性测试-》维护

1.熟悉halcon环境(包括基本语法、字符串、灰度直方图、特征选择等工具等的熟悉)、机器视觉系统的组成框架以及包含的学科知识、硬件软件架构，机器视觉含义、如何学习机器视觉、包含学科、如何做工业视觉项目、前景应用以及就业。
2.图像处理、模式识别基础知识以及halcon案例编程（包括图像、图形和图像文件的区别、数据类型（包括图像、区域、XLD、控制变量本质的透彻解析）、图像文件读取、处理、保存等）
3.视觉项目的常规处理流程（采集-》预处理-》分割-》识别显示-》通讯控制）
4.halcon软件编程基础知识，包括环境、采集助手等工具熟练掌握，以及同步采集和异步采集。

工业视觉识别定位需求

1.图像处理十大门派（1.图像基本理论（包括图像文件构成、文件头信息头、颜色表、连通域、四邻域、八邻域）2图像灰度变换（包括图像二值化、反转负相、线性、对数、指数变换）3图像增强（中值、均值、高斯滤波去噪、图像直方图以及均衡化）4图像几何变换（包括水平垂直镜像、仿射变换之平移、旋转、缩放等）5形态学（膨胀、腐蚀、开运算、闭运算、内外边界）6图像复原7图像分割（阈值分割、边缘检测、轮廓跟踪、内挖空）8.图像频域9.运动图像（差分思想及光流）10图像配准
2.Blob分析之预处理、二值化、形态学、特征选择、几何定位进行对任意物料的灵活识别定位的实战，并且结合相机进行实时采集处理显示
3.Halcon实现blob分析+仿射变换(平移、旋转、缩放、错切、镜像)灵活实战(mark点等各种物料识别)（包括详细数学矩阵推导和实战，并不仅仅是简单应用，超人特色）
4.ROI模型进行人机交互操作

工业视觉符号识别需求

一维码、二维码连接相机实时识别实战,,包括各种类型的码制识别、参数自训练识别、带有汉字信息的码制识别

工业视觉符号识别需求

1.OCR光学字符识别原理（分类器、特征向量、神经网络等）以及方法套路流程思想，包括详细的分类器推导以及什么是训练，训练的本质是什么，包括整个神经网络模型的推导，权重系数确定、输入层、隐藏层、输出层、网络模型搭建、全连接、softmax、神经元、特征向量空间、激活函数、损失函数等详细推导实战，并且灵活运用用神经网络实现门阵电路功能以及和点云的结合。（超人视觉特色课程）
2.OCR光学字符识别基本流程套路思想解析实战
3.OCR光学字符识别实战（普通字符）
4.OCR光学字符识别实战（环形极坐标转换OCR光学字符）
5.OCR光学字符识别实战（深度倾斜投影变换识别）
6.OCR光学字符识别（训练特征的选择和优化、训练文件的生成、自我训练识别以及汉字识别）
7.OCR光学字符识别（斜体字符-错切变换）
8.OCR光学字符识别（复杂干扰背景下字符识别）
9.棋盘格圆柱体曲面情况（棋盘格检测、透视变换以及其它相关技巧方案）（超人视觉特色课程）

10凹凸金属反光ocr字符的检测方案和实战（超人视觉特色课程）
11.构图法
12.text模型（采用text模型的参数以及不同模式特点）
13.OCR助手的使用与人机交互
14.OCV(灰度投影)

任何需求都需要的第一步采集（图像来源于相机或者文件）

1.SDK整体开发架构流程（采用超人视觉自创罗氏口诀方法可以快速在短时间对于任意一款相机快速SDK实战完成出图，基本不用看说明书和文档，包括海康、巴斯勒、迈德威视、3D相机、凯视佳、大华等各大知名品牌相机，超人视觉特色课程），对市场上的各大相机的SDK进行OOP编程思想的封装，也就是无需修改代码，实现客户可以修改配置文件从而实现市场上各大品牌不同型号相机的SDK采集的切换，直接用于客户现场对接实际项目，并且嵌入到项目框架中
2.相机SDK采集开发以及C#联合Halcon（回调函数、参数设置、连续、软、硬外触发采集等）

3.多线程多相机SDK并行采集处理
4.C#和Halcon的控制变量转换
5.C#图像图像变量与halcon图像变量转换

工业视觉识别定位需求

1.基于灰度模板匹配原理以及实战解析

2.基于相关性模板匹配原理以及连接相机实战解析（一对多、多对多）

3.匹配助手进行连接相机或者图像文件的匹配实战

4.基于形状匹配原理以及实战解析（采用技巧思维方式必须深刻熟练每一个参数的每一个值的用法，熟练到倒背如流收发自如（也就是可以瞬间说出比如查找模板的第几个参数的第几个值意思含义），并且结合项目灵活实战进行定位检测）

5.模板匹配关联定位法+跟随检测以及定位差分法
6.基于形状匹配进行连接相机实战（单模板即一对多）（等比例模板、不等比例模板、DXF文件读入的XLD模板、模板的不同创建技巧方式）
7.基于形状匹配进行连接相机实战（双模板、多模板即多对多、正反面模板等）
8.基于形状匹配的各种难点情况的匹配解决方法（变形图像、模糊图像、边界处理、极性变化、低对比度以及高噪声、模板修改、读写等）熟练扎实掌握模板匹配基于形状的每个参数的灵活运用，包括每个参数的原理以及每个参数不同取值的影响，包括如何提升匹配的速度和精度等
9.基于点匹配、组件匹配、描述符匹配、全局可变形匹配
10.基于局部可变形(矫正图像、向量场、变形轮廓）匹配
11.图像拼接（特征角点检测、匹配配准矩阵、拼接、矫正优化）
12.线扫相机图像处理以及线扫相机速率选型计算等包括线相机的标定搭建等，配合线光源实战，也就是在客户要求的幅面宽度和精度下选择几K的相机以及线扫速度为多少HZ，并且求编码器的触发脉冲。

13.模板匹配中心移动法（特色）

工业视觉测量需求

1.一维测量的测量原理与项目实战，包括灰度投影、剖面线、求导、找边微分等推导。测量矩形与测量弧形的原理以及实战，包括调用流程和原理以及测量助手的详细实战使用

2.单摄像机标定的原理详细推导讲解，包括世界坐标、相机坐标、图像像素坐标、图像物理坐标之间的矩阵关系转换详细推导、内参矩阵的求解以及外参矩阵求解，内参矩阵的多个作用、外参数矩阵所代表的详细坐标系3D姿态变换关系，以及张正友棋盘格标定，单应性矩阵和Tsai两步标定法的区别与联系

3.Halcon实现单摄像机标定实战，从标定模型创建到采集图像并且标定详细代码实战实现，同时详细讲解每个参数的作用和原理，并且结合标定数学原理深入理解实战，同时对标定后的结果进行精度分析，包括标定过程中的提高精度的技巧和原因原理，以及RMSE误差分析标定的结果像素精度。最后得到摄像机的内参和外参矩阵。并且利用内外参数矩阵进行实战物料实际尺寸测量和精度分析，并且实时显示人机交互，同时在高速飞拍转盘设备上配合海康等多个知名牌子相机进行连接相机实战实时实现尺寸测量同心度测量等。（超人视觉特色课程）

4.Halcon实现不标定内参数只求外参的灵活独创标定法（采用蜂窝或者圆形阵列标定板等），进行物料任意姿态方法测量（无需正交）（超人视觉特色课程）

5.只靠单摄像机进行标定并且就可以测量物料实际高度，玩转姿态变换（超人视觉特色课程）

6.采用六边蜂窝标定板进行单摄像机的标定详细讲解实战，并且和圆形阵列标定板标定进行详细对比和精度分析等。

7.无需圆形阵列和蜂窝标定板，采用自定义特征点的坐标系进行摄像机的外参求解，配合内参进行实际尺寸测量实战。（超人视觉特色课程）

8.采用自定义标定板（比如棋盘格等）在halcon中进行自定义求解和标定模型设置求解内外参数（也就是不采用halcon支持的标定板）（超人视觉特色课程）

9.比例当量测尺寸、比例当量与内外参区别联系、棋盘格标定等

10.双目或者多路相机拍圆形阵列标定板或者六边蜂窝标定板的标定方法，包括如何统一它们的坐标系进行大尺寸物料测量以及详细推导，在大尺寸、大视野情况下的多相机坐标系统一换算，以及多相机存在两两互联、多对一的情况的坐标系变换统一方法技巧实战。并且在多路相机有重叠区和无重叠区时的统一坐标方法实战，并且测量大视野大尺寸物料的实际尺寸（超人视觉特色课程）

11.非正交情况下，采用圆形或者蜂窝标定板进行透视矫正倾斜测量，包括详细推导和实战（超人视觉特色课程）

12.单摄像机标定后的畸变矫正原理以及详细实战矫正，包括畸变的引起原因（切向和径向畸变）以及不同矫正方法，并且对比矫正前后的误差，包括矫正时的adaptive、fixed、fullsize等的区别，以及division和多项式标定时的区别和联系，包括二者精度对比等。同时非常熟练掌握halcon标定助手的使用标定以及FA镜头和远心镜头的标定。包括助手里面涉及到的每个参数对应的原理和含义的详细讲解包括技巧和精度影响。

13.定位+跟随检测实战（包括实际项目中不同物料定位目标的选择技巧同时定位，以及感兴趣区域或者xld、点等几何变换跟随实战，并且在飞拍设备上进行实时定位跟随检测实际尺寸）

14.二维测量边缘检测原理（一阶二阶导数检测边缘详细推导包括离散卷积核等）以及实战解析，包括卷积的详细推导以及实战、图像滤波的本质，锐化、离散卷积与边缘检测的关系与推导实战，包括空间卷积与频域的关系，Canny、Sobel、prewitt、laplace等原理的推导和应用实战）

15.XLD轮廓拟合原理以及找直线、圆、椭圆、矩形的项目实战，包括拟合的本质，最小二乘、离群值的剪切、XLD亚像素的本质定义原理与属性、多种中心XLD线提取等）
16.连接相机实战实现二维测量，从采集图到预处理到XLD轮廓提取、 分割（分割的各种技巧）、联合（不同联合方式）、拟合（拟合圆、椭圆、直线、矩形等）计算以及转换到实际尺寸实时显示项目设备实战
17.内外卡尺定位并且进行二维测量抓圆抓直线抓矩形等实际定位测量实战（圆、直线、矩形等卡尺），其中包括定位+检测实时定位卡尺测量跟随实战（采用不同定位方式））

18.自己独立实现自定义卡尺功能进行二维测量实战（包括定位+几何变换+测量+跟随全部功能，可以让客户方便使用）（超人视觉特色课程）

19.双目立体视觉原理推导与自己搭建实战（包括3D双目的原理推导、误差分析，同时进行实战搭建，包括双目相机标定实战、视差图的理解、深度图、双面矫正、极线约束矫正、视差求解和影响因素、视差与点云的转换、点云重建等实战等）（超人视觉特色课程）

20.多目立体视觉原理推导与自己搭建实战（包括多目标定、虚拟相机求解、虚拟移动、多目坐标系的变换统一、虚拟外参与立体匹配进行点云计算、多目变换虚拟内参、虚拟外参、点云重建实际搭建实战等）（超人视觉特色课程）

21.线激光（激光三角）分体式的原理和自己搭建实战（包括内外参、光片平面姿态变换标定矫正、移动位姿标定求解等原理详细推导和实战，包括视差图、姿态换算、立体匹配等，标定后进行重建点云并且进行3d点云高度、平面度等测量实战）（超人视觉特色课程）

22.模糊测量.运动检测与霍夫变换一维函数曲线图

方案选型

1.光源、镜头、相机选型详细计算原理以及打光原理方法技巧经验并且实操实战，同时写出客户物料方案报告以及完整的打光选型整体项目方案思维流程和最终实践流程结果，包括应该如何做机器视觉项目、从需求分析、方案评估、仿真、方案建立、详细概要设计、编码、测试调试维护等各个方面讲解（包括精度，重复精度、速度、工艺流程、可靠性、光路追击原理、飞拍项目的注意事项和选型参数计算、景深、焦距、镜头分辨率、MTF曲线、光圈数、光圈、相对孔径、机械接口、入瞳出瞳、孔径光阑、渐晕光阑、视场光阑、圆线偏振光、滤光镜、像差、远心和非远心光路、相机的分辨率、靶面尺寸、面阵、线扫、接圈原理、信号接口、白平衡、帧率、增益、曝光方式，背、条、瓦、同轴、点、线等光源光路原理以及打光选型技巧实战）
2.去光源厂家进行1-2天打光项目实操（直接上客户物料打光项目实战讲解，并且填写实验报告，讲述遇到某种物料的某种情况下可以有哪些方案以及原因等）

与控制系统通讯需求

1.深度学习基本理论（神经元的概念、感知机、激活函数（ReLu、sigmoid等）、神经网络详细推导、迁移学习网络TL、权重系数、训练的本质、随机梯度下降、损失函数、激励函数、监督、非监督、强化学习DRL、半监督、学习率等）

2.搭建Halcon深度学习环境（包括驱动、cuda、MVTec Deep Learning Tool标签软件、深度学习dl运行环境等安装）。

3.Halcon实现深度学习的基本流程（包括数据集的预处理、模型训练、模型验证、模型测试）

4.神经网络的详细推导包括神经元的本质数学模型建立、线性分类器与非线性分类器的区别与推导以及神经网络模型搭建、包括权重系数的优化减小模型误差、softmax函数分类、损失函数、均方差、交叉熵、微分求导、反向误差传播、链式求导、随机梯度下降法、动量等

5.过拟合、欠拟合、超参数、精度、召回率、F-Sore、TP、FP、TN、FN、momentum、Learning-rate、batch、 mini-batch 、epochs、weight_prior、max_overlap、max_num_detection、min_confidence等的影响关系和含义

6、tensorflow深度学习娱乐场及tensorflow等深度学习常用框架

7.CNN卷积神经网络原理模型推导（卷积层、池化层、全连接层、softmax等）（RNN循环神经网络、GAN对抗神经网络以及GPU加速、部署等）

8.Halcon深度学习完成是否戴口罩自动检测识别、大红枣多种缺陷识别、OCR识别等实战以及深度学习（dl）、mlp、svm、gmm、knn等各种分类器的区别与联系，性能比较等分析。

9.Halcon深度学习基于分类项目实战应用（包括不同手机垫片物料的缺陷种类分类、电路焊点缺陷分类、大枣分类、口罩分类识别等）包括打标签软件MVTec Deep Learning Tool的灵活使用，包括数据集的准备、标注标签技巧、验证、训练、测试等，同时分类实现的步骤（数据集预处理、训练、验证、推理部署），包括网络模型的性能评估，真正例、假正例、真反例、、假反例、混淆矩阵、精度、召唤率、F-Score等的性能描述 以及参数设置技巧和模型原理。

10. Halcon深度学习基于目标检测（带角度和不带角度）项目实战（包括多目标电阻的定位、多目标重叠时定位、以及得到深度学习检测的像素坐标转成机器人坐标进行抓取定位，也就是深度学习（位置、角度）+手眼标定或者九点标定+机器人定位抓取）包括网络模型平均精度、交并比的评估等,同时也包括（带角度和不带角度打标签软件MVTec Deep Learning Tool的灵活使用，数据集的预处理、模型训练、模型评估验证、推理部署等环节实战）

11.Halcon的深度学习基于语义分割项目实战（包括不同电阻物料的缺陷像素分割、不同电容等电子物料的缺陷像素分割实战，并且得到缺陷像素区域，其中包括数据集的准备、数据字典、数据集预处理、模型训练、模型评估验证、推理部署等）包括像素精度、交并比、平均精度、像素混淆矩阵等性能评估参数

1.串口通信原理以及串口通信联合项目实战（和球机、编码器、机械手等通信）（包括串口通信底层本质详细讲解，串口的原理定义、配置参数（波特率 停止位 数据位 校验位 串口号）、同步异步通信、16进制与字符串发送接收本质解析、CRC校验、串口通信协议解析，包括modbusRTU、 modbusASCII、 modbusTCP、 modbusUDP协议等详细对比讲解，以及报文解析、协议封装、报文拼接、OPC、虚拟串口、slave/poll仿真等（和三菱、西门子等PLC通信实战、温度传感器通信实战、delta并联机器人串口通信实战、球机串口通信实战、和modbusRTU编码器串口通信实战等）

2.网口通信原理以及通信联合项目实战（通俗精华讲解）（和四轴、六轴机器人的通讯实战）（包括网口通信的原理、服务器与客户端、OSI七层协议、Socket通信本质、TCP与UDP区别与联系、C/S 、IP地址与端口号区别等网口通信的相关原理实战详细讲解），包括协议解析、报文拼接、解析封装以及和机器人通信实战

运动控制，九点标定、定位核心、机器人实战fd

1.运动控制实操实战：

1）运动控制卡的硬件架构体系（雷塞和固高）包括电气连线知识等
2）运动控制板卡驱动、SDK开发架构流程

3）回零、卡的初始化、关闭操作，脉冲模式设置、电子齿轮、单轴点位、限位、、JOG运动、直线圆弧插补、连续插补、比较器、位置锁存、专用通用IO等编程上机实操

2.四轴机器人的视觉定位核心技巧大全

1）正坐标系下的九点标定的原理详细推导，包括矩阵的解算以及3点以上的原因推理和九点标定的实战和精度分析，并且只是标定一次单相机在多个位置进行拍照定位实战

2）相机绑定在机器人上，比如绑在工具末端、第二轴、第三轴等时候，相机运动标定、移动标定、全自动标定，以及相机在任意位置检测时如何用之前的矩阵进行补偿运算，同时还包括如果只标定下相机，那么上相机或者任意其它位置的相机如何使用此矩阵并且补偿，以及相机如果在机器人轴旋转时发生了各种旋转和平移以及高度变化的时候如何用之前的九点矩阵进行灵活实时补偿矩阵运算。

3)机器人的旋转中心详细求解以及推导实战，也就是法兰中心和不同的多工具多吸嘴不同心时如何求解旋转中心、也就是法兰中心和多个实际工具不同心如何让我们的旋转变成在新的工具末端旋转，采用求旋转中心的方式进行求解偏差补偿量，在旋转新的工具的同时进行补偿从而能够在新的工具吸嘴末端进行旋转，同时可以当法兰中心的U轴任意旋转时求出新的工具吸嘴的位置以及新的位置和法兰中心的新偏差补偿等详细讲解和实战，

4)上下相机的纠偏原理以及实战，包括下相机的九点标定、下相机只拍一次进行纠偏补偿以及偏差的仿射矩阵计算（包括等效法和仿射直接法等）、空间平面实际坐标系下的仿射变换各种灵活矩阵变换等详细推导和机器人设备实战

5)TCP标定的本质以及原理推导、包括TCP标定的原理也就是如何从法兰中心tool0变换到新的工具tool的矩阵的计算，标定过程的矩阵详细推导论证以及现场机器人设备TCP标定详细实战，包括TCP标定后的机器人实现新的工具坐标系确定后的正反解运动学解算本质等核心技术。

6)在非正坐标系下，比如相机倾斜时的九点标定矩阵矫正以及实战，包括非正交的图像透视矫正等。

7)XYZ平台与UVW平台区别,以及UVW平台对位计算的技巧和对位偏差、旋转角度、旋转中心计算等，UVW平台也称XXY平台。

3.双相机进行手机外壳的双边特征定位坐标系统一计算机器人坐标系下的角度、位置等，并且进行机器人的对位贴合实战，包括九点法矩阵仿射变换、矩阵补偿等。

4.双（多）相机同时看一个圆阵列或者蜂窝标定板的实战双目标定并且测量，以及20路相机如何统一坐标系，这里面包括多相机有重叠区、无重叠区、重叠拼接方式与非拼接方式等（超人视觉课程特色）

5.九点标定常见四大情况的理论推导与实战 halcon以及源码分别实现(超人视觉特色九点标定的四种变化，1.上正交正相机九点2.下正交相机九点3全自动化标定运动相机九点法4非正交配合标定板的倾斜透视矫正九点法)以及这四种情况下当在任意位置高度下的补偿求解。

6.机器人TCP标定编程实操（包括如何推导TCP矩阵（采用四点法或者六点法姿态变换推算矩阵）和旋转中心求解的对比区别以及各自应用场景的原因，包括TCP标定的本质原因以及为什么要求解旋转中心的本质原因（超人视觉课程特色）

7.机器人旋转中心的求解的不同方法（包括三点拟合圆、中垂线法、两点法等）以及上下相机纠偏的本质仿射变换矩阵补偿总结实战

11.Halcon联合C#的三种不同方式

（1）直接导出方式（2）引擎方式（外部和非外部）（3）直接面向对象方式