W20-5G人工智能综合应用实验箱

一、产品概述

5G人工智能综合应用实验箱（型号：SeaIOT-B-AIOT-02），是一款融入多自由度机械臂的人工智能、5G通信的教学实验产品，通过视觉识别、语音交互、网络通信多种途径控制机械臂调整运动姿态、识别物体、精准抓放。
产品采用高性能AI处理器，内嵌机器视觉库、深度学习框架及多种模型，集成摄像头、麦克风阵列进行图像、语音信号的采集、分析、识别、决策；集成多自由度机械臂，支持运动学和ROS机器人系统；板载物联网传感器和传感网模块，支持通过有线、无线与AI主控进行通信；融合5G移动通信，可将数据、图像、视频等多媒体数据及结构化数据推送到云服务平台；提供机器视觉、深度学习、语音识别、数据预测、物联网云端接入以及与机械臂结合拓展物体识别向末端运动控制方向落地的应用案例。

二、课程实验

教学资源主要内容：
l 第一部分：基于Python和PyQt的传感器采集和执行器控制。可以为用户提供基础的Python学习案例和Python在物联网传感器技术中的应用。
l 第二部分：基于AI智能算法、深度学习框架的数据分析，可开展图像处理、机器学习、深度学习方面的验证性实验，提供python语言的在线实验代码编辑、测试，提供实验手册；
l 第三部分：通过5G通讯，实现图像数据采集传输、视频流推送和其他物联网扩展应用，如执行器的控制、多传感器采集。
l 第四部分：机械臂的实验，能够实现机械臂坐标系建立、逆运动学学习、AI识别机械手识别物体、追踪物体、抓取物体、分拣物体。

课程类别	课程要求
1.Python物联网应用开发	Python传感器采集	实验一 光强数据采集 实验二 光敏数据采集 实验三 紫外线数据采集 实验四 温度数据采集	实验五 湿度数据采集 实验六 结露数据采集 实验七 广谱气体数据采集
	Python执行器控制	实验一 风扇控制 实验二 电插锁控制 实验三 继电器控制 实验四 声光报警控制	实验五 减速电机控制 实验六 步进电机控制 实验七 舵机控制
2.数字图像处理	课程目标	理解图像处理算法的原理 掌握数字图像处理的常用方法
	课程内容	完成图像处理视觉库的安装、图像处理方法调用。
	课程实验	实验1 Opencv视觉库的安装配置 实验2 图像灰度化 实验3 归一化 实验4 二值化 实验5 图像滤波：高斯、中值	实验6 边缘检测：Sobel/Canny/hog 实验7 形态学 实验8 灰度直方图 实验9 锐化 实验10 钝化 实验11 图像增强
	课程实训	实验1 颜色识别	了解颜色组成和表示方法； 使用Opencv库识别颜色，并播报。
		实验2 简单图形形状识别	了解霍夫变换的原理； 涉及图像灰度化、归一化、滤波、边缘检测等知识点； 使用Opencv库识别圆形、矩形，并播报。
3.机器学习应用	课程目标	1.了解机器学习的分类：无监督、有监督 2.了解数据集的原理、作用、存储格式 3.了解至少一种聚类算法如K-Means的原理：欧式距离、余弦距离曼哈顿距离计算方法； 4.了解至少一种机器学习算法如Adaboost、SVM、决策树等的原理：分类器的流程； 5.掌握聚类算法、分类器算法的调用方法 6.掌握分类器的检测分类效果 7.掌握根据分类效果，进行智能控制 8.通过增减数据集，掌握算法训练的全过程
	课程内容	能够使用机器学习的算法，实现聚类、分类、以及能够结合声、光、电设备实现关联控制
	课程实验	实验1 鸢尾花聚类播报 实验2 脸部表情分析显示	实验3 人脸检测实验 实验4 人脸装扮实验
4深度学习应用实验课	课程目标	1.了解深度学习的定义，与机器学习的区别 2.了解数据集的原理、作用，以及格式 3.了解至少一种深度学习算法的理论：如CNN、RNN、BP神经网络 4.掌握至少一种深度学习框架的使用方法：如TensorFlow 5.掌握使用深度学习方法实现识别的方法 6.掌握根据识别结果，进行智能控制，如语音播报识别到的数字，语音播报识别到的物体名称，控制声、光、电执行部件。 7.通过增加数据集，掌握算法训练的全过程。
	课程内容	能够使用深度学习的方法，实现数字、物体识别，使人工智能与物联网感控设备联动
	课程实验	实验1 手写数字识别 实验2 涂鸦猜游戏	实验3 物体识别 实验4 垃圾分类
5 语音识别实验		实验1 语音识别翻译文字 实验2 语音合成及语音播放	实验3 语音信号采集 实验4 语音信号特征提取 实验5 语音识别对比
6.AI物联网综合应用		实验一 基于FaceNet框架人脸识别门禁系统 实验二 基于pytorch框架的疲劳驾驶检测	实验三 基于NPU的YOLOv5疲劳驾驶模型推理 实验四 基于百度千帆大模型的会话工具
7.5G模块驱动应用	课程目标	掌握5G通讯模块数据上云的方法
	课程内容	能够使用边缘计算网关系统，驱动5G模块正常工作，可以支持5G数据传输、视频流推送、数据上云等。
	课程实验	实验1 边缘计算网关环境搭建 实验2 5G模块驱动安装 实验3 5G模块入网测试 实验4 5G模块TCP通信	实验5 5G模块UDP通信 实验6 MQTT通讯测试 实验7 CoAP通讯测试 实验8 HTTP云端接入应用 实验9 RTSP视频流推送
8.云平台接入应用	课程实验	实验1 华为云 MQTT 设备接入 实验2 阿里云 MQTT 设备接入	实验3 中国移动 OneNet 平台 MQTT 设备接入 实验4 泛太云平台 CoAP 设备接入
9.ROS机械臂	课程实验	实验1 机械臂组成结构说明与坐标系建立 实验2 机械臂逆运动学 实验3 ROS1/ROS2机器人系统	实验4 机械臂的AI案例 含颜色追踪、人脸跟踪、手势跟踪、智能分拣等