TYK-FTAI03A型 人工智能物聯網綜合實訓平臺
一、產品概述
TYK-FTAI03型 人工智能物聯網綜合實訓平臺是一款綜合5G通信、邊緣計算、視覺識別、語音識別、python應用開發的實驗教學產品。
產品采用高性能AI處理器，內嵌機器視覺庫和深度學習框架，外圍連接攝像頭、麥克風陣列進行圖像、語音信號的采集、分析、識別、決策；引出處理器接口用于信號交互，具有無線傳感網模塊；融合5G移動通信，可將圖像、聲音、視頻等多媒體數據及結構化數據實時推送到云服務平臺；提供5G云端接入、視頻流實時推送、圖像處理基礎、機器學習、深度學習、語音識別、數據預測、以及與物聯網模塊結合開展綜合應用的案例。
二、產品組成
1、邊緣計算網關：板載高性能四核64位ARM Cortex-A55處理器，主頻高達2GHz；內存：4G；集成雙核心架構GPU，高性能VPU及高性能NPU。GPU支持OpenGL ES3.2/2.0/1.1，Vulkan1.1；VPU可實現4K 60fps H.265/H.264/VP9視頻解碼和1080p 100fps H.265/H.264/VP9視頻編碼；NPU支持Caffe/Tensorflow等主流架構模型的切換。內置獨立的第三代NPU硬件加速器，性能0.8tops，支持Caffe/Tensorflow/pytroch等主流架構模型。板載EMMC、M.2插槽（nvme協議 支持擴展ssd固態硬盤），1個MIPI DSI和1個HDMI接口，支持支持雙屏同顯；具有2個USB 3.0接口，2個USB Host接口，1個千兆以太網接口，1個Type-C接口，1個音頻接口；集成wifi，藍牙，zigbee模塊。
2、攝像頭：支持200萬像素，分辨率最大1920*1080，USB接口，無畸變。輸出格式MJPG，支持YUYV。
3、麥克風陣列：遠距離拾音，聲音播放功能。
4、5G通信模塊，是一款專為 IoT/eMBB 應用而設計的 5G Sub-6 GHz 工規級模塊。采用M.2 封裝，幾乎覆蓋全球所有主流運營商。集成多星座高精度定位 GNSS（支持 GPS、GLONASS、BeiDou 和Galileo）接收機，內置豐富的網絡協議，集成多個工業標準接口，并支持多種驅動（如 Windows7/8/8.1/10、Linux、Android 等操作系統下的 USB/PCIe 驅動等）。
5、顯示屏：10寸，HDMI接口
6、其他附件：包含至少32GB的TF卡（最大可支持128G）、揚聲器、USB HUB、鍵盤鼠標等。
三、產品功能
1、圖像識別
2、語音識別
3、智能綜合應用
4、5G聯網功能
四、教學資源主要內容：
1、第一部分：基于AI智能算法的數據分析，可開展圖像處理、機器學習、深度學習方面的驗證性實驗，提供python語言的在線實驗代碼編輯、測試，提供實驗手冊；
2、第二部分：通過5G通訊，實現圖像數據采集傳輸、視頻流推送和其他物聯網擴展應用，如執行器的控制、多傳感器采集。
|
課程類別 |
課程要求 |
||
|
1.5G模塊驅動應用
|
課程目標 |
掌握5G通訊模塊數據上云的方法 |
|
|
課程內容 |
能夠使用邊緣計算網關系統，驅動5G模塊正常工作，可以支持5G數據傳輸、視頻流推送、數據上云等。 |
||
|
課程實驗 |
實驗1 邊緣計算網關環境搭建 實驗2 5G模塊驅動安裝 實驗3 5G模塊入網測試 實驗4 5G模塊TCP通信 |
實驗5 5G模塊UDP通信 實驗6 MQTT通訊測試 實驗7 CoAP通訊測試 實驗8 HTTP云端接入應用 實驗9 RTSP視頻流推送 |
|
|
2.數字圖像處理
|
課程目標 |
理解圖像處理算法的原理 掌握數字圖像處理的常用方法 |
|
|
課程內容 |
完成圖像處理視覺庫的安裝、圖像處理方法調用。 |
||
|
課程實驗 |
實驗1 Opencv視覺庫的安裝配置 實驗2 圖像灰度化 實驗3 歸一化 實驗4 二值化 實驗5 圖像濾波：高斯、中值 |
實驗6 邊緣檢測：Sobel/Canny/hog 實驗7 形態學 實驗8 灰度直方圖 實驗9 銳化 實驗10 鈍化 實驗11 圖像增強 |
|
|
課程實訓
|
實驗1 顏色識別 |
了解顏色組成和表示方法； 使用Opencv庫識別顏色，并播報。 |
|
|
實驗2 簡單圖形形狀識別 |
了解霍夫變換的原理； 涉及圖像灰度化、歸一化、濾波、邊緣檢測等知識點； 使用Opencv庫識別圓形、矩形，并播報。 |
||
|
3.機器學習應用
|
課程目標 |
1.了解機器學習的分類：無監督、有監督 2.了解數據集的原理、作用、存儲格式 3.了解至少一種聚類算法如K-Means的原理：歐式距離、余弦距離曼哈頓距離計算方法； 4.了解至少一種機器學習算法如Adaboost、SVM、決策樹等的原理：分類器的流程； 5.掌握聚類算法、分類器算法的調用方法 6.掌握分類器的檢測分類效果 7.掌握根據分類效果，進行智能控制 8.通過增減數據集，掌握算法訓練的全過程 |
|
|
課程內容 |
能夠使用機器學習的算法，實現聚類、分類、以及能夠結合聲、光、電設備實現關聯控制 |
||
|
課程實驗 |
實驗1 鳶尾花聚類播報 實驗2 臉部表情分析顯示 |
實驗3 人臉檢測實驗 實驗4 人臉裝扮實驗 |
|
|
4深度學習 應用實驗課
|
課程目標 |
1.了解深度學習的定義，與機器學習的區別 2.了解數據集的原理、作用，以及格式 2.了解至少一種深度學習算法的理論：如CNN、RNN、BP神經網絡 3.掌握至少一種深度學習框架的使用方法：如TensorFlow 4.掌握使用深度學習方法實現識別的方法 5.掌握根據識別結果，進行智能控制，如語音播報識別到的數字，語音播報識別到的物體名稱，控制聲、光、電執行部件。 6.通過增加數據集，掌握算法訓練的全過程。 |
|
|
課程內容 |
能夠使用深度學習的方法，實現數字、物體識別，使人工智能與物聯網感控設備聯動 |
||
|
課程實驗
|
實驗1 手寫數字識別 實驗2 涂鴉猜游戲 |
實驗3 物體識別 實驗4 垃圾分類 |
|
|
5 語音識別實驗 |
實驗1 語音識別翻譯文字 |
實驗2 語音合成及語音播放 |
|
|
6.綜合應用 |
實驗1 車牌識別自動開閘 |
實驗2 語音識別風扇控制 |
|
五、配置清單
設備清單如下表所示。
|
序號 |
類別 |
設備名稱 |
單位 |
備注 |
|
1 |
結構
|
可移動鋁制箱體 |
1 |
|
|
2 |
實驗箱大底板 |
1 |
含電源插口、音量調節旋鈕、自鎖開關、DB9口、JTAG燒寫口、4個天線座、RF通信接口等 |
|
|
3 |
USB-HUB |
1 |
|
|
|
4 |
主控
|
邊緣計算網關 |
1 |
|
|
5 |
14寸觸摸屏 |
1 |
|
|
|
6 |
32GB TF卡 |
1 |
|
|
|
7 |
鍵盤 |
1 |
|
|
|
8 |
通信
|
5G通信模塊 |
1 |
|
|
9 |
5G天線（4根） |
1 |
|
|
|
10 |
ZIGBEE通信模塊 |
1 |
|
|
|
11 |
識別終端
|
云臺攝像頭 |
1 |
|
|
12 |
麥克風陣列 |
1 |
|
|
|
13 |
左右聲道揚聲器 |
1 |
|
|
|
14 |
附件
|
附件盒 |
1 |
|
|
15 |
TF卡讀卡器 |
1 |
|
|
|
16 |
鼠標 |
1 |
|
|
|
17 |
Type-C USB線纜 |
1 |
|
|
|
18 |
DC12V3A電源適配器 |
1 |
|
|
|
19 |
直連網線 |
1 |
|
|
|
20 |
合格證 |
1 |
|
