大數據綜合實訓平臺包含數據整合與處理平臺 大數據挖掘建模平臺 大數據分析可視化平臺 大數據采集平臺，四個平臺從數據的預處理到數據建模到最后數據的可視化，能讓學生擁有完整的體驗流程。
大數據整合平臺是一套ETL（Extract-Transform-Load）工具，能夠實現將數據從來源端經過抽?。╡xtract）、轉換（transform）、加載（load）至目的端的過程，幫助教師與學生更高效、簡便地將數據從業務系統遷移到數據分析數據庫，并實現對數據的清洗、修改、計算、集成等處理，培養學生掌握數據遷移、整合的技能，達到與企業需求一致的效果。
圖1-1 提供豐富的數據遷移與預處理功能
Python數據挖掘建模平臺統稱為頂尖數據挖掘建模平臺。其底層算法的是基于Python實現，面向高校數據挖掘相關專業課程教學的分析建模工具。平臺使用JAVA語言開發，采用B/S結構，用戶可通過瀏覽器進行訪問。Python數據挖掘建模平臺操作簡單、便捷，用戶可在沒有編程基礎的情況下，通過拖拽的方式進行操作，完成數據輸入輸出、數據預處理、挖掘建模、模型評估、部署等環節，各環節組件通過流程化的方式連接，幫助學生在基礎較差的情況下快速建立工程化思維。
圖2-1 提供豐富的數據分析與挖掘算法、支持自定義Python算法
大數據分析可視化平臺由廣東泰迪智能科技有限公司精心打造，是一款適用于高校教學和各領域企業的零門檻可視化工具。能夠解決高校數據分析與可視化類課程教學、實訓問題，學生通過運用計算公式計算，構建新的數據類型，整體提高學生的數據分析能力，同時學生可通過配置管理屬性設計圖表展示類型，也可以通過修改源碼進行實現修改，觀察圖表的變化，實現對代碼的熟悉，由淺入深，提升可視化的水平。平臺采用B/S結構，用戶不需要下載客戶端，可通過瀏覽器進行訪問。用戶可在沒有ECharts編程基礎的情況下，通過拖拽的方式進行操作。平臺基于公司多年大數據展示的積累，自主設計并開發了種類豐富的模板，將數據信息的可視化完美呈現，操作方便快捷，功能、視效內外兼修。
大數據采集平臺是面向高校大數據相關專業課程教學與實訓的工具。平臺采用圖形用戶界面，通過輸入網頁信息，快速抓取網頁上文本、鏈接、圖片、視頻、文檔文件等各類型數據；將數據存儲在數據庫，通過平臺能夠輕松查看網頁數據。不僅能夠幫助學生快速了解數據采集規則流程，還能夠幫助老師減少數據采集課程備課成本，使用平臺現有功能清晰易懂的講解數據采集規則，展現數據采集結果；還能夠幫助其他專業學生解決編程基礎弱、爬蟲編寫困難等問題，輕松抓取網頁數據。
表1 功能列表
序號 | 功能模塊 | 說明 |
1 | 采集工程 | 提供互聯網公開網頁數據采集功能。通過配置打開網頁、點擊元素、翻頁循環、輸入文本等多種網頁瀏覽操作以及配置提取的數據字段，實現對不同類型、多頁、多層級網頁數據的采集。通過配置數據字段，實現對文本、鏈接、圖片、視頻、文檔文件等結構和非結構數化數據的采集。通過配置采集任務性能，在整個采集過程實現數據的完整性與穩定性 |
2 | 計劃任務 | 提供對采集工程的定時控制功能。通過預設單次采集時間，或是每天、每周、每月的采集時間，定時自動采集數據。支持同時對多個采集工程設置定時任務，根據需要對采集時間進行多重組合，靈活調度自己的采集任務 |
3 | 數據集 | 提供數據存儲功能。將采集的數據儲存在數據庫，可在線預覽數據，還可將數據下載至本地 |
大數據采集平臺特色功能如下。
(1) 眼見即可采，滿足各種采集需求。支持對不同類型、多頁、多層級網頁數據的采集，支持對結構和非結構數化數據的采集。
大數據采集平臺采集工程設置頁
(2) 無需很強的編程技術.通過點擊提取元素xpath，就可快速準確獲取數據。
(3) 定時采集，靈活調度采集任務。通過預設單次采集時間，或是每天、每周、每月的采集時間，定時自動采集數據。還支持同時對多個采集工程設置定時任務。
(4) 將采集的數據儲存在數據庫中，通過爬蟲任務不斷積累數據，充實數據集。
大數據采集平臺支持的課程與相關實訓如表 2所示。
表 2 課程與相關實訓
序號 | 課程 | 說明 |
1 | 校園網新聞公告信息采集 | 采集新聞標題、封面圖、摘要、發布時間、發布單位、作者、訪問量等內容 |
2 | 豆瓣讀書小說類圖書信息采集 | 采集書名、封面、作者、出版社、出版年、頁數、定價、書號、評分、簡介等內容 |
3 | 京東某商品評論數據采集 | 按時間采集商品評論數據 |
