西安晟輝網絡科技有限公司
Xi' an shenghui network technology co., ltd
某大數據平臺解決方案
系統整體架構
根據對客戶需求的分析，對預警大數據平臺進行了詳細的設計，其系統整體架構圖如下：
系統整體架構圖
系統整體架構共分為4層分別是：數據源、數據匯聚、數據歸類、數據應用，我們將依次分別對每層進行闡述。
數據源：這一層是需要接入的數據源，主要的數據源包括各臺站、各區域臺站和體系內部的數據等。
數據匯聚：這一層通過高性能云傳輸技術，將數據源以極快的速度可靠的傳輸到大數據平臺；采用高效的分布式云計算系統，實現海量數據信息快捷、高效的處理，可以對入口數據進行實時索引，對數據進行分析、清理、分割，并將其存儲在分布式云存儲系統上，在入庫和檢索時具有非常高的性能優勢。
數據歸類：這一層采用科學的分類與分級方法，對大數據進行智能管理，奠定數據共享基礎，形成良好的數據共享秩序，使數據資源在廣泛應用中得以發揮和增值，在經濟發展、國防建設、人民安全等方面發揮更大的作用。
數據應用：大數據平臺對大數據進行安全可靠的存儲、高效的處理和科學的歸類管理，為實現監測、信息發布、決策支持和系統管理等業務提供完美的基礎支撐。
網絡架構
下圖為整體項目規劃的網絡拓撲圖：
網絡拓撲圖
從上述網絡拓撲圖可以看出，各臺站通過通信鏈路將數據上傳到大數據平臺，并將數據匯聚存儲到分布式云存儲系統中，相應系統模塊會調用分布式云存儲系統中的數據進行預處理、數據歸類、數據管理等功能，為后期數據的推送和服務搭建好基礎平臺。同時，大數據平臺可以將體系內部的私有云接入到平臺當中，也可以向行業用戶、政府相關部門、公眾等提供對外公共服務。
平臺預期效益
l 有利于數據的優化整合
監測預報、速報、緊急救援等防震減災關鍵業務，而這一基礎工作目前已越來越依賴于通訊傳輸、數據存儲和處理等計算機業務系統。通過綜合行業“大數據”，將有利于改變部門較為單一的信息獲取渠道，減少了數據獲取、處理及分析相應時間，提高決策服務效率，降低信息運行成本。多源空間大數據的整合與挖掘可提高數據可視性和利用率，從而使大數據更好的服務于科研預報與應急決策。
l 有利于構建科學的行業決策體系
由于數據來源各異，格式多樣，在空間參考、時空尺度、存儲記錄等方面的差異，給信息共享和應用帶來諸多不便。因此，實現多源空間數據的有效整合，對地理空間數據進行集中管理和分布式應用，是構成科學的行業決策體系的重要課題?？茖W的行業決策體系可確保系統不間斷地位社會提供數據信息服務，向政府提供抗震救災決策依據。同時對局內部可提供科學的數據管理支持，這對數據效率保障和公共信息服務有著明顯的社會效益。
方案配置
|
項目 |
設備 |
參數 |
|
HADOOP集群 |
Hadoop管理節點 |
2物理CPU Intel E5-2650 V3，128GB內存，1*240G SSD（系統）+2*480SSD盤 ,2個千兆電口，linux操作系統 |
|
Hadoop數據節點 |
2物理Intel E5-2650 V3/8*16G DDR3/1*240G SSD（系統）+4*480SSD盤/2×GE（板載）/Linux操作系統 |
|
|
實時流處理集群 |
流處理服務器 |
2物理CPU Intel E5-2650 V3，256GB內存，1*240G SSD（系統）+2*480SSD盤, 2個千兆電口，linux操作系統 |
|
實時數據服務器 |
2物理CPU Intel E5-2650 V3，256GB內存，*240G SSD（系統）+2*480SSD盤, 2個千兆電口，linux操作系統 |
|
|
Web應用服務器 |
應用服務器 |
2物理Intel E5-2620 V3/8*8G DDR3/2*480 SSD 盤/2×GE（板載）/Linux操作系統 |
|
多媒體展示平臺 |
多媒體展示平臺 |
55英寸，智能觸控、壁掛、多媒體電子白板、投影、電腦、電視一體機 |
|
實驗室管理接入交換機 |
接入交換機 |
背板帶寬：256Gbps、應用層級：二層、包轉發率：42Mpps、交換方式：存儲-轉發、端口數量：28個、MAC地址表：32K、功耗：＜25W、VLAN：支持、電源電壓：100~240V AC；50/60Hz、端口結構：非模塊化、端口：24個10/100/1000Base-T以太網、上行鏈路：4個1000Base-X SFP端口 |
|
數據采集 |
數據采集 |
自主研發采集模塊（對接各種傳感器協議） |
|
基礎模塊 |
基礎模塊 |
Hadoop 2.7.2（自主封裝） |
|
數據分析 |
數據分析 |
apache-storm-0.10.0（自主封裝） spark-1.6.0-bin-hadoop2.6（自主封裝） |
|
可視化運維 |
可視化運維 |
cProcCloud 1.0（自主研發） |
|
輔助 |
輔助 |
Zookeeper 3.4.6 （自主封裝） |
|
大數據管理軟件 |
大數據管理軟件 |
DataCube V2.1 （自主研發） |
|
機柜 |
機柜 |
大數據專用機柜 |