導語
數據服務平臺是大數據時代的必然產物,是支撐學校數據管理的基礎,是以“統(tǒng)一標準”、“統(tǒng)一處理”、“統(tǒng)一交換”、“保證質量”、“透明開放”的方式,為不同業(yè)務系統(tǒng)、不同數據庫、不同數據格式之間進行數據交換而提供服務的平臺。
它包括數據治理與數據共享交換,通過一套科學數據管理方法,對學校各業(yè)務域分散、重復、混亂的數據,進行梳理、建模、整合、評價、控制,制定數據標準和工作規(guī)范,提高數據合規(guī)監(jiān)管和安全控制,對數據從產生、處理、整合、應用、銷毀等全生命周期進行管理,從而建立高質量的數據管理體系和統(tǒng)一的主數據庫,支撐各相關業(yè)務高效運行,實現學校管理者方便、安全、快速、可靠地利用數據進決策,因此做好數據服務平臺建設的工作很重要。
那么
在實際建設過程中,
數據服務平臺
應該重點考慮那幾個方面?
劃
重
點
目前市場上,很多廠商提供的數據治理或者共享數據交換平臺,以ODI和Kettle工具居多,并且通常都是單機模式部署,但是隨著任務量增多,就容易出現瓶頸,跑出問題,數據治理出現誤差,反而不能提高工作效率。
因此,數據服務平臺應是基于《信息資源目錄》的分布式服務(datax,spark),將學校信息資源依據規(guī)范的數據描述,按照一定的分類方法進行排序的一組信息,用以描述學校各個信息資源的特征,以便于對全校信息資源的檢索、定位與獲取,為學校數據共享提供支持與指導,datax,spark徹底解決了ODI和Kettle單機模式下的瓶頸問題。
2、如何有效減少人工運維量?
傳統(tǒng)的數據治理與共享連接方式,需要將數據采集到中心庫統(tǒng)一供數,極大增加運維工作量。
數據服務平臺的連接方式則依托數據項的組合進行資源目錄的發(fā)布,實現任意兩點的數據同步,并在同步過程中執(zhí)行治理,實現的數據聯動,快速反應。
3、如何有效促進國標/校標落地?
傳統(tǒng)的數據治理或者共享交換解決方案并沒有沒有明確聯動與體系支撐,數據標準跟實際交換數據難以關聯,導致數據標準無法落地。
數據服務平臺將國家數據標準與數據項(表字段)進行關聯,通過數據項與資源目錄管理,可將數據治理與數據共享交換融合打通,一套流程,便可實現標準的落地。
4、如何進行有效的全量數據治理?
傳統(tǒng)數據治理范圍僅對中心庫(或稱主數據庫)內容進行數據治理,數據缺失,無法覆蓋全量的學校數據,包括學校歸檔數據,歷史版本數據等。
數據服務平臺則允許全量數據(第三方系統(tǒng)數據源)在平臺進行注冊,并納入到數據服務體系的治理流程中,重新梳理數據資產,并常態(tài)化監(jiān)控學?,F有數據情況。
5、如何解決數據故障的準確定位?
傳統(tǒng)的數據申請與數據ETL無法使用統(tǒng)一流程進行集成管理,數據ETL配置頁面需要進入原生ODI或Kettle工具進行處理,平臺對工具只能進行監(jiān)控,不能進行管理與任務的聯動,導致難以準確定位數據故障環(huán)節(jié),極大增加運維工作量。
數據服務平臺則使用先進的分布式技術,將數據統(tǒng)一集成在一套任務流程下,通過任務監(jiān)控可以清晰看到數據從采集、ETL、供數等環(huán)節(jié)的執(zhí)行情況,實現全流程監(jiān)控。
上一篇:@你丨這是一份大數據成為高職院校通過國家復核關鍵的指南
下一篇:干貨篇丨她讓智慧校園數據管理效率提升30倍!
三盟智校蘋果版APP
三盟智校安卓版APP
官方微信