返回頂部

數據治理方案

1. 建設背景

 

      “十三五”期間,全國各大高校已基本完成各業務部門主要信息系統以及數據中臺的建設,實現了業務流程數字化的階段目標。隨著智慧校園建設理念的不斷深化發展,高校信息化對數據的需求已經不只是簡單的用于異構系統間的共享交換,而是能夠滿足大量業務使用、數據分析、數據挖掘等數據的消費或服務場景,響應國家著力深化教育體制機制改革,加快教育治理體系和治理能力現代化建設政策,發揮數據的價值,基于大平臺、數據質量梳理分析、大數據挖掘,實現學校精準化、智能化、精細化管理,將成為我校“十四五”期間的重要建設方向。

      隨著高校數據資產管理體系的逐步完成,數據建設成果的資產化、規范化、可視化是高校信息化持續發展的一項重要目標,其中數據質量是核心,結合數據管理模式和工作流程,制定了一系列數據活動規范和數據管理制度。活動規范內容涵蓋數據來源確認、數據質量保證、數據標準發布更新、數據共享發布、數據安全和隱私保護等全工作流程;管理制度體系明確了數據從定義、生產、存儲、復制、轉換、調用、變更、存檔直至銷毀的全生命周期過程中,各部門各崗位應該如何操作、管理、協調,做到有法可依、有章可循、責權明晰,保障數據的集合完整、信息安全、質量合規,從而使數據治理的成效能夠不斷持續和改進。

     當前各高校的數據資產尚未發揮完全價值,存在的主要問題在于:

      數據資產質量參差不齊:由于學校的信息化組成情況復雜、異構現象突出、業務開展水平參差不齊,導致數據采集階段會遇到數據源頭、實施過程、運維過程的各種問題,最后采集的數據完整性就有不足;另外高校的業務生態和異構系統現狀導致很難從業務源頭開始執行校標,這對采集過程中的數據對標、轉換也提出了較高的業務和技術要求。即使標準嚴格施行,最后還可能因為業務管理水平的原因(業務規范性不足,業務信息化開展不足),產生很多低質量的數據甚至不生產數據

      定義與衡量學校發展的核心指標體系缺乏。學校的現狀與發展情況可以通過各類定性或量化的核心指標去體現,而這些指標也是各級管理人員非常關心并且想要實時了解的。當前,這些狀態指標分散在各業務部門,沒有經過系統的梳理形成校級核心指標體系庫,難以立體化、全面化地支撐我校管理者決策。

 

2. 政策驅動

 

      2015年8月5日,國務院正式發布《促進大數據發展的行動綱要》,明確提出建立“用數據說話、用數據決策、用數據管理、用數據創新”的管理機制,實現基于數據的科學決策。

     2016年6月7日,教育部發布教技【2016】2號《教育信息化”十三五”規劃》文件,六處提到用大數據、云計算等技術創新管理模式。

     2016年12月18日,工信部規[2016]412號《大數據產業發展規劃(2016-2020年)》。落地實施國家大數據戰略,將教育行業作為大數據落地實施的重點行業之一。

      2017年12月8日,習主席主持中央政治局第二次集中學習實施國家大數據戰略,明確提出大數據是信息化發展的新階段,重點推進教育等行業的大數據普及應用工作。

       2019年2月,中共中央、國務院印發了《中國教育現代化 2035》,從戰略角度提出要“加快信息化時代教育變革”,要“建設智能化校園,統籌建設一體化智能化教學、管理與服務平臺。

       2021年3月,教育部印發《高等學校數字校園建設規范(試行)》,鼓勵有條件的高校充分利用云計算、大數據、物聯網、移動互聯網、人工智能等技術進行數字校園建設各方面智慧應用。

 

3. 建設目標

 

      通過本次項目建設旨在:基于學校已有信息化建設成果與歷史數據資產,構建本校數據治理體系,設計配套數據管理組織結構、制定數據治理流程、對智慧校園各類數據進行梳理、采集、清洗、標準化規范存儲及應用、對學校數據資產進行可視化的全生命周期管理,并提供包括數據質量檢測、跟蹤處理、數據質量分析報告在內的數據質量全程管理服務,實現對信息化基建的充分利用、對數據的充分價值挖掘,提供面向業務部門的各類業務分析主題分析、構建符合學校決策部門的數據分析駕駛艙。其建設過程,就是學校內部管理體系的自我梳理與優化的過程,通過自頂向下的設計思路以及自下而上、上下互通的建設思路,構建數據可視、風險可控、業務可管、流程可優的新型學校治理機制。同時全面、直觀、可視化展現學校現狀,為未來發展提高量化決策輔助。

      具體建設目標如下:

  • 通過深入調研,梳理學校各業務部門的核心業務,整理出能反映學校整體運行狀態的核心指標體系庫。

  • 對學校數據資源情況進行全面盤點,然后根據學校實際情況,制定多樣化數據采集的實施方案并落地執行。首先把學校具備采集條件的數據盡量的采集進資產庫,并在這個過程中完成校級數據資產內容的對標、采集、轉換(初步清洗)或特定編碼工作

  • 在已建成數據資產的基礎上,針對具體的應用數據、消費數據的場景,分析數據的內部質量的不足,形成由場景驅動的數據質量要求,進一步進行具體數據質量的檢測和問題處理;

  • 建設統一的大數據可視化平臺,接入學校已有的海量數據,提供數據資產的規劃、管理、運營、持續迭代的能力,使數據資產的建設形成良性循環;提供數據生產和數據消費環節的構造機制,拓展、促進數據生產和使用環節,提高數據生產效率和使用價值,運用大數據技術進行分布式存儲和融合計算,構建算法模型。打通上下數據鏈路,實現復雜指標的在線構建與管理。最后把計算的指標結果通過大數據可視化分析系統進行展示,從而把學校所有的信息變成可視化的資產,使傳統的校園進行數字孿生化。

  • 基于大數據可視化平臺構建包含學情、人資、校情決策分析的領導駕駛艙,把核心指標分類組合,形象化、直觀化、具體化的展現給校領導。把原來傳統的匯報內容直接用可視化的方式展現出來,提高決策的實時性和準確性,真正做到了然于心,謀定而動。

  • 通過對指標的構建,反向推動底層數據到上層展現的通道打通,實現底層數據實時產生,上層指標動態變化。

  • 通過對指標的梳理、數據的采集、計算加工、展示等過程,反向校驗數據質量,提升學校信息標準治理的進程,為智慧校園建設夯實地基。為數據驅動學校業務變革提供技術賦能。

  •  

4. 建設內容

 

數據治理及質量分析服務

      圍繞高校數據資產治理目標以及可視化分析主題的數據需求,進行各項數據進行全面的治理,包括兩個方向:(數據資產)內部治理和數據質量外部牽引。

      數據資產的內部治理,是指在數據資產建設的基礎上,通過數據資產管理平臺對數據建設的過程管控能力和數據處理能力,實現數據采集過程的標準化、采集完整性、按規則轉換和清洗(事中數據處理),實現已采集數據的合規性檢查(事后發現問題)。因為這是數據資產管理平臺能夠提供的數據治理能力,所以叫做“內部治理”。

      數據治理范圍主要包括:學工、人事、教務、科研、研究生、后勤、辦公OA等業務系統生產的業務數據。

為完成數據治理內容,配套的數據治理服務包括:

信息需求調研和數據資源盤點摸底服務

      專人負責對各個業務部門不同業務域、逐項按照指標進行實地調研。獲取各業務系統的使用現狀及其中數據提供情況;盤點校內的各項數據資源情況,包含各項業務系統、數據庫的情況、數據管理部門和責任人/接口人、技術屬性信息、數據使用(數據源精確到來源表、字段)和質量概況、離線電子數據的情況、歷史數據保存情況、量化數據分析目標的數據支撐度等情況。

數據資產日常治理及服務

       對已采集的數據資產進行日常治理和相關服務,包括以下幾個方面:

       針對庫表一致性檢測問題情況進行處理,保證元數據一致性;

      根據學校運行情況進行下數據采集、數據校核等工作;根據學校實際業務需求進行數據共享交換工作;核心業務點數據的傳輸保障工作。

      根據學校業務場景需求制定數據項的合規性檢測模型、配置檢查規則,自動化檢測并輸出檢測報告,定期評估數據質量。針對檢測出的問題數據,能夠提供自動化處理手段的,通過自動化手段進行處理;因業務場景只能人工處理的,通知數據相關責任單位進行處理。

 數據質量管理和治理體系建設

        提供數據管理和治理的規范文檔模板,幫助學校形成正式的管理辦法。其中包括相應的組織架構和資源保障、各方職責、管理流程、標準規范等,推進數據資產統一管理及質量提升工作。

項目過程管理服務

       在整個“數據資產建設和治理項目”的實施過程中,進行項目管理工作。包括但不限于制定實施方案、工作計劃、進度監控、定期工作總結和工作成果匯報等內容,同時配合學校在關鍵組織會議時,參與探討項目實施情況及數據建設和質量治理工作。

 

5、大數據可視化分析平臺

 

       大數據可視化分析平臺是一款應用搜索引擎技術、使用自然語言交互的敏捷大數據平臺,平臺基于微服務框架,分布式數據架構,分布式緩存,分布式開發框架,提供私有項目部署的一整套方案。平臺由數據倉庫子系統、數據可視化分析子系統及可視化資產管理子系統三部分組成, 可與學校主數據平臺完美無縫對接。同時,平臺具有強大的數據分析能力、靈活的組件擴展能力、豐富的數據處理手段、流暢的用戶體驗、一體化商業智能、自助式探索分析以及全平臺數據展示能力等產品特色,能夠快速幫助用戶挖掘海量數據中的蛛絲馬跡,發揮數據支撐決策的應有價值。

 智能數據接入

     大數據平臺內置ETL工具,可以把校內各類型的軟件系統、硬件設備、互聯網數據等多類型數據進行采集,平臺支持多種數據源的接入包括主流的關系型數據庫、大數據庫、文本、API接口、日志等非結構化的數據。并提供可視化的數據采集監控管理。

智能數據清洗與計算

      針對數據接入后的數據清洗,平臺提供靈活的清洗組件,可以輕松應對常見的或者代碼級復雜的數據處理場景,支持對HDFS、Hive、Spark數據庫的接入清洗。通過構建清洗流水線的方式進行管理。

分析圖表

       大數據分析平臺支持豐富的分析圖表類型,并支持以組件化的方式,以很小的開發代價訂制特殊的分析圖表 。

數字駕駛艙應用建設

         智慧校園IOC數據可視化運營中心通過對學校的相關數據包括覆蓋基礎設施、資產、教師、學生、專業、教務教學、科研成果、智能物聯等數據進行全量或者增量的采集,運用大數據技術進行分布式存儲和融合計算,并使用數據挖掘技術構建算法模型。最后把計算的結構通過大數據可視化平臺進行數據展示,目的是為了把學校所有的信息變成可視化的資產,使傳統的校園進行數字孿生化。幫助校領導和管理者提升數據洞察感知能力,從而改善學校的管理和業務。

領導數字駕駛艙應用建設

      學校各級領導可以通過手機隨時隨地查看學校各業務數據的實時狀態。做到隨時可查數、隨時可溯源。移動端可以和學校各類移動APP、企業微信、釘釘進行對接。