數(shù)據(jù)質(zhì)量低，你會損失什么？
大數(shù)據(jù)是物聯(lián)網(wǎng)數(shù)據(jù)感知、云計算數(shù)據(jù)計算、三網(wǎng)融合數(shù)據(jù)服務實現(xiàn)的核心基礎。大數(shù)據(jù)時代的到來對學校存儲和管理數(shù)據(jù)、從數(shù)據(jù)中提取有價值的信息提出了挑戰(zhàn)。對大數(shù)據(jù)進行有效分析的前提是必須要保證數(shù)據(jù)的質(zhì)量，專業(yè)的數(shù)據(jù)分析工具只有在高質(zhì)量的大數(shù)據(jù)環(huán)境中才能提取出隱含的、準確的、有用的信息。
然而，由于大數(shù)據(jù)具有復雜、多樣、多變等特點，學校要想保證大數(shù)據(jù)的高質(zhì)量卻并非易事，數(shù)據(jù)質(zhì)量很難保證。下文重點從流程、技術和管理三方面來分析大數(shù)據(jù)環(huán)境下保證大數(shù)據(jù)質(zhì)量的挑戰(zhàn)及重要性。從流程的角度，可以將數(shù)據(jù)生產(chǎn)過程分為數(shù)據(jù)收集、數(shù)據(jù)存儲和數(shù)據(jù)使用三個階段，三個階段對保證大數(shù)據(jù)質(zhì)量分別提出了不同的挑戰(zhàn)。大數(shù)據(jù)的多樣性決定了數(shù)據(jù)來源的復雜性。大數(shù)據(jù)的數(shù)據(jù)來源眾多，數(shù)據(jù)結構隨著數(shù)據(jù)來源的不同而各異，學校要想保證從多個數(shù)據(jù)源獲取的結構復雜的大數(shù)據(jù)的質(zhì)量并有效地對數(shù)據(jù)進行整合，是一項艱巨的任務。來自于大量不同數(shù)據(jù)源的數(shù)據(jù)之間存在著沖突、不一致或相互矛盾的現(xiàn)象。在數(shù)據(jù)獲取階段保證數(shù)據(jù)定義的一致性、元數(shù)據(jù)定義的統(tǒng)一性及數(shù)據(jù)質(zhì)量是大數(shù)據(jù)為各學校提出的挑戰(zhàn)。另外，由于大數(shù)據(jù)的變化速度較快，有些數(shù)據(jù)的“有效期”非常短，如果沒有實時地收集所需的數(shù)據(jù)，有可能收集到的就是“過期的”、無效的數(shù)據(jù)，在一定程度上會影響大數(shù)據(jù)的質(zhì)量。數(shù)據(jù)收集階段是整個數(shù)據(jù)生命周期的開始，這個階段的數(shù)據(jù)質(zhì)量對后續(xù)階段的數(shù)據(jù)質(zhì)量起著直接的決定性的影響。因此，學校應該重視源頭上的大數(shù)據(jù)質(zhì)量問題，為大數(shù)據(jù)的分析和應用提供高質(zhì)量的數(shù)據(jù)基礎。由于大數(shù)據(jù)的多樣性，單一的數(shù)據(jù)結構已經(jīng)遠遠不能滿足大數(shù)據(jù)存儲的需要，學校應該使用專門的數(shù)據(jù)庫技術和專用的數(shù)據(jù)存儲設備進行大數(shù)據(jù)的存儲，保證數(shù)據(jù)存儲的有效性。數(shù)據(jù)存儲是實現(xiàn)高水平數(shù)據(jù)質(zhì)量的基本保障，如果數(shù)據(jù)不能被一致、完整、有效的存儲，數(shù)據(jù)質(zhì)量將無從談起。因此，學校要想充分挖掘大數(shù)據(jù)的核心價值，首先必須完成傳統(tǒng)的結構化數(shù)據(jù)存儲處理方式向同時兼具結構化與非結構化數(shù)據(jù)存儲處理方式的轉(zhuǎn)變，不斷完善大數(shù)據(jù)環(huán)境下高校數(shù)據(jù)庫的建設，為保證大數(shù)據(jù)質(zhì)量提供基礎保障。同時，學校應該根據(jù)大數(shù)據(jù)結構的要求和特點合理地設計數(shù)據(jù)存儲和使用規(guī)則，以方便對數(shù)據(jù)的快速讀取。如果數(shù)據(jù)存儲不合理，不僅會浪費系統(tǒng)的存儲空間，而且還會給后期的數(shù)據(jù)使用帶來極大的不便，甚至會產(chǎn)生錯誤、無效的數(shù)據(jù)，難以保證數(shù)據(jù)質(zhì)量。數(shù)據(jù)價值的發(fā)揮在于對數(shù)據(jù)的有效分析和應用，大數(shù)據(jù)涉及的使用人員眾多，很多時候是同步地、不斷地對數(shù)據(jù)進行提取、分析、更新和使用。舉例來說，由于大數(shù)據(jù)規(guī)模龐大、變化速度快，對數(shù)據(jù)的處理速度要求較高，如果數(shù)據(jù)處理不及時，有些變化速度快的數(shù)據(jù)就失去了其最有價值的階段。本文的技術視角主要是指從數(shù)據(jù)庫技術、數(shù)據(jù)質(zhì)量監(jiān)控技術、數(shù)據(jù)分析技術的角度來研究保證大數(shù)據(jù)質(zhì)量的挑戰(zhàn)及其重要性。大數(shù)據(jù)及其相關分析技術的應用能夠為學校提供更加準確的預測信息、更好的決策基礎以及更精準的干預政策，然而如果大數(shù)據(jù)的數(shù)據(jù)質(zhì)量不高，所有這些優(yōu)勢都將化為泡影。在大數(shù)據(jù)時代，學校的數(shù)據(jù)量不僅巨大，而且數(shù)據(jù)結構種類繁多，數(shù)據(jù)之間的關系也較為復雜，若要識別、檢測大數(shù)據(jù)中錯誤、缺失、無效、延遲的數(shù)據(jù)，往往需要遍歷數(shù)百萬甚至數(shù)億條記錄或語句，從這個角度來講，大數(shù)據(jù)環(huán)境為數(shù)據(jù)質(zhì)量的監(jiān)控和管理帶來了巨大的挑戰(zhàn)。這種情況下，這就要求各學校應根據(jù)實際業(yè)務的需要，在配備高效的數(shù)據(jù)存儲設備的同時，開發(fā)、設計或引進先進的、智能化的、專業(yè)的大數(shù)據(jù)分析技術和方法，以實現(xiàn)大數(shù)據(jù)中數(shù)據(jù)質(zhì)量問題的監(jiān)控，以及對大數(shù)據(jù)的整合、分析、可視化等操作，充分地提取、挖掘大數(shù)據(jù)潛在的應用價值。管理視角主要探討學校高層管理者、專業(yè)管理和技術分析人員對保證大數(shù)據(jù)質(zhì)量的重要性。首先，大數(shù)據(jù)的管理需要高層管理者的重視和支持。只有這樣，一系列跟大數(shù)據(jù)有關的應用及發(fā)展規(guī)劃才能有望得到推動，保證大數(shù)據(jù)質(zhì)量的各項規(guī)章制度才能得到順利的貫徹和落實。如果高層管理者缺乏大數(shù)據(jù)意識以及對大數(shù)據(jù)價值的正確理解，通常會給大數(shù)據(jù)管理帶來阻礙。缺少高層管理者的支持，學校對大數(shù)據(jù)管理、分析和應用的重視程度就會有所降低，大數(shù)據(jù)的質(zhì)量就無法得到全面、有效的保證，從而將會大大弱化大數(shù)據(jù)價值的發(fā)揮。因此，企業(yè)應該在高層管理的領導和帶領下，加強大數(shù)據(jù)質(zhì)量意識，建立完善的數(shù)據(jù)質(zhì)量保證制度。其次，專業(yè)數(shù)據(jù)管理人員的配備是保證大數(shù)據(jù)質(zhì)量不可或缺的部分。由于大數(shù)據(jù)本身的復雜性增加了大數(shù)據(jù)管理的難度，既懂得數(shù)據(jù)分析技術，同時又諳熟學校各項業(yè)務的新型復合型管理人員是當下應用大數(shù)據(jù)方案最急需的人才，而首席數(shù)據(jù)官( Chief Data Officer，CDO) 就是這類人才的典型代表。任命 CDO 來專門負責大數(shù)據(jù)所有權管理、定義元數(shù)據(jù)標準、制定并實施大數(shù)據(jù)管理決策等一系列活動是十分必要的。此外，在大數(shù)據(jù)生產(chǎn)過程的任何一個環(huán)節(jié)，學校都應該配備相應的專業(yè)人員，通過熟悉掌握數(shù)據(jù)的產(chǎn)生流程進行數(shù)據(jù)質(zhì)量的監(jiān)控，例如在數(shù)據(jù)獲取階段，應指定專門人員負責記錄定義并記錄元數(shù)據(jù)，以便于數(shù)據(jù)的解釋，保證學校各管理部門人員對數(shù)據(jù)的一致、正確理解，保證大數(shù)據(jù)源頭的質(zhì)量。像互聯(lián)網(wǎng)、云計算以及物聯(lián)網(wǎng)等技術一樣，大數(shù)據(jù)時代的到來勢必會再次讓信息技術領域煥然一新。如何保證大數(shù)據(jù)的質(zhì)量，如何提取并利用隱藏在大數(shù)據(jù)中的信息以完善學校信息系統(tǒng)、提升數(shù)據(jù)決策能力，成為教育信息化領域從業(yè)人員必須面對的問題。因此，從數(shù)據(jù)收集、數(shù)據(jù)存儲到數(shù)據(jù)使用，學校必須制定詳細、縝密的數(shù)據(jù)質(zhì)量管理制度，在數(shù)據(jù)庫設計時要考慮各個方面可能發(fā)生的種種意外情形，利用專門的數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)和可視化平臺，任命專業(yè)的數(shù)據(jù)管理人才加強對大數(shù)據(jù)的管理，提高學校內(nèi)部的數(shù)據(jù)質(zhì)量管理意識，以保證大數(shù)據(jù)的數(shù)據(jù)質(zhì)量，從而挖掘出更多準確、有效、有價值的信息。作者：宗威、吳鋒
圖片來源：網(wǎng)絡
內(nèi)容來源：中國教育信息化（ID：zgjyxxh）
1. 優(yōu)學云測評推出培訓機構個性化教學解決方案
2. 優(yōu)學云測評推出中小學校個性化教學解決方案
3. 優(yōu)學云測評推出招生平臺流量提升方案
4. 優(yōu)學云測評推出企業(yè)人才發(fā)展平臺解決方案——人才庫管理
5. 優(yōu)學云測評幫助個性化教育成為現(xiàn)實
優(yōu)學云測評精選的每一篇文章都會注明來源和作者（除非找不到），文章版權歸原作者所有，若有侵犯權益，請聯(lián)系我們刪除。本文所述內(nèi)容僅代表作者觀點，不代表優(yōu)學云測評立場。對于本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、準確性和合法性本公眾號不作任何保證或承諾。