結(jié)構(gòu)化數(shù)據(jù)是指在固定字段集合中存放的數(shù)據(jù),如關(guān)系型數(shù)據(jù)和電子表格數(shù)據(jù),屬于傳統(tǒng)的數(shù)據(jù)技術(shù)。非結(jié)構(gòu)化數(shù)據(jù)是指難以用數(shù)據(jù)庫(kù)二維邏輯表表現(xiàn)的數(shù)據(jù),包括文本數(shù)據(jù)以及未標(biāo)記的視頻、音頻和圖像數(shù)據(jù)等。半結(jié)構(gòu)化數(shù)據(jù)則介于兩者之間,是用標(biāo)簽和其他標(biāo)志劃分?jǐn)?shù)據(jù)元素的數(shù)據(jù),可擴(kuò)展標(biāo)記語(yǔ)言和超文本標(biāo)記語(yǔ)言都屬于半結(jié)構(gòu)化數(shù)據(jù)。廣義的非結(jié)構(gòu)化數(shù)據(jù)包括了半結(jié)構(gòu)化和多結(jié)構(gòu)化數(shù)據(jù)。
非結(jié)構(gòu)化數(shù)據(jù)目前普遍被認(rèn)為占數(shù)據(jù)總量的85%以上,而且增速比結(jié)構(gòu)化數(shù)據(jù)快得多,有說(shuō)法是快10~50倍。盡管上述數(shù)據(jù)的準(zhǔn)確性有待研究確定,但無(wú)法否認(rèn)的是,非結(jié)構(gòu)化數(shù)據(jù)富含難以估量的價(jià)值,然而如何管理非結(jié)構(gòu)化數(shù)據(jù),把“數(shù)據(jù)墳?zāi)埂弊兂伞皵?shù)據(jù)金礦”卻是一項(xiàng)新的挑戰(zhàn)。
在醫(yī)療行業(yè),既存在結(jié)構(gòu)化的電子病歷數(shù)據(jù),也存在非結(jié)構(gòu)化數(shù)據(jù),包括病人描述病情的自然語(yǔ)言以及臨床產(chǎn)生的X光片、CT(計(jì)算機(jī)X射線(xiàn)斷層掃描)片、核磁共振片、病理切片等影像文件。這些數(shù)據(jù)在資料傳遞交換、臨床全面展示和醫(yī)學(xué)科研等方面有重要的價(jià)值,然而對(duì)于它們的整合利用還處于非常初級(jí)的階段。再比如,到銀行辦理存貸款業(yè)務(wù)時(shí),要復(fù)印很多證件,戶(hù)口本、身份證、收入證明等,這些紙質(zhì)原始資料都會(huì)以?huà)呙杌蚺恼盏男问睫D(zhuǎn)化為電子文檔,被永久保存起來(lái)。目前這些文檔只起到了備查的作用,并沒(méi)有被很好地開(kāi)發(fā)利用。
非結(jié)構(gòu)化數(shù)據(jù)管理能力是大數(shù)據(jù)的一項(xiàng)核心能力。在IBM發(fā)布的白皮書(shū)《分析:大數(shù)據(jù)在現(xiàn)實(shí)世界中的應(yīng)用》中,報(bào)告了基于對(duì)全球95個(gè)國(guó)家、26個(gè)行業(yè)的1 144名業(yè)務(wù)人員和信息技術(shù)專(zhuān)業(yè)人士的調(diào)研結(jié)果。在超過(guò)一半的大數(shù)據(jù)項(xiàng)目中,受訪(fǎng)者表示其所在組織采用了先進(jìn)技術(shù)分析自然狀態(tài)的文本,例如,呼叫中心對(duì)話(huà)內(nèi)容的文字記錄。這些分析技術(shù)包括解釋和理解細(xì)微的語(yǔ)言特征,包括情緒、俚語(yǔ)和意圖等,幫助企業(yè)了解客戶(hù)當(dāng)前的情緒狀態(tài),獲得能夠直接用于推動(dòng)客戶(hù)管理戰(zhàn)略的寶貴信息。
對(duì)非結(jié)構(gòu)化數(shù)據(jù)的開(kāi)發(fā)和利用已經(jīng)得到國(guó)家層面的重視。2012年7月6日,中國(guó)正式成立非結(jié)構(gòu)化數(shù)據(jù)管理標(biāo)準(zhǔn)工作組,負(fù)責(zé)制定和完善中國(guó)非結(jié)構(gòu)化數(shù)據(jù)管理領(lǐng)域的標(biāo)準(zhǔn)體系,制定相關(guān)國(guó)家標(biāo)準(zhǔn),并參與非結(jié)構(gòu)化數(shù)據(jù)管理的國(guó)際標(biāo)準(zhǔn)化工作,從而提升中國(guó)在非結(jié)構(gòu)化數(shù)據(jù)管理領(lǐng)域的整體競(jìng)爭(zhēng)力。
物聯(lián)網(wǎng)
國(guó)際電信聯(lián)盟發(fā)布的互聯(lián)網(wǎng)報(bào)告如此定義物聯(lián)網(wǎng):通過(guò)二維碼識(shí)讀設(shè)備、射頻識(shí)別裝置、紅外感應(yīng)器、GPS和激光掃描器等信息傳感設(shè)備,按約定的協(xié)議,把任何物品與互聯(lián)網(wǎng)連接,進(jìn)行信息交換和通信,以實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。