數(shù)據(jù)倉庫與智能卡應用系統(tǒng)

文章出處：http://www.luckydriving.com 作者：創(chuàng)峰金安公司 楊升   人氣： 發(fā)表時間：2011年09月18日

1．前言 

    隨著全球一體化進程的加劇和我國加入世貿(mào)組織，對我國政府及企業(yè)的管理工作提出了更高的要求。因此，充分利用現(xiàn)代信息科技技術(shù)，自動快速獲取有用的決策信息，為企業(yè)提供及時、準確的決策支持，已成為大多數(shù)成功企業(yè)及政府部門的共識。 

    數(shù)據(jù)倉庫是近年來興起的一種新的數(shù)據(jù)庫應用。“數(shù)據(jù)倉庫”一詞最早出現(xiàn)于20世紀90年代初，目前已趨于成熟。據(jù)IDC調(diào)查，數(shù)據(jù)倉庫的平均投資回報率（ROI）已超過400%。數(shù)據(jù)倉庫技術(shù)與互聯(lián)網(wǎng)技術(shù)一樣，正在成為最快的IT增長點，并日益緊密地與智能卡應用技術(shù)相結(jié)合。 

2．數(shù)據(jù)倉庫 

    傳統(tǒng)的數(shù)據(jù)庫技術(shù)是以單一的數(shù)據(jù)資源，進行事務處理、批處理、決策分析等各種數(shù)據(jù)處理工作，主要的劃分為兩大類：操作型處理和分析型處理(或信息型處理)。操作型處理也叫事務處理，是指對數(shù)據(jù)庫聯(lián)機的日常操作，通常是對一個或一組紀錄的查詢和修改，主要為企業(yè)的特定應用服務的，注重響應時間，數(shù)據(jù)的安全性和完整性；分析型處理則用于管理人員的決策分析，經(jīng)常要訪問大量的歷史數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫系統(tǒng)優(yōu)于企業(yè)的日常事務處理工作，而難于實現(xiàn)對數(shù)據(jù)分析處理要求，已經(jīng)無法滿足數(shù)據(jù)處理多樣化的要求。操作型處理和分析型處理的分離成為必然。 

    隨著數(shù)據(jù)庫技術(shù)的應用和發(fā)展，人們嘗試對數(shù)據(jù)庫中的數(shù)據(jù)進行再加工，形成一個綜合的，面向分析的環(huán)境，以更好支持決策分析，從而形成了數(shù)據(jù)倉庫技術(shù)。作為決策支持系統(tǒng)，數(shù)據(jù)倉庫系統(tǒng)包括： 

1）數(shù)據(jù)倉庫技術(shù)； 

    數(shù)據(jù)倉庫是適合知識發(fā)現(xiàn)的過程的結(jié)構(gòu)。數(shù)據(jù)倉庫的處理過程是從“數(shù)據(jù)清理/整合——>數(shù)據(jù)倉庫——>數(shù)據(jù)選擇——>數(shù)據(jù)挖掘——>模式評價——>知識”不斷循環(huán)的過程 

2）聯(lián)機分析處理技術(shù)； 

    聯(lián)機分析處理是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。 

3）數(shù)據(jù)挖掘技術(shù)； 

    從大量的、不完全的、有噪聲的、模糊的、隨機的實際應有數(shù)據(jù)中，提取出隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。它是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識。 

    數(shù)據(jù)倉庫彌補了原有的數(shù)據(jù)庫的缺點，將原來的以單一數(shù)據(jù)庫為中心的數(shù)據(jù)環(huán)境發(fā)展為一種新環(huán)境：體系化環(huán)境。 


    數(shù)據(jù)倉庫概念始于本世紀80年代中期，第一次出現(xiàn)是在號稱“數(shù)據(jù)倉庫之父”William H.Inmon的《建立數(shù)據(jù)倉庫》一書中。隨著人們對大型數(shù)據(jù)系統(tǒng)研究、管理、維護等方面的深刻認識和不斷完善，在總結(jié)、豐富、集中各行業(yè)，企業(yè)信息的經(jīng)驗之后，為數(shù)據(jù)倉庫給出了更為精確的定義，即“數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時間相關(guān)的、不可修改的數(shù)據(jù)集合”。 

    數(shù)據(jù)倉庫并沒有嚴格的數(shù)學理論基礎(chǔ)，也沒有成熟的基本模式，且更偏向于工程，具有強烈的工程性。因此，在技術(shù)上人們習慣于從工作過程等方面來分析，并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲與管理以及數(shù)據(jù)的表現(xiàn)等三個基本方面。 

1)      數(shù)據(jù)的抽?。?nbsp;

    數(shù)據(jù)的抽取是數(shù)據(jù)進入倉庫的入口。由于數(shù)據(jù)倉庫是一個獨立的數(shù)據(jù)環(huán)境，它需要通過抽取過程將數(shù)據(jù)從聯(lián)機事務處理系統(tǒng)、外部數(shù)據(jù)源、脫機的數(shù)據(jù)存儲介質(zhì)中導入到數(shù)據(jù)倉庫。 

2) 存儲和管理： 

    數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，則需要從數(shù)據(jù)倉庫的技術(shù)特點著手分析。  

3)　數(shù)據(jù)的表現(xiàn)： 

    數(shù)據(jù)表現(xiàn)實際上相當于數(shù)據(jù)倉庫的門面，其性能主要集中在多維分析、數(shù)理統(tǒng)計和數(shù)據(jù)挖掘方面。而多維分析又是數(shù)據(jù)倉庫的重要表現(xiàn)形式，近幾年來由于互聯(lián)網(wǎng)的發(fā)展，使得多維分析領(lǐng)域的工具和產(chǎn)品更加注重提供基于Web前端聯(lián)機分析界面，而不僅僅是在網(wǎng)上發(fā)布數(shù)據(jù)。 

    數(shù)據(jù)倉庫技術(shù)應用領(lǐng)域非常廣，凡是涉及到數(shù)據(jù)分析，報表匯總，決策支持等與數(shù)據(jù)有關(guān)的信息系統(tǒng)，都是其應用的范圍。 

3．智能卡 

    智能卡即IC卡，就是集成電路卡。它的顯著特征就是自身嵌裝有微處理器及大容量存儲器等集成電路芯片。IC卡是伴隨著半導體技術(shù)的發(fā)展和社會對信息安全性等要求的日益提高而應運而生的，經(jīng)過近幾十年的發(fā)展，其技術(shù)日趨成熟，目前在國內(nèi)外均已經(jīng)得到了很廣泛的應用。由于IC卡采用了當今最先進的半導體制造技術(shù)和信息安全技術(shù)，相對于其他卡具，如磁卡等，主要有以下優(yōu)點：  
    ① 存儲容量大：因其內(nèi)部有集成電路存儲器芯片，存儲容量可達幾兆字節(jié)，為磁卡的幾千至幾萬倍。IC卡的存儲器可以分成若干應用區(qū)，分別存儲文字、聲音、圖形、圖像等各種信息，便于一卡多用，方便保管。  
    ② 安全性能高：加密IC卡從硬件和軟件等幾個方面實施其安全策略，可以控制卡內(nèi)不同存儲區(qū)域的存取特性。IC卡本身具有安全密碼，卡內(nèi)的信息加密后不可復制。只有密碼核對正確后才能對卡內(nèi)的信息進行讀寫操作，對安全密碼核對錯誤時，卡片具有自毀功能；而磁卡等一般只能用功能較弱的軟件加密措施，存儲信息很容易被復制，安全性較差。 
    ③ IC卡防磁、防一定強度的靜電，一般至少可重復讀寫十萬次以上，使用壽命長，可靠性比磁卡高。且IC卡體積小、重量輕，便于攜帶，易于使用。 
    ④ IC卡的讀寫機構(gòu)比磁卡的讀寫機構(gòu)簡單可靠、造價便宜，維護方便，推廣容易。 正是由于這些優(yōu)點，IC卡越來越受重視，其市場迅速遍及世界各地，而其應用領(lǐng)域也從最初單一的銀行信用卡領(lǐng)域，滲透到包括稅務征收、付費電話、健康記錄、身份認證、賓館旅游等多個領(lǐng)域。 

    IC卡的使用，應該說還有很大的擴展空間，上面所說，只是其中一部分，推而廣之，各行業(yè)中的辦公自動化(OA)系統(tǒng)、考勤系統(tǒng)、甚至人員的工資等，均可用IC卡作為身份認證、數(shù)據(jù)查詢及數(shù)據(jù)存儲，真正實現(xiàn)一卡多用。 

    即將開始試驗使用的我國第二代身份證采用非接觸IC卡技術(shù)，是最大的IC卡應用項目。它的使用，對加強我國人口信息化的安全性和高效性將起到十分重要的作用。 

4．二者的結(jié)合 

    智能IC卡作為與信息系統(tǒng)的接口，大量業(yè)務數(shù)據(jù)的產(chǎn)生與它有關(guān)。包括銀行，電信，稅務，海關(guān)等積累了大量的數(shù)據(jù)，業(yè)務人員與決策人員都希望能夠從中發(fā)現(xiàn)可利用的，有價值的信息。在這樣的需求下，數(shù)據(jù)倉庫技術(shù)便在智能卡應用領(lǐng)域迅速的推廣開來。 

    以煙草行業(yè)為例，基于Sybase（美國數(shù)據(jù)庫供應商）數(shù)據(jù)倉庫技術(shù)的煙草商業(yè)信息系統(tǒng)。分為五個版本：為國家專賣局(煙草總公司)、省煙草公司(省煙草專賣局)、地區(qū)級煙草公司(煙草專賣局)也叫煙草分公司(分公司煙草專賣局)、縣煙草公司(煙草專賣局)、煙草批發(fā)部。數(shù)據(jù)是垂直分布，并且是有關(guān)聯(lián)性的。以便完成購銷業(yè)務、匯總處理和查詢功能。 

    針對煙草行業(yè)的業(yè)務特點，系統(tǒng)分為八個子系統(tǒng)進行設(shè)計：日常業(yè)務管理子系統(tǒng)、倉儲管理子系統(tǒng)、商品帳核算子系統(tǒng)、專賣管理子系統(tǒng)、價格管理子系統(tǒng)、通用報表子系統(tǒng)、綜合查詢子系統(tǒng)、移動訪銷、配送、稽查系統(tǒng)。 

    靈活的IC卡銷售及專賣管理是其中的一個重要子系統(tǒng)。門店銷售時系統(tǒng)在商戶IC卡上記錄銷售數(shù)據(jù)，送貨時通過移動式IC卡讀寫器對商戶作卷煙銷售，銷售記錄同時記入商戶IC卡和IC卡讀寫器，并自動上傳到MIS系統(tǒng)；專賣檢查人員也可以通過移動式IC卡讀寫器對商戶進行專賣檢查，將檢查結(jié)構(gòu)同時記入商戶IC卡和IC卡讀寫器，自動上傳到MIS系統(tǒng)。并抽取到數(shù)據(jù)倉庫數(shù)據(jù)服務器供決策支持使用。 

    整個系統(tǒng)結(jié)合了數(shù)據(jù)倉庫和智能IC卡的特點。充分考慮到系統(tǒng)的融合與獨立性。實現(xiàn)了如下的一些特點： 

1．實現(xiàn)數(shù)據(jù)的采集 

2．高效的IC卡專賣的管理 

3．高效率的存儲和查詢 

    這樣的系統(tǒng)充分集合了數(shù)據(jù)倉庫與智能卡二者的優(yōu)點，使整個體系有了完整的信息化流程。 

    中國是人口大國，人口的管理一直是國家非常重視的。作為人口系統(tǒng)化的重要部分，我國第一代身份證以其保密性差，易仿造等諸多缺點，已經(jīng)不能滿足未來的需要。即將取而代之的第二代身份證將采用非接觸IC卡技術(shù)，在防偽性、保密性等方面將有質(zhì)的飛躍。 

    人口信息系統(tǒng)最大的特點是數(shù)據(jù)量大，每年的調(diào)查格式不盡相同。以中等城市人口統(tǒng)計數(shù)據(jù)為例，許多歷年的、大量的人口調(diào)查原始資料多以紙介質(zhì)、軟盤、磁帶等形式存儲在資料庫里，這些寶貴的資料，一方面面臨外部環(huán)境對傳統(tǒng)保存方式數(shù)據(jù)安全性的挑戰(zhàn)，另一方面各業(yè)務部門和相關(guān)單位也有充分利用、進行數(shù)據(jù)挖掘的迫切需求。而數(shù)據(jù)倉庫的應用，是一種最佳解決之道。 

    舉例來說，某市人口約900萬，第四次人口普查數(shù)據(jù)加上近十年的人口調(diào)查資料、勞動力情況調(diào)查資料和社區(qū)情況調(diào)查資料，原始數(shù)據(jù)量約10GB。針對人口系統(tǒng)的特點，采用了數(shù)據(jù)倉庫技術(shù)并面向主題設(shè)計了最佳數(shù)據(jù)模型和數(shù)據(jù)字典。人口數(shù)據(jù)的整理需要一定的時間，在項目的實施過程中數(shù)據(jù)整理工作和數(shù)據(jù)加載工作同步進行。第四次人口普查900萬條數(shù)據(jù)和1990年至今近十年的抽樣調(diào)查數(shù)據(jù)已全部加載到人口數(shù)據(jù)倉庫。 

    人口信息數(shù)據(jù)大，對數(shù)據(jù)倉庫引擎和數(shù)據(jù)加載工具有極高的性能要求。NCR（作為以硬件為主的的數(shù)據(jù)倉庫解決方案提供商）它的Teradata數(shù)據(jù)倉庫是完全并行的數(shù)據(jù)庫，速度非常之快；NCR的FastLoad數(shù)據(jù)加載工具也是并行的，可以啟動多個會話進程，加載900萬人口數(shù)據(jù)僅需15分鐘，這對其它數(shù)據(jù)庫來說是不可想象的。 

    人口系統(tǒng)的應用特點是各年度的絕對調(diào)查指標之間缺少可比性，要對原始數(shù)據(jù)進行加工整理，在原始數(shù)據(jù)基礎(chǔ)之上派生各種相對分析指標，如人口分布、年齡結(jié)構(gòu)、生育結(jié)構(gòu)、家庭結(jié)構(gòu)、婚姻狀況等以滿足各年度之間的分析研究。考慮到通用性和便于統(tǒng)計業(yè)務人員進行分析，我們設(shè)計了一個通用的、功能強大的、靈活的派生數(shù)據(jù)模塊，利用后臺處理和Teradata快速的特點，能將原始數(shù)據(jù)生成相對通用的派生數(shù)據(jù)。派生數(shù)據(jù)已將指標代碼轉(zhuǎn)化成漢字屬性，并計算和產(chǎn)生了許多新的屬性字段，在派生數(shù)據(jù)基礎(chǔ)之上，利用報表工具（如Brio工具），統(tǒng)計業(yè)務人員和人口研究人口可以隨機產(chǎn)生各種報表，可以作各種各樣的聯(lián)機分析處理這將大大提高了工作效率。加上未來第二代身份證采用非接觸IC卡技術(shù)，在安全性、唯一性方面有強有力的保障。使人口信息系統(tǒng)在數(shù)據(jù)識別，信息交互方面以及與底層數(shù)據(jù)通訊速度方面都將有很大的提高。 

5.前景展望 

    數(shù)據(jù)倉庫工程是一個復雜的信息集成工程,需要有事先周密的規(guī)劃。通過對數(shù)據(jù)倉庫工程進行規(guī)劃， 要明確分析信息的需求和現(xiàn)狀，提出如何通過采用相應技術(shù)，實施可行的工程化步驟，達到工程項目的預期目標。隨著數(shù)據(jù)倉庫技術(shù)和智能卡在各行業(yè)及企業(yè)的應用，二者的結(jié)合也將趨于成熟。為政府，企業(yè)決策提供更先進的技術(shù)手段，必將進一步加強政府，企業(yè)的管理和決策職能。數(shù)據(jù)倉庫技術(shù)在不遠的將來，必將在我國的信息化的建設(shè)中發(fā)揮重要作用。