摘 要 在通信技術、IT技術快速發(fā)展的作用下，網(wǎng)絡環(huán)境復雜度不斷提高，網(wǎng)絡攻擊持續(xù)性、破壞性、隱秘性等特征APT隨之增加。然而，傳統(tǒng)互聯(lián)網(wǎng)安全技術與情報追蹤存在問題較多，難以應對現(xiàn)階段復雜多變的互聯(lián)網(wǎng)環(huán)境。因此，為增強網(wǎng)絡數(shù)據(jù)信息感知能力，提升網(wǎng)絡安全檢測可靠性與網(wǎng)絡情報追蹤的真實性，基于大數(shù)據(jù)的網(wǎng)絡安全技術與情報得以衍生。

　　關鍵詞 大數(shù)據(jù);網(wǎng)絡情報追蹤;網(wǎng)絡安全分析

　　1 大數(shù)據(jù)的基本概念

　　大數(shù)據(jù)(big data，mega data)指的是以多種類、多元化的形式，源自于網(wǎng)絡各個層面搜集整合而來的海量數(shù)據(jù)組，大數(shù)據(jù)通常具有實時性特點。在技術的層面上審視大數(shù)據(jù)，其本身與云計算具有緊密聯(lián)系，對于大量數(shù)據(jù)信息的搜索極大的依賴于云計算分布式數(shù)據(jù)庫、云端儲存和分布式處理技術。

　　現(xiàn)階段，人類已經(jīng)入科技高度發(fā)達、信息流通廣泛、發(fā)展迅速的全新社會形態(tài)，人與人之間的交流頻率相對百年前提高了近20倍，現(xiàn)代人一周獲取信息的總量相當于古人一生的信息獲取量，與此同時，大數(shù)據(jù)在科學技術不斷進步的背景下得以衍生。有學者將數(shù)據(jù)比作為一個蘊含巨大能量的石油礦，并按站石油的性質對大數(shù)據(jù)進行分類，例如，將深海石油等的開采成本較高的礦井，比喻為搜集難度較大的數(shù)據(jù)信息。再如，將石油儲量豐富、石油品質優(yōu)良的油礦比喻為價值含量較高的大數(shù)據(jù)信息。

　　2 傳統(tǒng)網(wǎng)絡情報與安全探究工作存在的問題

　　2.1 傳統(tǒng)網(wǎng)絡安全分析中存在的問題

　　隨網(wǎng)絡技術的發(fā)展，IT構架復雜度不斷提高，各種各樣應用頻頻涌現(xiàn)，使業(yè)務與數(shù)據(jù)更加集中，應用與互聯(lián)網(wǎng)的邊界也隨之模糊，邊界單一、控制點簡潔的傳統(tǒng)網(wǎng)絡安全設施無法實際、高效的對整個互聯(lián)網(wǎng)進行控制?，F(xiàn)階段，我國網(wǎng)絡流量、安全日志等數(shù)據(jù)信息合理應用于網(wǎng)絡安全分析的技術已經(jīng)較為成熟，然而，因為儲存與分析海量數(shù)據(jù)信息所帶來的成本消耗極高，系統(tǒng)安全日志對數(shù)據(jù)信息的儲存受時間限制嚴重，進而對網(wǎng)絡安全問題難以實現(xiàn)實質性應對。同時，在利益的趨勢下網(wǎng)絡黑客攻擊方式不斷優(yōu)化，技術呈復雜多變特點，特殊木馬病毒、僵尸網(wǎng)絡、特殊蠕蟲病毒以及多種多樣的互聯(lián)網(wǎng)攻擊逐利性與目的性凸顯，然而，傳統(tǒng)網(wǎng)絡病毒排查、檢測具有隱蔽性和長期性缺點，難以阻擋當今千變萬化的互聯(lián)網(wǎng)攻擊形式。

　　2.2 傳統(tǒng)網(wǎng)絡情報追蹤中存在的問題

　　在通信、移動互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)等多種現(xiàn)代信息技術飛速發(fā)展的背景下，互聯(lián)網(wǎng)中存在的威脅性情報信息不斷增加，陳舊的情報分析設備由于數(shù)據(jù)來源范圍小、內容單一且信息之間相對獨立，致使難以滿足現(xiàn)階段新型情報采集與分析的客觀需求。例如，構建高質量、高效率的人工智能外部數(shù)據(jù)信息搜索系統(tǒng);對外部信息大量采集過程中非系統(tǒng)化數(shù)據(jù)的儲存與處理;開展高速檢索、實時情報追蹤等。

　　3 大數(shù)據(jù)對網(wǎng)絡安全與情報分析的重要意義

　　為提高網(wǎng)絡安全與情報分析的實效性，相關研究人員將大數(shù)據(jù)與傳統(tǒng)網(wǎng)絡安全技術相結合，實現(xiàn)大數(shù)據(jù)在網(wǎng)絡安全領域的現(xiàn)實應用，即大數(shù)據(jù)安全分析(Big data security analysis)。大數(shù)據(jù)安全分析技術的誕生，極大地改善了傳統(tǒng)網(wǎng)絡安全問題。首先，大數(shù)據(jù)安全分析大幅提升了傳統(tǒng)網(wǎng)絡安全技術無法做到的大規(guī)模數(shù)據(jù)搜集，實現(xiàn)了降低數(shù)據(jù)儲存成本、提高數(shù)據(jù)儲存質量以及數(shù)據(jù)提前處理。其次，解決了快速、海量、連續(xù)到達的數(shù)據(jù)序列——流數(shù)據(jù)(Data stream )的實時有效分析，以及大規(guī)模過往歷史數(shù)據(jù)信息的離線分析，并具備良好的網(wǎng)絡安全動態(tài)洞察能力，實現(xiàn)了自主化、彈性化、智能化應對當今新型網(wǎng)絡威脅種種風險變幻莫測特點的能力。最后，實現(xiàn)了大數(shù)據(jù)網(wǎng)絡安全技術對網(wǎng)絡安全日志、威脅情報、網(wǎng)絡用戶操作行為等復雜多樣且具有關聯(lián)性數(shù)據(jù)的檢索功能，使網(wǎng)絡大范圍、多角度、全方位的數(shù)據(jù)信息得以集中分析，并為安全檢測完成了安全事件深入追蹤與研究的工作。

　　4 基于大數(shù)據(jù)的網(wǎng)絡安全與情報分析技術要點

　　4.1 大數(shù)據(jù)計算模式分類

　　大數(shù)據(jù)對網(wǎng)絡數(shù)據(jù)的計算形式分為兩種，一種是批量計算，另一種則是流計算。美國伊利諾伊大學厄本那香檳分校(University of Illinois，Urbana-?Champaign Urbana， IL)計算機實驗室提出了關于數(shù)據(jù)分析的軟件棧，站在大數(shù)據(jù)信息科學計算的視角，將大數(shù)據(jù)現(xiàn)實處理技術分為批量數(shù)據(jù)、流數(shù)據(jù)技術以及數(shù)據(jù)信息查詢交互系統(tǒng)3個方面。

　　4.2 大數(shù)據(jù)計算模式分類基本性能分析

　　首先，批量數(shù)據(jù)計算處理技術，是先通過對海量信息數(shù)據(jù)的儲存，實現(xiàn)對靜止數(shù)據(jù)的綜合性集中計算，提高了海量數(shù)據(jù)信息處理吞吐量，批量數(shù)據(jù)計算雖然繁瑣復雜，但是時間卻較短，普遍計算時間從幾分鐘到幾小時不等。

　　其次，流數(shù)據(jù)計算技術的優(yōu)勢在于可對數(shù)據(jù)進行及時性計算、及時性反饋，良好的迎接連續(xù)到達的數(shù)據(jù)序列并在內存中加以直接計算，大幅降低數(shù)據(jù)計算拖延性，提高網(wǎng)絡安全技術時效性。與此同時，流數(shù)據(jù)計算技術與批量數(shù)據(jù)計算技術呈現(xiàn)出相輔相成的共進關系，互補雙方不足，實現(xiàn)不同應用場景的有效差異性對策，滿足不同時期數(shù)據(jù)計算需求。

　　最后，數(shù)據(jù)信息查詢交互系統(tǒng)將操作人員作為網(wǎng)絡安全分析的主體，把人對網(wǎng)絡安全的認知體現(xiàn)在實際操作過程中。例如，工作人員在進行實時網(wǎng)絡安全隱患排查時，通過對事件內容、主體、客體特點特征的分析，采取針對性較強的應對方法。再如，工作人員對谷歌公司Dremel查詢系統(tǒng)合理應用，可直接對系統(tǒng)不規(guī)則的數(shù)據(jù)信息集合進行現(xiàn)實操作，并快速得到反饋結果，進而根據(jù)結果采取相應的針對性措施。

　　5 基于大數(shù)據(jù)的網(wǎng)絡安全分析與情報追蹤

　　大數(shù)據(jù)安全分析是當今社會較為先進的網(wǎng)絡安全分析和情報追蹤技術，大幅提升了互聯(lián)網(wǎng)數(shù)據(jù)信息安全檢測、風險預警和情報追蹤的控制水平，使數(shù)據(jù)信息掌控安全的全新網(wǎng)絡安全與情報理念得以形成。

　　推薦閱讀：大數(shù)據(jù)研究論文如何發(fā)表