信息來源：FreeBuf

一、背景

1.  威脅情報庫建設(shè)的背景和需求

1)  新時代攻防趨勢與需求的變化。

隨著互聯(lián)網(wǎng)特別是移動互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)環(huán)境愈發(fā)復(fù)雜，不同的攻擊行為更具產(chǎn)業(yè)化、團(tuán)伙化，入侵手法也愈發(fā)多樣化與復(fù)雜化，傳統(tǒng)以防御漏洞為主的安全策略在面對層出不窮的新型、持續(xù)性、高級威脅時難以及時有效的檢測、攔截和分析。安全攻防需求逐漸從傳統(tǒng)的、以漏洞為中心進(jìn)化為主動型、以情報為中心的建設(shè)模式。

2)  銀聯(lián)本身業(yè)務(wù)的要求。

虛假注冊、批量綁卡、惡意刷單刷券等各種惡意行為會影響企業(yè)相關(guān)產(chǎn)品的日常運(yùn)營和營銷推廣，而傳統(tǒng)金融行業(yè)自身缺乏與互聯(lián)網(wǎng)相關(guān)的安全數(shù)據(jù)，需要高質(zhì)量的情報數(shù)據(jù)支持相關(guān)的風(fēng)險防控工作。因此，需要把安全跟業(yè)務(wù)相結(jié)合，引入跟風(fēng)控等業(yè)務(wù)相關(guān)的威脅情報，幫助提升公司的風(fēng)險防控能力。

2.  現(xiàn)有威脅情報庫

威脅情報庫的數(shù)據(jù)來源分為三方面，包括內(nèi)部情報、專業(yè)機(jī)構(gòu)和行業(yè)聯(lián)盟。內(nèi)部情報包括傳統(tǒng)安全設(shè)備的攔截、后臺SIEM等安全分析系統(tǒng)的分析以及業(yè)務(wù)風(fēng)控系統(tǒng)的發(fā)現(xiàn)；專業(yè)機(jī)構(gòu)會提供所處專業(yè)的多源情報，根據(jù)每家機(jī)構(gòu)的專業(yè)特點(diǎn)進(jìn)行互補(bǔ)，并在情報沖突時對數(shù)據(jù)進(jìn)行研判；行業(yè)聯(lián)盟的威脅情報共享目前正在研究探索中。內(nèi)部情報、專業(yè)機(jī)構(gòu)和行業(yè)聯(lián)盟這三方面的數(shù)據(jù)聚合后，形成本地庫，進(jìn)行處理后，最終將數(shù)據(jù)結(jié)果反饋給最上層的應(yīng)用層，推送給后臺應(yīng)用、防御設(shè)備或者人工調(diào)用。在綜合考慮威脅情報庫需求后，我們對國內(nèi)相關(guān)廠商進(jìn)行調(diào)研測試，最終選擇北京微步在線科技有限公司旗下本地威脅情報管理平臺作為銀聯(lián)威脅情報庫的載體平臺。

威脅情報庫的建立，一方面能夠協(xié)助我們及時察覺黑客或惡意攻擊者的各類戰(zhàn)術(shù)、方法、行為模式，掌握針對支付場景的最新攻擊動向，高效預(yù)防和處理各類網(wǎng)絡(luò)風(fēng)險安全事件；另一方面高質(zhì)量的情報數(shù)據(jù)能夠?yàn)轱L(fēng)險防控提供有力支持，實(shí)現(xiàn)對外部網(wǎng)絡(luò)異常訪問行為的精確識別。它對于防守方安全風(fēng)控團(tuán)隊及時掌安全態(tài)勢并做出正確響應(yīng)具有重要價值。

二、研究目標(biāo)

在威脅情報的應(yīng)用過程中，我們發(fā)現(xiàn)仍然有一些問題有待解決。

1.  情報合法有序共享

當(dāng)情報庫建立之后，情報共享的需求馬上就被提出。與公司內(nèi)部、行業(yè)機(jī)構(gòu)等進(jìn)行情報共享，一方面能夠快速實(shí)現(xiàn)威脅感知能力的提升和風(fēng)險共擔(dān)，另一方面情報的合法有序共享，也有利于整個生態(tài)的健康持續(xù)運(yùn)轉(zhuǎn)，降低運(yùn)行成本。

2.  私有情報生產(chǎn)

銀聯(lián)是典型多職場、多組織協(xié)同防御的結(jié)構(gòu)，擁有較多安防設(shè)備且對攻擊敏感，會有海量的告警信息，如何從海量告警信息中獲取真實(shí)的攻擊行為是一個大的挑戰(zhàn)。同時來自外部的威脅情報數(shù)據(jù)無法完全支撐對于真實(shí)攻擊的檢測、阻斷和溯源分析，攻擊者對于外圍資產(chǎn)實(shí)施跳躍式攻擊時，也可能導(dǎo)致聯(lián)動防御困難。在這些場景中，我們對威脅情報數(shù)據(jù)和威脅情報生產(chǎn)均有強(qiáng)需求。

為了實(shí)現(xiàn)這兩個目標(biāo)，我們進(jìn)行了情報共享技術(shù)和全流量威脅狩獵的研究。

三、情報共享技術(shù)研究

1.  情報上傳下達(dá)的基本邏輯

在現(xiàn)有情報庫部署情報管理平臺，各分支機(jī)構(gòu)部署分支情報管理平臺，總控推送情報到各分支，各分支私有情報自動上報到總控，總控可控制是否將各分支上報私有情報進(jìn)行二次分發(fā)。

整體方案主要由核心情報管理平臺和下游情報管理平臺兩部分組成：

核心情報管理平臺主要作用包括接收云端情報用于情報查詢；向下游情報管理平臺分發(fā)情報；接收下游情報管理平臺匯報情報；自有情報錄入，用于情報查詢與分發(fā)。

下游情報管理平臺主要功能包括自有情報錄入，用于情報查詢與匯報；向核心情報管理平臺匯報本地錄入情報；接收核心情報管理平臺分發(fā)的情報。

對于擁有自有情報平臺的機(jī)構(gòu)，情報管理平臺可以采用行業(yè)同行的標(biāo)準(zhǔn)進(jìn)行情報的交換。

2.  情報完整流轉(zhuǎn)流程

依據(jù)銀聯(lián)威脅情報庫結(jié)構(gòu)，首先從內(nèi)部日志、行業(yè)情報和聯(lián)盟數(shù)據(jù)中自動生成、篩選情報，并從云端拉取社區(qū)情報和定期情報更新，開啟協(xié)同研判功能后，威脅情報庫會自動通過加密信道從云端拉取附加信息并與本地簡版私有情報合并，最終形成完整威脅情報形態(tài)。本地私有情報可直接查看、刪除、導(dǎo)出和應(yīng)用到第三方系統(tǒng)中。

協(xié)同研判過程中，威脅情報團(tuán)隊成員將共同補(bǔ)全攻擊組織手法，最終形成自主的攻擊者畫像數(shù)據(jù)庫；情報管理平臺 支持單一情報的多個情報源數(shù)據(jù)橫向?qū)Ρ炔榭?，多角度綜合評估情報全貌，然后通過 Restful API 將威脅能力共享，實(shí)現(xiàn)總控和各分支之間的推送、上報和可控的二次分發(fā)。

威脅情報庫會根據(jù)機(jī)讀情報、高級報告和月報、第三方機(jī)讀情報、用戶手工導(dǎo)入的私有情報以及全球多個開源情報的統(tǒng)一存儲、檢索和對比自動補(bǔ)充輔助信息，并使用統(tǒng)一的生命周期管理情報從產(chǎn)生、使用、靜默與消亡的完整過程。

3.  技術(shù)的重點(diǎn)和難點(diǎn)

該項目開發(fā)和部署測試過程中，也發(fā)現(xiàn)很多重要節(jié)點(diǎn)和技術(shù)難點(diǎn)，經(jīng)過充分研討與貼合實(shí)際需求進(jìn)行評估后一一突破，其中包括有：

1)   如何構(gòu)建和落地24*7全自動的多機(jī)構(gòu)情報共享和消費(fèi)機(jī)制

該目標(biāo)由核心情報管理平臺下發(fā)情報、下游情報管理平臺寫入、上報、消費(fèi)情報等過程組成，其中重點(diǎn)在于搞清楚誰向下游情報管理平臺寫情報，下游情報管理平臺的情報被誰消費(fèi)以及怎么消費(fèi)。

“誰向下游情報管理平臺寫情報”：除了核心情報管理平臺外，下游機(jī)構(gòu)其實(shí)并沒有直接、準(zhǔn)確的情報可被寫入，實(shí)際可寫入的是下游機(jī)構(gòu)網(wǎng)絡(luò)環(huán)境中部署的安全設(shè)備產(chǎn)生的告警，當(dāng)眾多下游機(jī)構(gòu)上報告警后，核心情報管理平臺可以根據(jù)智能策略實(shí)時動態(tài)生成行業(yè)威脅情報，例如：下游機(jī)構(gòu)網(wǎng)絡(luò)不連續(xù)的情況下，某個外部IP連續(xù)攻擊多個下游機(jī)構(gòu)，該攻擊IP就相當(dāng)可疑，根據(jù)策略生產(chǎn)為行業(yè)情報，并推送給其他暫未感知到風(fēng)險的下游機(jī)構(gòu)。

“下游情報管理平臺的情報被誰消費(fèi)、以及怎么消費(fèi)”：   一些敏感業(yè)務(wù)例如支付口、登錄口都可以使用推送的情報進(jìn)行主動防御，即使來自攻擊IP的用戶提供正確的用戶名密碼，業(yè)務(wù)仍然強(qiáng)制要求上下行短信驗(yàn)證，對于某些類互聯(lián)網(wǎng)行業(yè)的抽獎活動，還可以降低其所在網(wǎng)段的中獎幾率，在不得罪用戶、不打斷業(yè)務(wù)的前提下保障業(yè)務(wù)安全性。 

2)   如何解決分支機(jī)構(gòu)情報沖突和誤報

情報沖突問題是該項目一開始未充分考慮的問題，但是在測試部署中，我們發(fā)現(xiàn)有些IP被不同分支機(jī)構(gòu)分別標(biāo)記為白名單和惡意地址，造成下游機(jī)構(gòu)問問題，經(jīng)過排查發(fā)現(xiàn)主要原因?yàn)椋篈機(jī)構(gòu)將自身辦公網(wǎng)出口地址標(biāo)記為白名單，但其辦公網(wǎng)內(nèi)存在蠕蟲病毒，通過辦公網(wǎng)出口掃描其他機(jī)構(gòu)，又其他機(jī)構(gòu)或被標(biāo)記為惡意；

情報誤報問題主要由于多個下游機(jī)構(gòu)采購相同廠家的安全產(chǎn)品，同類安全產(chǎn)品誤報后通過下游情報管理平臺上傳到核心情報管理平臺，造成誤判問題，這類問題后續(xù)計劃通過增加鑒別安全設(shè)備類型實(shí)現(xiàn)進(jìn)一步規(guī)避。

3)   歸一化安全設(shè)備日志格式問題

由于各下游機(jī)構(gòu)采購安全設(shè)備的多樣性，必然導(dǎo)致日志歸一化問題，該問題目前沒有十分完美的解決方案，在下游情報管理平臺入口處使用技術(shù)手段進(jìn)行統(tǒng)一格式處理目前是可行方案。

四、全流量威脅狩獵

1.  威脅狩獵的定義和流程

威脅狩獵是企業(yè)機(jī)構(gòu)基于威脅情報的自我查驗(yàn)。威脅狩獵需要提前掌握攻擊者某些基本模糊特征和線索，即威脅情報，然后基于情報，通過旁路流量檢測、系統(tǒng)日志檢測或主機(jī)行為檢測來挖掘正在進(jìn)行的攻擊行為或已經(jīng)失陷的內(nèi)網(wǎng)主機(jī)，其效果隨著線索或情報的準(zhǔn)確性、及時性和多樣性而變化。

威脅狩獵流程（流程圖）

2.  威脅狩獵的技術(shù)重點(diǎn)和難點(diǎn)

威脅狩獵技術(shù)重點(diǎn)和難點(diǎn)主要來源于以下三個方面：

1)  如何獲取準(zhǔn)確、及時和多樣的具備大量輔助上下文的威脅情報；

針對威脅情報準(zhǔn)確性、及時性和多樣性的需求，威脅情報庫采取多源威脅情報的收錄和管理，本地情報平臺應(yīng)至少能裝載四種情報類型、具備兩種情報能力，具體包括多源機(jī)讀情報、高級人讀報告、漏洞情報、自定義情報等，情報能力應(yīng)包括情報代理能力、本地生產(chǎn)情報能力等，此外，情報共享和級聯(lián)正是保證威脅狩獵成功進(jìn)行的關(guān)鍵能力之一。

2)  如何對拓展出的更多線索進(jìn)行自動化篩查，并將有效線索進(jìn)一步轉(zhuǎn)化為情報；

情報輔助上下文是不可忽略的重點(diǎn)，機(jī)讀情報字段的豐富性決定該威脅情報是否可實(shí)際落地，現(xiàn)有情報精確刻畫該攻擊行為或團(tuán)伙特征，包括但不限于發(fā)現(xiàn)時間、端口協(xié)議、嚴(yán)重級別、URL、相關(guān)樣本、域名屬主、家族標(biāo)簽、針對行業(yè)等30多個字段，相比之下，僅提供一份黑名單，沒有任何輔助上下文信息開源情報幾乎無法在金融生產(chǎn)環(huán)境中使用。自動化篩查和有效線索轉(zhuǎn)化為情報，主要考驗(yàn)的是我們威脅情報庫的私有威脅情報本地化生產(chǎn)能力。

3)  如何將威脅情報落地于旁路流量檢測、系統(tǒng)日志檢測或主機(jī)行為檢測產(chǎn)品中。

這就要求我們開放對外部SIEM/SOC數(shù)據(jù)平臺、防火墻或WAF設(shè)備、主機(jī)管理產(chǎn)品、路由和交換設(shè)備以及其他安防產(chǎn)品的聯(lián)動。并分析特定場景的設(shè)備聯(lián)動，對于命中的高危情報，調(diào)用下游設(shè)備實(shí)現(xiàn)阻斷，推動情報從檢測、響應(yīng)場景到全面的安全防護(hù)。

3.  全流量威脅狩獵技術(shù)

通過對接入數(shù)據(jù)源、底層軟硬件架構(gòu)、大數(shù)據(jù)標(biāo)準(zhǔn)化處理、模型算法，以及頂層安全業(yè)務(wù)應(yīng)用的系統(tǒng)規(guī)劃，依托威脅情報大數(shù)據(jù)知識圖譜技術(shù)、高級入侵檢測與分析技術(shù)、黑客畫像與追蹤溯源技術(shù)、情報數(shù)據(jù)共享技術(shù)、響應(yīng)策略自動化編排與處置技術(shù)等核心技術(shù)，構(gòu)建覆蓋全行業(yè)網(wǎng)絡(luò)的威脅檢測分析、威脅事件線索提取、攻擊者畫像與溯源分析、威脅阻斷響應(yīng)與協(xié)同聯(lián)動等完整閉環(huán)解決方案，形成以威脅情報數(shù)據(jù)為驅(qū)動的檢測、分析、響應(yīng)、溯源、預(yù)測能力。

1)  接入數(shù)據(jù)源

對企業(yè)相關(guān)網(wǎng)絡(luò)邊界的出入站雙向流量、內(nèi)網(wǎng)各區(qū)域之間橫向東西向流量進(jìn)行全面采集，由流量采集器通過流量鏡像方式，對網(wǎng)絡(luò)內(nèi)產(chǎn)生流量的所有全量數(shù)據(jù)進(jìn)行實(shí)時采集，主要采集數(shù)據(jù)包括流量信息、流量中還原的payload或文件、終端日志數(shù)據(jù)等三類，其中，流量信息包含DNS、HTTP、TCP、SMTP、POP3、RSYNC、RDP、TFTP等8項協(xié)議；DNS日志包括Request與Response雙向日志中的解析域名、查詢類型、源地址與端口、目的地址與端口等信息。據(jù)此形成全流量威脅持續(xù)檢測接入數(shù)據(jù)。

基于威脅情報做日志關(guān)聯(lián)分析

2)  軟硬件與數(shù)據(jù)解析基礎(chǔ)組件

依托微服務(wù)、分布式集群、海量數(shù)據(jù)存儲、消息隊列等大數(shù)據(jù)軟硬件基礎(chǔ)組件，構(gòu)建“松耦合、高內(nèi)聚”的底層大數(shù)據(jù)架構(gòu)，采用ElasticSearch、Hadoop、Spark、Kafka等開源分布式技術(shù)，解決海量數(shù)據(jù)接入、解析、分析、存儲、輸出等關(guān)鍵環(huán)節(jié)并發(fā)瓶頸問題，能夠根據(jù)檢測環(huán)境進(jìn)行動態(tài)擴(kuò)展。

對于接入原始流量的數(shù)據(jù)接入形式，系統(tǒng)需要將原始流量中的二進(jìn)制數(shù)據(jù)解析成結(jié)構(gòu)化的DNS報文。對常見的流量解析工具(包括Bro、Suricata等)調(diào)研測試后發(fā)現(xiàn)并不適用于DNS解析場景，原因在于 1.此類工具架構(gòu)設(shè)計上針對全流量解析，為了兼容其他協(xié)議特性，很大一部分系統(tǒng)資源用于數(shù)據(jù)流Session維護(hù)、流量緩存等，這在DNS解析過程中屬于不必要的系統(tǒng)開銷。2.此外，DNS數(shù)據(jù)報文長度較小，相同流量下QPS較高，在Bro和Suricata上性能測試結(jié)果不夠理想。因此本系統(tǒng)在技術(shù)路線上采用自研抓包模塊，針對DNS的協(xié)議特性進(jìn)行性能優(yōu)化。

3)  威脅檢測分析模型

該架構(gòu)擁有威脅檢測模型十類，包括基于威脅情報的大數(shù)據(jù)碰撞模型、DNS隱蔽信道檢測模型、動態(tài)沙箱檢測模型、DGA隨機(jī)域名生成檢測模型、內(nèi)網(wǎng)橫向滲透檢測模型、深度學(xué)習(xí)算法自學(xué)習(xí)檢測模型等。檢測覆蓋階段包括嗅探、漏洞利用、武器投遞、遠(yuǎn)控、橫向移動、對外攻擊、行動（勒索、挖礦、數(shù)據(jù)竊?。R別的攻擊與威脅類型至少包括：端口掃描、應(yīng)用掃描、子域名暴破、遠(yuǎn)程溢出、WEB攻擊、SQL注入、配置漏洞、命令注入、CC破壞性攻擊、XSS、SSRF、文件泄露、目錄遍歷、暴力破解、網(wǎng)頁木馬、木馬執(zhí)行、webshell、僵木蠕檢測、高危漏洞利用、勒索軟件、挖礦木馬、高級APT組織、隱蔽信道通信等。

依托可視化關(guān)聯(lián)分析技術(shù)，對威脅情報、網(wǎng)絡(luò)原始日志、終端日志、告警日志進(jìn)行關(guān)聯(lián)分析，從攻擊者視角完整還原攻擊路徑，從被控主機(jī)視角完整描繪被控主機(jī)網(wǎng)絡(luò)行為，完整呈現(xiàn)威脅全貌。

五、研究的產(chǎn)出和意義

1.  安全建設(shè)保障延續(xù)性

在原有情報管理平臺與威脅檢測平臺上，附加更多的能力，基于現(xiàn)有能力不斷升級，保證原有能力的持續(xù)運(yùn)營，與新技術(shù)的無縫銜接，保證持續(xù)有效的安全建設(shè)。

2.  增加全網(wǎng)威脅可見性

在原有威脅檢測平臺邊界檢測失陷主機(jī)的能力上，增強(qiáng)流量的覆蓋度，覆蓋內(nèi)網(wǎng)流量，并應(yīng)用流量文件還原技術(shù)、引擎與動態(tài)沙箱技術(shù)、機(jī)器學(xué)習(xí)技術(shù)等提升檢測能力，對威脅攻擊過程進(jìn)行分析狩獵，提升對內(nèi)網(wǎng)中威脅與全攻擊過程的可見性。

3.  行業(yè)情報共享，增強(qiáng)響應(yīng)能力

在原有情報管理平臺整合情報與提供情報檢測接口的能力上，增強(qiáng)行業(yè)情報共享能力、提供批量接入挖掘情報的接口，并建設(shè)與現(xiàn)有安全設(shè)備聯(lián)動的能力，基于威脅情報進(jìn)行自動化的響應(yīng)。

4.  對于整個網(wǎng)絡(luò)安全威脅情報共享體系建設(shè)發(fā)展的意義

在前期威脅情報中心能力之上，增強(qiáng)流量監(jiān)控與威脅狩獵分析能力，精準(zhǔn)定位攻擊全過程；同時提升情報挖掘能力，并在行業(yè)情報共享機(jī)制進(jìn)行探索研究，為將來的實(shí)踐應(yīng)用奠定理論和技術(shù)基礎(chǔ)。