1. 序言

隨著互聯網高速發展，網絡視頻直播和點播也大放異彩，咪咕視頻、斗魚直播等視頻直播和點播平臺被網民熟知并大量使用。根據中國互聯網信息中心發布的統計報告，2018年6月，我國網絡視頻的用戶量為60906萬，網民使用率高達76.0%，較上半年增長了5.2%， 手機網絡視頻的用戶量為57786，網民使用率高達73.4%，較上半年增長5.3%。

伴隨著視頻直播、點播、短視頻的興盛，用戶量的持續大量增長，內容分發網絡CDN作為通用基礎網絡能力，通過無線和固定寬帶接入網絡，能夠對用戶終端訪問的網頁、圖像、視頻、文件等內容實現訪問加速。當前使用內容分發網絡CDN為網絡視頻業務加速成為支撐網絡視頻業務高速發展的關鍵支點。

圖1  中國互聯網網絡發展狀況統計（網絡直播使用率）

本文將從CDN網絡架構與功能、CDN訪問日志、CDN服務質量指標等方面多維度進行介紹，并從日志挖掘的角度對CDN服務質量優化提供建議。

2. CDN介紹

CDN（內容分發網絡）是構建在基礎IP 承載網絡之上，面向流媒體、Web 及應用的內容傳送，具備內容自動化分布及流量集中化調度控制能力的疊加網絡。最初的CDN主要承載靜態WEB頁面內容，隨后又出現了針對網頁動態內容的CDN加速。隨著數字視頻技術的發展和互聯網帶寬的飛速增加，互聯網上的視頻內容也逐漸豐富起來，第二代CDN主要針對VOD、流媒體視頻和音頻的分發服務。隨著流媒體技術的發展，直播流媒體也成為了CDN內容分發的服務內容。

2.1  CDN網絡架構

CDN 網絡由分布在不同區域的CDN 節點組成，通過GSLB（全局負載均衡）的調度機制和內容中心的分發機制實現簽約內容源的請求調度和內容緩存。CDN 按照指定策略將簽約內容分發至網絡邊緣，并自動調度用戶內容訪問請求指向全局最優的邊緣節點，由該邊緣節點就近為用戶提供內容服務，使用戶可以通過訪問就近的CDN節點獲取內容源。

CDN 不但能加快內網用戶訪問外網資源的速度，也可以加速外網用戶訪問內網資源的速度，有效提升用戶內容訪問速度和業務體驗；大大減輕骨干網絡承載負荷和減少網絡鏈路擁塞，優化網絡流量，降低網絡成本； 有力保障運營商自營業務服務質量和競爭力， 并能夠為第三方客戶提供CDN分發加速增值服務。

2.2  CDN網絡功能模塊

CDN 網絡從邏輯架構上可劃分為調度控制層、內容中心層和服務節點層3 個層面，其中調度控制層負責用戶請求的統一調度、CDN 網絡管理及業務運營管理，主要包含運營管理中心和調度控制中心；內容中心層通過內容中心實現對簽約CP / SP（內容提供商/服務提供商）系統的對接和內容注入，并為邊緣服務節點提供內容分發與回源服務； 服務節點層由邊緣服務節點組成， 面向用戶終端提供內容服務，具備內容緩存和媒體服務功能，以分層架構部署于網絡中不同層面。CDN網絡邏輯架構如圖2所示：

圖2：CDN網絡邏輯架構圖

3. CDN訪問日志格式及系統

3.1 CDN日志格式

CDN訪問日志中記錄了CDN運行和用戶請求的關鍵信息，對CDN服務質量分析極為關鍵，對其進行數據挖掘分析也十分有意義。常見的CDN日志主要包含以下字段：時間、時長、流量、請求URL、請求源IP地址、UA、狀態碼、命中狀態等。其中，時間字段存儲了用戶請求的時間，時長字段存儲了請求的持續時長，流量字段在拉流時，存儲下行流量值，在推流時，存儲上行流量值，請求URL字段存儲用戶請求的具體URL，請求源IP地址存儲發起請求的用戶的源IP地址，UA字段存儲用戶發起請求時使用的User-Agent類型，狀態碼字段存儲了請求的狀態碼，常見狀態有2XX、3XX、4XX、5XX，命中狀態字段存儲了CDN緩存是否命中的狀態，其值可以是HIT或MISS。

3.2  基于CDN日志的數據分析系統架構

通過系統采集CDN服務日志，搭建CDN日志的大數據平臺進行多維度展示、分析, 不僅能夠使CDN服務透明化，同時也可以利用大數據平臺整合全量數據，通過海量數據的高效挖掘及定制化應用，為統計活動數據、總結運營經驗，實現流量精細化經營提供支撐。數據分析系統可以包括數據采集、基礎數據管理、CDN日志統計分析、數據寬表管理、平臺管理、系統管理與監控、用戶交互及數據呈現幾個模塊。

圖3 CDN數據分析系統架構

4. 多維度評估CDN服務質量

基于CDN日志數據分析平臺，我們可以很方便地計算各種CDN服務統計指標，進而對CDN服務質量進行多維度地展示和評價。根據CDN日志來計算常用CDN日志評價指標的方法如下：

CDN訪問日志及系統服務質量淺析

通過從上述維度對比CDN服務質量指標，能夠更有效地發現和定位CDN中存在的問題，并可以從域名、省份、終端、和運營商等維度進行對比。

5. 日志對優化CDN服務質量的建議

通過對CDN日志進行分析挖掘，能夠實現多維度觀測CDN服務質量，并對CDN的優化配置提供參考建議。

①、實時分析：

對于CDN日志，日志的時效性十分重要。CDN實時日志可以從多個區域、多個節點實時采集日志，采集到的日志被流式分析處理，免去了傳統日志分析中復雜的流程，讓用戶能實時查看日志分析結果，對CDN服務進行及時的優化。

②、故障定位：

在海量的業務場景下，對CDN服務的可用性、魯棒性和性能要求十分苛刻，這需要對于各類異常進行及時、精準的告警，這種告警系統可以依賴于CDN日志實時分析來實現。CDN日志實時分析能夠為監控、告警等系統提供準確的決策依據，進而提升CDN服務質量。

③、調度建議：

通過對CDN日志進行實時監控分析，還能夠及時發現調度策略存在的缺陷，為資源調度提供建議，進而提高命中率，提升用戶體驗，節省流量開銷。

④、可視化：

對CDN日志實時監控分析的結果，可以使用多種直觀的數據可視化方式進行展示，用戶可以通過觀看可視化圖表，直觀地監控CDN運行狀態。

河南億恩科技股份有限公司(www.ypdoo.com.cn)始創于2000年，專注服務器托管租用，是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網站建設、網站托管等網絡基礎服務，另有網總管、名片俠網絡推廣服務，使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話：0371-60135900
虛擬主機/智能建站 24小時售后服務電話：0371-55621053
網絡版權侵權舉報電話：0371-60135995
服務熱線：0371-60135900