1.本發(fā)明涉及視頻運維技術(shù)領(lǐng)域，尤其涉及一種智能視頻運維管理系統(tǒng)。

背景技術(shù)：

2.隨著物聯(lián)網(wǎng)技術(shù)和應用的不斷發(fā)展，網(wǎng)絡邊緣設備產(chǎn)生的數(shù)據(jù)量激增。據(jù)統(tǒng)計，到2021年底，將有超過500億臺終端和設備接入互聯(lián)網(wǎng)。超過 50% 的數(shù)據(jù)需要在網(wǎng)絡邊緣進行分析、處理和存儲。在這些終端設備產(chǎn)生的海量數(shù)據(jù)中，視頻數(shù)據(jù)占據(jù)了相當大的比重。

3.目前，受網(wǎng)絡帶寬、視頻數(shù)據(jù)采集存儲條件不足等多方面因素的限制，海量視頻數(shù)據(jù)并未得到充分挖掘和利用。如果將如此海量的視頻數(shù)據(jù)傳輸?shù)焦性茢?shù)據(jù)中心，勢必會帶來巨大的網(wǎng)絡傳輸負載，并且會出現(xiàn)較長的網(wǎng)絡延遲。未經(jīng)處理的視頻流可能包含大量靜止圖像等冗余數(shù)據(jù)，這對網(wǎng)絡帶寬的利用也有很大的負面影響。此外，非結(jié)構(gòu)化視頻數(shù)據(jù)增加了數(shù)據(jù)計算和存儲的復雜度，無法保證整個系統(tǒng)的可用性。在安全監(jiān)管方面，如果將大量物聯(lián)網(wǎng)設備采集的包含隱私和商業(yè)機密的視頻數(shù)據(jù)傳輸?shù)綌?shù)據(jù)中心進行集中計算和存儲，數(shù)據(jù)傳輸和使用路徑過長，存在數(shù)據(jù)泄露，丟失、系統(tǒng)攻擊等風險。因此，傳統(tǒng)公有云計算的集中處理模式不足以支撐海量視頻數(shù)據(jù)的實時計算，難以滿足數(shù)據(jù)安全等方面的需求。

4.運維系統(tǒng)的主要作用是保證系統(tǒng)的正常運行。運維包括運維的含義。早期運維系統(tǒng)的主要功能是電子化記錄紙質(zhì)運維記錄。運行方面，隨著IT技術(shù)的不斷發(fā)展，系統(tǒng)變得越來越復雜，如何快速獲取信息，快速完成故障應急策略成為當前運維系統(tǒng)的核心問題。在跨平臺、跨應用交互、分布式等技術(shù)成為主流的今天，運維系統(tǒng)需要讓自身更具交互性和可擴展性，同時又不失傳統(tǒng)運維理念，適應分布式環(huán)境。 ，總線方案的引入it運維技術(shù)，使得運維系統(tǒng)具有松耦合、易擴展的特點。通過消息總線運維系統(tǒng)，可以立即獲取集群中各個節(jié)點發(fā)送的消息。處理完信息后，將處理結(jié)果通過總線發(fā)送到需要的集群節(jié)點。根據(jù)總線架構(gòu)的目標對象，運維系統(tǒng)可以分為兩類：面向應用的總線架構(gòu)運維系統(tǒng)和面向組件的總線架構(gòu)運維系統(tǒng)。

5.傳統(tǒng)的系統(tǒng)運維主要依靠人工定期巡檢和突發(fā)事件應急響應機制。大部分情況下都可以完成所需的運維任務，但是成本比較大，而且系統(tǒng)之前運行產(chǎn)生的數(shù)據(jù)沒有很好的回溯機制。一種觀念認為，人工智能在運維領(lǐng)域的應用和發(fā)展必然成為一種趨勢，而該領(lǐng)域現(xiàn)有的一些機器學習方法大多是基于使用k近鄰算法（knn）來處理運維數(shù)據(jù)。時序結(jié)果分類不僅計算復雜度高、空間復雜度高，而且普遍適用性差。

6.例如，專利文獻公開了一種視頻運維管理系統(tǒng)和方法，公開了一種視頻運維管理系統(tǒng)和方法。設備管理模塊用于注冊所有在線管理視頻運維設備。建立書本，存儲視頻運維設備的管理信息； gis可視化模塊通過gis地圖界面查看所有視頻運維設備的當前位置和視頻運維設備的基本信息；信息狀態(tài)監(jiān)控模塊用于監(jiān)控運維設備的工作狀態(tài)

狀態(tài)。但是這種技術(shù)方案的成本比較高，而且系統(tǒng)之前運行產(chǎn)生的數(shù)據(jù)沒有很好的回溯機制。

7.例如，專利文獻提供了智能視頻運維管理系統(tǒng)。運維代理單元對各個監(jiān)控對象監(jiān)控的通道進行視頻數(shù)據(jù)采集，對采集到的視頻數(shù)據(jù)進行重復數(shù)據(jù)過濾，得到各個監(jiān)控對象的有效視頻數(shù)據(jù)，收集各個監(jiān)控對象自身的狀態(tài)數(shù)據(jù)，分析每個監(jiān)控對象的狀態(tài)數(shù)據(jù)。對有效視頻數(shù)據(jù)和監(jiān)控對象狀態(tài)數(shù)據(jù)進行封裝，得到各個監(jiān)控對象的運維數(shù)據(jù)。管理平臺單元統(tǒng)一管理從運維代理單元傳來的各個監(jiān)控對象的運維數(shù)據(jù)的分類、分發(fā)、檢索和存儲，將運維數(shù)據(jù)分發(fā)給各個管理客戶端，并根據(jù)故障產(chǎn)生運維數(shù)據(jù)信息和告警信息的分析結(jié)果。但該技術(shù)方案不僅計算復雜度高、空間復雜度高，而且普遍適用性較差。

技術(shù)實施要素：

8.為了解決上述技術(shù)問題，本發(fā)明提出一種智能視頻運維管理系統(tǒng)，包括數(shù)據(jù)采集單元、視頻運維數(shù)據(jù)預處理單元、轉(zhuǎn)換與分類單元單元、數(shù)據(jù)存儲單元、數(shù)據(jù)分析單元、運維質(zhì)量評估單元和業(yè)務應用單元：數(shù)據(jù)采集單元用于采集視頻運維數(shù)據(jù)；視頻運維數(shù)據(jù)預處理單元，用于對視頻運維數(shù)據(jù)進行解析、轉(zhuǎn)換和歸約。轉(zhuǎn)換分類單元，用于對視頻運維數(shù)據(jù)預處理單元預處理后的視頻運維數(shù)據(jù)進行分類和適配。配置后的數(shù)據(jù)；數(shù)據(jù)分析單元用于對分類適配后的數(shù)據(jù)進行數(shù)據(jù)處理、分析和優(yōu)化；運維質(zhì)量評價單元用于對運維數(shù)據(jù)進行數(shù)據(jù)處理、分析和優(yōu)化后的質(zhì)量分析和優(yōu)化。進行評估；在業(yè)務應用單元，運維工程師根據(jù)業(yè)務應用單元用戶在使用過程中發(fā)現(xiàn)的問題，對智能運維系統(tǒng)的優(yōu)化進行積極反饋。

9.進一步，在大數(shù)據(jù)的分類適配過程中，轉(zhuǎn)換分類單元采用向量分類模型進行分類識別，向量分類模型采用單位階躍函數(shù)輸出輸入數(shù)據(jù)u類別標簽f(u)，當u<0時，f(u)輸出-1，否則輸出+1；使用標簽

·

(u)·

表示從點到分離平面的幾何間隔，使用最大化函數(shù)最大化幾何間隔：arg maxu{min(label

·

(u)·

)};基于約束，將分離平面寫成數(shù)據(jù)點的形式，優(yōu)化目標函數(shù)為：約束是：

其中常數(shù)c1、c2是一個松弛變量，用于控制最大幾何區(qū)間參數(shù)和函數(shù)區(qū)間參數(shù)小于1.0。

10.進一步，采用序列最小優(yōu)化算法訓練向量分類模型，包括以下步驟： s1、創(chuàng)建并初始化一個o的向量，并進行迭代； s2、判斷迭代次數(shù)是否小于最大值； s3、如果迭代次數(shù)小于最大值，遍歷數(shù)據(jù)集中的每個向量，進行優(yōu)化處理。如果可以優(yōu)化向量，請輸入 s4。如果向量無法優(yōu)化，如果優(yōu)化，則遍歷下一個向量，重新優(yōu)化； s4、 隨機選擇另一個向量進行優(yōu)化； s5、 如果兩個向量都不能優(yōu)化，增加迭代次數(shù)，返回s2；如果兩個向量可以優(yōu)化，輸入s6； s6、 同時優(yōu)化兩個向量。

11.進一步，數(shù)據(jù)分析單元采用徑向基核函數(shù)進行優(yōu)化，將輸入數(shù)據(jù)x從輸入空間映射到特征空間，z表示特征空間的特征參數(shù)，徑向基核函數(shù)為：哪里是可調(diào)參數(shù)。

12.進一步，所述運維質(zhì)量評價單元采用時序相關(guān)評價指標sr和線性相關(guān)評價指標pl的歸一化作為評價指標，線性相關(guān)評價指標p1定義如下： 其中， n代表運維數(shù)據(jù)個數(shù)， ，分別代表第i個運維數(shù)據(jù)的實際值和預測值， ，分別代表運維實際值和預測值的平均值數(shù)據(jù);訂單相關(guān)評價指標 sr 定義如下：其中，分別表示實際值和預測值在序列中的排序位置；歸一化后的評價指標為：。

圖紙說明

13. 圖1是本發(fā)明的智能視頻運維管理系統(tǒng)的結(jié)構(gòu)示意圖；圖2為本發(fā)明序列最小優(yōu)化算法的流程圖。

具體實現(xiàn)方法

14. 為使本領(lǐng)域技術(shù)人員更好地理解技術(shù)實施例的技術(shù)方案，下面將結(jié)合技術(shù)實施例中的附圖對技術(shù)實施例中的技術(shù)方案進行清楚的描述。 ，顯然，所描述的實施例只是本技術(shù)的部分實施例，而不是全部的實施例。

15.如圖所示。參見圖1，為本發(fā)明基于大數(shù)據(jù)的智能視頻運維管理系統(tǒng)的結(jié)構(gòu)示意圖。智能視頻運維管理系統(tǒng)包括：數(shù)據(jù)采集單元，用于采集視頻運行數(shù)據(jù)。視頻運維數(shù)據(jù)主要是指為大視頻業(yè)務智能運維采集的數(shù)據(jù)，包括IP攝像機、DVR、卡口設備、iptv等終端的播放記錄和關(guān)鍵性能指標（kpi）數(shù)據(jù)；接入網(wǎng)絡的用戶寬帶信息、資源拓撲數(shù)據(jù)； CDN錯誤日志、告警、鏈接狀態(tài)、流信息等； iptv企業(yè)賬號、頻道/節(jié)目信息等

16.數(shù)據(jù)采集單元優(yōu)選采用kafka、文件傳輸協(xié)議（ftp）、超文本傳輸??協(xié)議（http）等組件進行數(shù)據(jù)采集。

17.視頻運維數(shù)據(jù)預處理單元用于對各種異構(gòu)日志數(shù)據(jù)進行解析、轉(zhuǎn)換、歸約，在數(shù)據(jù)使用前完成必要的處理和數(shù)據(jù)質(zhì)量保證。上述預處理操作可以采用現(xiàn)有技術(shù)中的預處理方法，在此不再贅述。

18.轉(zhuǎn)換分類單元用于對視頻運維數(shù)據(jù)預處理單元預處理后的視頻運維數(shù)據(jù)進行分類。

19.變換分類單元在大數(shù)據(jù)的分類適配過程中采用分類模型進行分類識別。

20. 優(yōu)選地，使用向量分類模型進行分類識別，向量分類模型是在特征空間上定義的最大區(qū)間的線性分類器。對于一個n維線性可分的數(shù)據(jù)集it運維技術(shù)，有n-1維對象對數(shù)據(jù)進行分離，將這個n-1維對象定義為分離平面；從單個數(shù)據(jù)點到分離平面的距離定義為間隔；最靠近分離平面的點被定義為主向量。使用向量分類模型是為了求解能夠正確劃分訓練集并具有最大集間隔的分離平面。為數(shù)據(jù)集找到間隔最大的分離平面意味著數(shù)據(jù)集被分類有足夠的置信度，這樣的分離平面具有更好的分類和預測能力。

21.向量分類模型會為輸入數(shù)據(jù)集u輸出一個類別標簽。本發(fā)明利用單位階躍函數(shù)作用于u得到f(u)；當u<0時，f(u)輸出-1，否則輸出+1，對應系統(tǒng)運維中的“風險”和“正常運行”兩種狀態(tài)。

22.使用標簽

·

(u) 表示從單個數(shù)據(jù)點到分割平面的函數(shù)區(qū)間，label

·

(u) · 表示單個數(shù)據(jù)點到分離平面的幾何間隔。

23.在向量分類模型中求u，即求其主向量。一旦找到具有最小間隔的數(shù)據(jù)點，則將間隔最大化。最大化函數(shù)可以寫成：arg maxu{min(label

·

(u)

·

)};基于約束，將分離平面寫成數(shù)據(jù)點的形式，優(yōu)化目標函數(shù)為：

;約束為： 約束為： 其中m為數(shù)據(jù)點的個數(shù)，常數(shù)c1、c2為松弛變量，用于控制最大化區(qū)間，保證大部分點的函數(shù)區(qū)間權(quán)重兩個目標的值小于1.0，通過調(diào)整這個參數(shù)的值可以得到不同的結(jié)果。

24.其次，通過序列最小優(yōu)化算法訓練向量分類模型，將大優(yōu)化問題分解為多個小優(yōu)化問題進行求解。求解后的結(jié)果完全等價于整體求解。

25.序列最小優(yōu)化算法是在每個循環(huán)中選擇兩個進行優(yōu)化處理，如果確定了，也確定；這兩個必須在區(qū)間的外部或邊界上。

26.序列最小優(yōu)化算法的具體流程如圖2所示，包括： s1、創(chuàng)建并初始化一個o的向量進行迭代； s2、判斷迭代次數(shù)是否小于最大值； s3、如果迭代次數(shù)小于最大值，遍歷數(shù)據(jù)集中的每個向量，進行優(yōu)化處理。如果可以優(yōu)化向量，請輸入 s4。如果向量無法優(yōu)化，則遍歷下一個向量，重新優(yōu)化； s4、 隨機選擇另一個向量進行優(yōu)化； s5、 如果兩個向量都不能優(yōu)化，增加迭代次數(shù)，返回s2；如果二，向量可以優(yōu)化，則進入s6； s6、 同時優(yōu)化這兩個，向量；直到迭代次數(shù)不小于最大值。

27.數(shù)據(jù)存儲單元用于存儲經(jīng)過轉(zhuǎn)換分類單元分類適配后的數(shù)據(jù)。

28. 數(shù)據(jù)分析單元用于對經(jīng)過轉(zhuǎn)換分類單元分類適配后存儲在數(shù)據(jù)存儲單元中的數(shù)據(jù)進行數(shù)據(jù)處理、分析和優(yōu)化，為視頻質(zhì)量提供數(shù)據(jù)支持評價單位。

29. 具體來說，數(shù)據(jù)分析單元使用徑向基核函數(shù)進行分析優(yōu)化，使用徑向基核函數(shù)將輸入數(shù)據(jù)x從輸入空間映射到特征空間，z表示特征空間參數(shù)的特征，徑向基核函數(shù)表示為：其中是一個可調(diào)參數(shù)，不同的值會使向量分類模型的主向量個數(shù)不同，影響向量分類模型的分類精度。利用上述徑向基核函數(shù)，我們將數(shù)據(jù)從輸入空間映射到更高維的特征空間進行處理，大大提高了該算法的適用性。

30.數(shù)據(jù)分析單元優(yōu)選采用流計算處理框架、離線批處理框架、人工智能計算框架、數(shù)據(jù)存儲與檢索引擎等。數(shù)據(jù)的離線分析，包括但不包括僅限于故障和異常的根本原因分析、故障和特定規(guī)則閾值的動態(tài)預測、事件依賴分析和相關(guān)性分析、異常和重要時間序列模式發(fā)現(xiàn)、多個事件的自動分類等。

31.運維質(zhì)量評價單元用于評價運維數(shù)據(jù)的質(zhì)量。運維數(shù)據(jù)質(zhì)量的評價指標很多，本發(fā)明采用時序相關(guān)評價指標sr和線性相關(guān)評價指標pl的歸一化作為評價指標。序列相關(guān)性評價指標sr用于衡量運維數(shù)據(jù)質(zhì)量預測結(jié)果的單調(diào)性，線性相關(guān)性評價指標pl用于描述主客觀評價之間的線性相關(guān)性。準確性。

32.線性相關(guān)評價指標pl定義如下：；上式中，n代表運維數(shù)據(jù)個數(shù)， ，分別代表第i個運維數(shù)據(jù)的實際值和預測值，分別代表運維數(shù)據(jù)實際值和預測值的平均值數(shù)據(jù)的價值；線性相關(guān)評價指標pl在[-1, 1]范圍內(nèi)，絕對值越大越好。

[0033]

階相關(guān)評價指標sr可以用來衡量線性相關(guān)評價算法預測結(jié)果的單調(diào)性，其計算公式為：其中 分別表示實際值和預測值序列中的排名位置。

[0034]

由于評價原則不同，不同方法預測的運維數(shù)據(jù)質(zhì)量得分也不同。因此，將不同方法預測的質(zhì)量分數(shù)映射到統(tǒng)一的評價標準，從而直觀地看到方法的性能效果。標準化不同的評價標準。

[0035]

歸一化評價指標。通過對歸一化后的評價指標的分析可以看出，每個評價指標系數(shù)中pl、sr的值越接近1，視頻質(zhì)量評價方法的性能越好，而視頻質(zhì)量評價方法的性能越差。方法相反。

[0036]

業(yè)務應用單元用于提供智能業(yè)務監(jiān)控、端到端故障定界定位、用戶體驗感知、統(tǒng)計分析和報告等主要業(yè)務場景的分析應用。運維工程師根據(jù)業(yè)務應用單元對系統(tǒng)中的用戶進行操作，在用戶使用過程中發(fā)現(xiàn)的問題可以對智能運維系統(tǒng)的優(yōu)化起到積極的反饋作用。

[0037]

本發(fā)明的基于大數(shù)據(jù)的智能視頻運維管理系統(tǒng)，利用大數(shù)據(jù)技術(shù)，構(gòu)建基于大數(shù)據(jù)的處理平臺，實現(xiàn)數(shù)據(jù)的采集、聚合、建模、分析和呈現(xiàn)，實現(xiàn)全面的實視頻質(zhì)量和數(shù)據(jù)采集的時間監(jiān)控和控制。視頻質(zhì)量評價指標和業(yè)務應用單位建立基于用戶體驗的視頻質(zhì)量評價體系，對視頻清晰度、流暢度、定格等多項用戶體驗質(zhì)量指標進行分析。轉(zhuǎn)換分類單元和數(shù)據(jù)分析單元，成功將機器學習應用于運維，進行數(shù)據(jù)分類、標注、分析和應用。標注數(shù)據(jù)是指在日常運維工作中會產(chǎn)生的標注數(shù)據(jù)。大視頻系統(tǒng)本身擁有海量日志，包括來自終端、網(wǎng)絡、業(yè)務系統(tǒng)的數(shù)據(jù)，并針對大數(shù)據(jù)系統(tǒng)的存儲進行了優(yōu)化。

[0038]

在上述實施例中，可以全部或部分通過軟件、硬件、固件或其任意組合來實現(xiàn)

現(xiàn)在。當以軟件實現(xiàn)時，它可以全部或部分以計算機程序產(chǎn)品的形式實現(xiàn)。該計算機程序產(chǎn)品包括一個或多個計算機指令。當計算機程序指令被加載并在計算機上執(zhí)行時，根據(jù)本技術(shù)的實施例描述的過程或功能被全部或部分地產(chǎn)生。計算機可以是通用計算機、專用計算機、計算機網(wǎng)絡或其他可編程設備。計算機指令可以存儲在計算機可讀存儲介質(zhì)中或通過計算機可讀存儲介質(zhì)傳輸。計算機可讀存儲介質(zhì)可以是可以由計算機或數(shù)據(jù)存儲設備訪問的任何可用介質(zhì)，例如服務器、數(shù)據(jù)中心等，其包括一個或多個可用介質(zhì)的集成?？捎媒橘|(zhì)可以是磁介質(zhì)（例如，軟盤、硬盤、磁帶）、光學介質(zhì)（例如，dvd）或半導體介質(zhì)（例如，固態(tài)盤（SSD））等。

[0039]

以上僅為本技術(shù)的具體實施方式，但本技術(shù)的保護范圍不限于此。本領(lǐng)域技術(shù)人員可以很容易地想到各種等效修改或替換，均應包含在本技術(shù)的保護范圍之內(nèi)。因此，本技術(shù)的保護范圍應以權(quán)利要求的保護范圍為準。