文/ 康鑫磊(子昊) 、胡歡武(瑾為)

假設(shè)將日常網(wǎng)絡(luò)平穩(wěn)運(yùn)營(yíng)比方成人體的日常態(tài)，雙11流量則相當(dāng)于人體血壓瞬間暴增，正如血液在人體供給受阻會(huì)引起心梗、腦梗，流量洪峰時(shí)的網(wǎng)絡(luò)阻塞也會(huì)引起買(mǎi)賣(mài)的不暢。

怎么提前辨認(rèn)雙11買(mǎi)賣(mài)峰值網(wǎng)絡(luò)流量的危險(xiǎn)，從而確保事務(wù)在買(mǎi)賣(mài)峰值時(shí)的網(wǎng)絡(luò)絲般順滑，穩(wěn)如磐石？本文將共享2021年雙11 網(wǎng)絡(luò)流量危險(xiǎn)危險(xiǎn)辨認(rèn)的一個(gè)場(chǎng)景事例，來(lái)實(shí)在呈現(xiàn)日常工作中怎么通過(guò)技能創(chuàng)新完成“更高功率、更低本錢(qián)、更精細(xì)化”的網(wǎng)絡(luò)運(yùn)營(yíng)。

01

全面上云新機(jī)遇

在全面上云的大布景下，2021年的雙11給網(wǎng)絡(luò)運(yùn)營(yíng)的同學(xué)帶來(lái)了新應(yīng)戰(zhàn)：

1 多個(gè)BU參與雙11大促，數(shù)萬(wàn)個(gè)使用、多地域、云上云下調(diào)用鏈聯(lián)系雜亂，單純靠人工手工整理無(wú)法精準(zhǔn)辨認(rèn)中心鏈路和關(guān)鍵節(jié)點(diǎn)。

2 部分?jǐn)?shù)據(jù)密集型事務(wù)上云，擺脫了傳統(tǒng)獨(dú)享物理集群的束縛，與買(mǎi)賣(mài)型事務(wù)實(shí)例混布在一起，在邊際，泛邊際與接入層的流量途徑上有必定程度的重疊和耦合，在流量評(píng)估、事務(wù)規(guī)劃、故障診斷上增加了雜亂度。

3 疊加了公有云事務(wù)的自身布景流量。

4 國(guó)內(nèi)，海外二個(gè)主戰(zhàn)場(chǎng)一起作戰(zhàn)，國(guó)內(nèi)主場(chǎng)觸及多個(gè)地域的數(shù)據(jù)中心，海外觸及多個(gè)國(guó)家和地域。

5 物理設(shè)備疊加集團(tuán)虛擬化層面的網(wǎng)元實(shí)例體量巨大……

在過(guò)往雙11備戰(zhàn)中，技能同學(xué)最重視的是自己體系在零點(diǎn)流量洪峰中的表現(xiàn)，特別是極限峰值壓力場(chǎng)景下秒級(jí)買(mǎi)賣(mài)大盤(pán)是否呈現(xiàn)各種‘顫動(dòng)’，哪怕有一次‘顫動(dòng)’即使上下動(dòng)搖很小，在技能人眼中這便是惋惜。細(xì)節(jié)決定成敗，關(guān)于雙11的網(wǎng)絡(luò)運(yùn)營(yíng)，魔鬼般的小細(xì)節(jié)就藏在這些‘顫動(dòng)’里……

針對(duì)呈現(xiàn)的問(wèn)題，運(yùn)營(yíng)團(tuán)隊(duì)重復(fù)復(fù)盤(pán)過(guò)往各種壓測(cè)和每次雙11實(shí)在呈現(xiàn)過(guò)的不同‘顫動(dòng)’場(chǎng)景，終究發(fā)現(xiàn)了在峰值場(chǎng)景下‘顫動(dòng)’或多或少存在一些共性特征。這些共性的特征，假設(shè)用一個(gè)形象的比方就像是：人體血壓瞬間暴增，自動(dòng)脈雖四通八達(dá)，但很少毛細(xì)血管存在一些小擁塞（如各種熱點(diǎn)，冷熱負(fù)載不均，部分緩存擊穿等），假設(shè)擁塞的血管正好在心臟鄰近，則容易造故意梗，甚至有生命危險(xiǎn)。

根據(jù)這些剖析總結(jié)，2021年雙11，在全面上云的布景下，在往年雙11 網(wǎng)絡(luò)高保套餐的基礎(chǔ)上，網(wǎng)絡(luò)運(yùn)營(yíng)團(tuán)隊(duì)新增了一個(gè)高級(jí)檢查項(xiàng)——‘防顫動(dòng)’之買(mǎi)賣(mài)促銷(xiāo)型流量的網(wǎng)絡(luò)鏈路精準(zhǔn)辨認(rèn)與精準(zhǔn)危險(xiǎn)防控。這是什么名詞？換用一個(gè)通俗易懂的解釋便是：從被動(dòng)變自動(dòng)，針對(duì)上面說(shuō)到的毛細(xì)血管小擁塞，提前自動(dòng)篩查它們?cè)谘獕罕┰鰰r(shí)是否有爆管的危險(xiǎn)，從而精準(zhǔn)辨認(rèn)并定向解決，防患于未然。

02

應(yīng)戰(zhàn)：人工規(guī)矩界說(shuō)辨認(rèn)

什么是買(mǎi)賣(mài)促銷(xiāo)型流量？

什么是買(mǎi)賣(mài)促銷(xiāo)型流量？為什么需求要點(diǎn)重視買(mǎi)賣(mài)促銷(xiāo)型流量？下圖是一個(gè)典型的使用場(chǎng)景：零點(diǎn)時(shí)間，買(mǎi)賣(mài)峰值的抱負(fù)趨勢(shì)圖是一豎一橫，即豎直橫平（注：橫平是由于到達(dá)事務(wù)預(yù)設(shè)容量峰值，觸發(fā)限流導(dǎo)致，契合預(yù)期），零點(diǎn)時(shí)間的峰值壓力一般是其他時(shí)段的成百上千倍。

(注：光看曲線(xiàn)圖還沒(méi)有實(shí)際的體感，網(wǎng)絡(luò)運(yùn)營(yíng)君從網(wǎng)上找了一個(gè)上世紀(jì)某線(xiàn)下商場(chǎng)開(kāi)業(yè)的排隊(duì)圖，大家腦補(bǔ)一下容量峰值壓力）

從網(wǎng)絡(luò)視角看零點(diǎn)事務(wù)峰值帶來(lái)的流量都可以認(rèn)為是買(mǎi)賣(mài)促銷(xiāo)型流量，這些買(mǎi)賣(mài)促銷(xiāo)型流量通過(guò)網(wǎng)絡(luò)全途徑相關(guān)鏈路，包含網(wǎng)絡(luò)虛擬化實(shí)例(LB實(shí)例、NAT實(shí)例、ENI等與網(wǎng)絡(luò)相關(guān)的虛擬化實(shí)例) 都需求要點(diǎn)重視。

抱負(fù)飽滿(mǎn)，而現(xiàn)實(shí)骨感。事實(shí)上，超大數(shù)據(jù)中心的流量組成往往十分雜亂，特別當(dāng)在線(xiàn)事務(wù)容器化和微服務(wù)化之后，由疊加部分?jǐn)?shù)據(jù)密集型事務(wù)上云后產(chǎn)生的混布流量。數(shù)百萬(wàn)級(jí)事務(wù)容器規(guī)模下，假設(shè)能做到零點(diǎn)峰值買(mǎi)賣(mài)促銷(xiāo)型流量全鏈路精細(xì)化辨認(rèn)，那對(duì)容量危險(xiǎn)將進(jìn)一步精準(zhǔn)化管控，從而對(duì)容量精細(xì)化規(guī)劃有較大收益。

數(shù)據(jù)密集型事務(wù)：典型流量特征的界說(shuō)，一般流量占比較大，但對(duì)網(wǎng)絡(luò)顫動(dòng)，擁塞相對(duì)買(mǎi)賣(mài)容忍度更高，典型場(chǎng)景如大數(shù)據(jù)離線(xiàn)核算事務(wù)型事務(wù)、圖像視頻類(lèi)AI算法練習(xí)事務(wù)等。

人工規(guī)矩界說(shuō)帶來(lái)的應(yīng)戰(zhàn)：

真正的技能應(yīng)戰(zhàn)是：我們很難用人工規(guī)矩界說(shuō)辨認(rèn)清楚這些買(mǎi)賣(mài)促銷(xiāo)型流量的精細(xì)化分布；特別針對(duì)毛細(xì)血管層面的危險(xiǎn)，很難精準(zhǔn)辨認(rèn)并定向解決。

在超大雜亂事務(wù)體量下，假設(shè)買(mǎi)賣(mài)促銷(xiāo)型流量辨認(rèn)采用傳統(tǒng)的人工規(guī)矩界說(shuō)計(jì)劃，有如下劣勢(shì)：

1 規(guī)矩源存在必定的體系成見(jiàn)

由于體系規(guī)矩由人界說(shuō)，事務(wù)輸入過(guò)程中,下述3種情況較為常見(jiàn)：

• 評(píng)估遺失型-整理未到位導(dǎo)致規(guī)矩遺失，危險(xiǎn)未辨認(rèn)；
  
• 人為成見(jiàn)型-界說(shuō)非中心鏈路資源，加入黑名單；
  
• 資源糟蹋型-事務(wù)評(píng)估輸入時(shí)層層加碼，必定程度上造成了部分資源糟蹋。
  

2 人工界說(shuō)的規(guī)矩結(jié)論質(zhì)量依賴(lài)于專(zhuān)家經(jīng)歷

存在必定程度的‘誤報(bào)、漏報(bào)’；需求有專(zhuān)業(yè)人士二次剖析研判，對(duì)人的技能和經(jīng)歷要求較高。

3 工作量大

十分精細(xì)的場(chǎng)景下，大體量的規(guī)矩界說(shuō)和保護(hù)帶來(lái)的工作量較大。

03

解決計(jì)劃：“AI網(wǎng)眼”

跟著算法、算力、大數(shù)據(jù)技能的快速迭代，人工智能在各種專(zhuān)業(yè)范疇的使用不斷取得新成就和新打破。在上述場(chǎng)景中，“AI網(wǎng)眼”便是一種根據(jù)人工智能的網(wǎng)絡(luò)運(yùn)營(yíng)自主原創(chuàng)解決計(jì)劃。其中心思路是根據(jù)全網(wǎng)的數(shù)百萬(wàn)鏈路流量數(shù)據(jù)，結(jié)合全鏈路壓測(cè)期產(chǎn)生了大量的買(mǎi)賣(mài)流量樣本，根據(jù)算法生成買(mǎi)賣(mài)促銷(xiāo)型流量特征模型，終究由機(jī)器給出大促買(mǎi)賣(mài)相關(guān)的網(wǎng)絡(luò)容量危險(xiǎn)模型。

只是在數(shù)百萬(wàn)級(jí)鏈路中看了一眼，危險(xiǎn)便已納入AI 網(wǎng)眼

實(shí)戰(zhàn)作用

該計(jì)劃已用于2021 雙11 大促網(wǎng)絡(luò)容量危險(xiǎn)排查實(shí)戰(zhàn)中，一位項(xiàng)目成員說(shuō)：“這么大的體量，我不知道怎么用規(guī)矩來(lái)檢驗(yàn)機(jī)器自動(dòng)辨認(rèn)出來(lái)的準(zhǔn)確率，但多次隨機(jī)抽樣辨認(rèn)作用的確準(zhǔn)確度十分高”。

作用一：危險(xiǎn)排查：辨認(rèn)并解決了近百個(gè)未被重視到的事務(wù)網(wǎng)絡(luò)實(shí)例容量危險(xiǎn)危險(xiǎn)。

作用二：人工成見(jiàn)之糾錯(cuò)：算法辨認(rèn)出之前未被人工規(guī)矩重視的一些使用體系，這些使用體系屬于‘沉默的大多數(shù)’，看流量圖趨勢(shì)又的確參與了0點(diǎn)大促流量組成；這些未被重視到的使用體系，是否會(huì)成為未來(lái)異常流量中‘灰犀牛'，值得進(jìn)一步重視。

04

未來(lái)

在《十四五規(guī)劃和二〇三五前景目標(biāo)建議》中，人工智能被放在了第一位。正如技能創(chuàng)造新商業(yè)，阿里云基礎(chǔ)設(shè)施網(wǎng)絡(luò)運(yùn)營(yíng)團(tuán)隊(duì)也在活躍推動(dòng)內(nèi)部自動(dòng)化向智能化技能方向演進(jìn)，在部分危險(xiǎn)預(yù)警場(chǎng)景上，結(jié)合前史沉積的海量運(yùn)營(yíng)數(shù)據(jù)，對(duì)故障數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)和深度數(shù)據(jù)挖掘。創(chuàng)新性的設(shè)計(jì)并引入部分AI算法模型用于危險(xiǎn)預(yù)警?，F(xiàn)在僅僅是萬(wàn)里長(zhǎng)征第一步，希望此文能給業(yè)內(nèi)同行在計(jì)劃上帶來(lái)一些新的視角輸入。

風(fēng)正潮平，自當(dāng)揚(yáng)帆破浪；負(fù)重致遠(yuǎn)，更需策馬揚(yáng)鞭！