┊文章閱讀:次
剛剛獲悉,騰訊5篇網(wǎng)絡領域技術論文入選計算機網(wǎng)絡通信和系統(tǒng)領域國際頂尖會議SIGCOMM/NSDI 2024主會,涉及高性能數(shù)據(jù)中心網(wǎng)絡、數(shù)據(jù)中心互聯(lián)網(wǎng)絡(DCI)、無線接入網(wǎng)等多個領域,受到國際行業(yè)專家的高度認可。
據(jù)悉,ACM SIGCOMM和USENIX NSDI并列為計算機網(wǎng)絡領域最頂尖、含金量最高的旗艦型會議,號稱為計算機網(wǎng)絡領域的Science和Nature,對論文的質量和數(shù)量要求極高,需具有基礎性貢獻、領導性影響和堅實系統(tǒng)背景,且對互聯(lián)網(wǎng)發(fā)展具有重要影響力,2024年錄取率均不到19。
在數(shù)字化浪潮的推動下,全球數(shù)據(jù)量呈爆炸式增長,網(wǎng)絡應用也日益復雜,不僅對網(wǎng)絡速度和性能提出了更高要求,網(wǎng)絡處理開銷也顯著攀升。在此背景下,騰訊創(chuàng)新推出了性能通信框架Turbo、DCI智連網(wǎng)MegaTE、擁塞控制算法Pudica、無線網(wǎng)絡多路徑方案AUGUR、可靠傳輸技術Hairpin 5項技術,解決了目前網(wǎng)絡領域面臨的多項難題,為廣大企業(yè)及用戶提供了高效、低成本的方案。
騰訊的高性能網(wǎng)絡通信框架Turbo正是在高帶寬、低延時網(wǎng)絡需求激增的背景下應運而生,它專為Spark大規(guī)模部署RDMA網(wǎng)絡設計,Turbo系統(tǒng)通過結合隨機化傳輸信息和DCT技術,從數(shù)據(jù)塊層面解決了ECMP哈希不均勻問題。而為了解決DCT技術帶來的動態(tài)建鏈延遲問題,Turbo構建了推測傳輸機制,有效地避免了延時增加和建鏈失敗。
同時,Turbo還設計了二級非阻塞執(zhí)行模型,實現(xiàn)了通信和計算進程的分離,并提供了RDMA故障逃生的系統(tǒng)容錯方案。其包含的網(wǎng)絡負載均衡,擁塞算法計算和通信進程協(xié)同優(yōu)化等方面,有效提升了AI、分布式計算、存儲、數(shù)據(jù)庫等核心業(yè)務的數(shù)據(jù)處理速度和效率。目前,Turbo已在騰訊大數(shù)據(jù)平臺完成大規(guī)模部署,大幅提升數(shù)據(jù)處理速度和效率,助力用戶作業(yè)完成時間縮短超20,完成率提高2.5倍以上。
在云原生技術的驅動下,業(yè)務虛擬化分布式部署實現(xiàn)了資源的高效利用,不同業(yè)務對網(wǎng)絡需求的差異性給傳統(tǒng)網(wǎng)絡調度方式帶來了極大挑戰(zhàn)。對此,騰訊創(chuàng)新打造了支持百萬量級節(jié)點的DCI智連網(wǎng),在網(wǎng)絡系統(tǒng)架構、IP承載協(xié)議、業(yè)務識別與調度等方面均取得技術突破,實現(xiàn)了業(yè)務級的流量差異化調度。通過服務器側的BD軟件系統(tǒng)和EA可編程交換機,DCI智連網(wǎng)能夠精準匹配和分類業(yè)務流,并構建端網(wǎng)協(xié)同的調度系統(tǒng)。針對百萬節(jié)點流量工程問題,騰訊的MegaTE算法結合網(wǎng)絡的分層結構、拓撲壓縮和快速SSP技術,確保了求解的高效性、實時性和準確性。目前,DCI智連網(wǎng)已穩(wěn)定高效地支持騰訊多類業(yè)務平臺。
云游戲對延遲和碼率要求極高,需要擁塞控制算法具備高鏈路利用率、避免排隊和快速響應鏈路惡化等能力。騰訊云的端到端擁塞控制算法Pudica,是業(yè)內首次同時實現(xiàn)“零排隊”和高帶寬利用率的低延遲傳輸方案。它通過避免幀級別的排隊、自適應pace技術實現(xiàn)高準確性的BUR估計,并結合歷史數(shù)據(jù)設計多種碼率控制策略,實現(xiàn)數(shù)據(jù)包延遲最小化,提高網(wǎng)絡帶寬利用率和公平性。Pudica已大規(guī)模部署,為上千萬玩家提供高質量服務。與業(yè)界最先進的方法相比,Pudica顯著降低了卡頓率和幀延遲。
此外,為解決移動端用戶在Wi-Fi下云游戲的延遲問題,騰訊研發(fā)了多路徑傳輸框架AUGUR。該框架具備多鏈路、多連接和多協(xié)議組合的網(wǎng)絡傳輸能力,利用蜂窩網(wǎng)絡作為備份路徑,智能調整視頻幀傳輸,確保延遲維持在時延Deadline之內。同時,通過構建用戶會話模型和用戶特征量化優(yōu)化傳輸,在保持用戶的蜂窩網(wǎng)流量消耗的前提下,降低用戶的尾部延遲。AUGUR技術成功做到減少66的尾部延遲、降低99.5的卡頓率,以及減少88.1的蜂窩數(shù)據(jù)使用量。
值得一提的是,針對傳統(tǒng)丟包處理方案效果不佳、成本高和延遲難以滿足等難題,騰訊推出丟包恢復機制Hairpin,利用邊緣節(jié)點低延遲環(huán)境,對數(shù)據(jù)包、重傳和冗余包進行多輪傳輸優(yōu)化。Hairpin的創(chuàng)新點在于,能夠區(qū)分初始傳輸和重傳,采用不同冗余策略,保持低帶寬成本的同時,有效控制卡頓率。同時,Hairpin通過馬爾可夫決策過程優(yōu)化傳輸時序,并通過實時監(jiān)測網(wǎng)絡狀況,動態(tài)調整FEC參數(shù)。目前,Hairpin平均能夠減少40帶寬成本和32卡頓率,且部署簡單,只需在云游戲應用的服務器和客戶端進行相應的修改,即可實現(xiàn)無縫集成。
騰訊在頂會SIGCOMM和NSDI上連續(xù)多年入選論文,是對其計算機網(wǎng)絡技術實力的充分認可。未來,騰訊將繼續(xù)深耕數(shù)據(jù)中心網(wǎng)絡、互聯(lián)網(wǎng)絡及無線接入網(wǎng)等領域,持續(xù)推動技術創(chuàng)新與突破,為全球數(shù)據(jù)傳輸、存儲和處理能力注入強勁動力,加速企業(yè)數(shù)字化轉型與業(yè)務革新。同時,騰訊也將攜手業(yè)界伙伴,共促計算機網(wǎng)絡領域的蓬勃發(fā)展。
Copyright @ 2013-2020 中國福建網(wǎng) 版權所有
聯(lián)系我們
免責聲明:本站為非營利性網(wǎng)站,部分圖片或文章來源于互聯(lián)網(wǎng)如果無意中對您的權益構成了侵犯,我們深表歉意,請您聯(lián)系,我們立即刪除。