深信服信創(chuàng)超融合實(shí)現(xiàn)在海光CPU架構(gòu)下 IOPS 性能提升20%

    信創(chuàng)升級(jí)面臨性能短板

    信創(chuàng)升級(jí)浪潮正席卷各行業(yè)，信創(chuàng)虛擬化、超融合及云平臺(tái)被廣泛應(yīng)用于承載核心業(yè)務(wù)。這些核心業(yè)務(wù)對(duì)云平臺(tái)的性能和穩(wěn)定性要求極高。然而，簡(jiǎn)單的信創(chuàng)升級(jí)常伴隨著性能下滑和穩(wěn)定性欠佳等問(wèn)題，極大地影響了改造效果。

    以金融行業(yè)高頻訂單處理系統(tǒng)，工業(yè)自動(dòng)化控制系統(tǒng)，醫(yī)療行業(yè)HIS系統(tǒng)與PACS系統(tǒng)，以及智能交通管理系統(tǒng)為例，這些對(duì)搶占調(diào)度要求高的業(yè)務(wù)系統(tǒng)，對(duì)云平臺(tái)的計(jì)算能力、存儲(chǔ)性能和數(shù)據(jù)處理速度的要求不斷攀升。

    在主流服務(wù)器采用的NUMA CPU 架構(gòu)下，系統(tǒng)包含多個(gè)NUMA節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)又有多個(gè)CCX（Core Complex的縮寫，即緩存一致性復(fù)合體）。該架構(gòu)下，如何優(yōu)化CPU調(diào)度，提升虛擬機(jī)性能，成為信創(chuàng)高質(zhì)量升級(jí)的關(guān)鍵課題。

    本文將以海光CPU架構(gòu)為切入點(diǎn)，深入剖析 CCX 對(duì)虛擬機(jī)性能提升的影響機(jī)制，并提出切實(shí)可行的性能提升方案。

    海光CPU架構(gòu)關(guān)鍵技術(shù)解析

    1.NUMA架構(gòu)特性：多處理器系統(tǒng)基石

    隨著處理器技術(shù)逐漸逼近物理極限，多處理器集成技術(shù)應(yīng)運(yùn)而生，NUMA 架構(gòu)憑借獨(dú)特的設(shè)計(jì)理念，為提升系統(tǒng)性能開辟了新的方向。

    NUMA（Non-Uniform Memory Access，非統(tǒng)一內(nèi)存訪問(wèn)）作為一種多處理器系統(tǒng)架構(gòu)，將內(nèi)存和處理器劃分為多個(gè)獨(dú)立節(jié)點(diǎn)。當(dāng)進(jìn)程訪問(wèn)本地NUMA內(nèi)存時(shí)，時(shí)延低；而經(jīng)QPI總線訪問(wèn)遠(yuǎn)端內(nèi)存時(shí)，時(shí)延顯著增加。這一特性使得進(jìn)程優(yōu)先在本地節(jié)點(diǎn)分配內(nèi)存，便于通過(guò)增加節(jié)點(diǎn)擴(kuò)展內(nèi)存和處理能力。這種架構(gòu)適用于數(shù)據(jù)中心、高性能計(jì)算集群等大規(guī)模多處理器系統(tǒng)。

NUMA架構(gòu)

    2.CCX模塊：協(xié)同計(jì)算的核心單元

    CCX作為系統(tǒng)進(jìn)行任務(wù)分配和處理的基本單元之一，源自AMD 在 Zen 架構(gòu)，海光 C86 系列CPU延續(xù)了這一設(shè)計(jì)。每個(gè)CCX整合多個(gè)處理器核心，同一 CCX 內(nèi)核心共享 L3 緩存，可減少約 15～20ns的跨核心數(shù)據(jù)訪問(wèn)延遲。通常一個(gè)NUMA包含2個(gè)CCX，每個(gè)CCX 集成 4 個(gè) CPU 核心，這種模塊化設(shè)計(jì)可靈活擴(kuò)展核心數(shù)，從16 核到 64 核，滿足不同場(chǎng)景需求。

CCX模塊

    3.跨CCX運(yùn)行：降低了存儲(chǔ)性能

    線程是 CPU 調(diào)度的基本單位，其執(zhí)行效率與緩存訪問(wèn)特性密切相關(guān)。同一 CCX 內(nèi)，線程能夠借助本地L3緩存，實(shí)現(xiàn)高效的數(shù)據(jù)交互。

    然而在實(shí)際運(yùn)行中，Linux內(nèi)核會(huì)根據(jù) CCX 負(fù)載和內(nèi)存訪問(wèn)模式，動(dòng)態(tài)調(diào)整線程在不同 CCX 間的分配。這雖提升了系統(tǒng)級(jí)資源利用率，但可能導(dǎo)致存儲(chǔ)虛擬化工作線程分散到不同CCX（如圖①-②所示），造成跨CCX緩存失效和遠(yuǎn)端訪存，最終降低了存儲(chǔ)性能。

跨CCX模塊運(yùn)行

    那么，如何破解這一難題，成為提升系統(tǒng)性能的關(guān)鍵。

    深信服CCX軟親和調(diào)度，解鎖性能新高度

    面對(duì)CCX調(diào)度難題，深信服信創(chuàng)超融合推出軟親和調(diào)度機(jī)制，實(shí)時(shí)監(jiān)測(cè)業(yè)務(wù)負(fù)載變化，實(shí)現(xiàn)CPU資源的動(dòng)態(tài)分配：

    1.低負(fù)載場(chǎng)景：當(dāng)CPU負(fù)載較低時(shí)，優(yōu)先使用軟親和范圍內(nèi)的CPU，充分發(fā)揮資源訪問(wèn)的局部性優(yōu)勢(shì)，降低調(diào)度開銷；

    2.高負(fù)載場(chǎng)景：當(dāng)CPU負(fù)載較高時(shí)，則會(huì)突破軟親和范圍的限制，增加CPU資源供給，保證業(yè)務(wù)服務(wù)質(zhì)量不受影響。

    在C86場(chǎng)景下，深信服基于軟親和調(diào)度機(jī)制，頻繁交互的存儲(chǔ)服務(wù)線程進(jìn)行CCX調(diào)度精細(xì)化編排：

    1.CCX 利用率低時(shí)，聚合線程降時(shí)延：當(dāng)CCX范圍內(nèi)CPU利用率低于特定閾值，將存儲(chǔ)線程聚合在CCX內(nèi)（如圖③所示），降低通信時(shí)延，提升IO性能；

    2.CCX 利用率高時(shí)，分散線程保吞吐：當(dāng)CCX范圍內(nèi)CPU利用率高于特定閾值，允許存儲(chǔ)線程在更大CPU范圍內(nèi)運(yùn)行，避免資源爭(zhēng)搶，減少通信延遲，保障系統(tǒng)吞吐。

深信服軟親和調(diào)度機(jī)制

    這一優(yōu)化策略，顯著提升了小塊性能，IOPS提高約20%，為用戶帶來(lái)了更高效的使用體驗(yàn)。