/朝聞通/在AI趨勢下,互聯網頭部廠商廣告業務全面向生成式推薦轉型,京東始終堅持技術創新驅動業務升級,攜手華為基于新一代鲲鵬超節點開展深度聯合創新,成功打造業界領先的低時延生成式推薦廣告解決方案。其中,京東雲基于鲲鵬超節點和超節點異構融合池化OS打造全新雲平台,京東廣告基于全新底座實現業務架構突破性升級,協同完成技術攻堅與場景落地,在剛剛過去的京東618大促實戰中交出亮眼答卷,新平台平穩承接京東核心廣告業務流量,相較傳統架構,全鍊路時延優化8%,顯著釋放時延餘量,有效提升推理精度并拉動廣告轉化率穩步增長,為電商生成式推薦廣告領域樹立了全新的行業标杆。
直面時延挑戰
京東廣告攻堅生成式推薦廣告核心技術難題
當前,電商廣告賽道正經曆深刻的技術變革,傳統判别式推薦全面向生成式推薦疊代。廣告全鍊路的特征計算、模型推理與智能召排環節,對傳輸與計算時延提出了極緻嚴苛的要求。随着多模态内容的廣泛普及與用戶個性化推薦粒度的持續細化,生成式推薦廣告業務呈現出數據體量龐大、緩存規模激增、向量檢索複雜度陡增等全新特征,傳統算力架構的适配短闆日益凸顯。
目前,京東廣告已率先落地生成式召回與粗排核心能力,正向生成式召排一體化架構穩步演進。然而,傳統算力架構在業務規模化落地過程中暴露出明顯短闆,業務全鍊路時延已突破300ms的業務紅線。這一時延瓶頸不僅制約了廣告業務的增收提效,也阻礙了生成式推薦廣告架構的持續疊代升級。為此,亟需依托新一代算力底座完成全鍊路升級,以實現時延優化、精度提升與成本可控的多維業務突破。
深度聯創賦能
鲲鵬超節點構建生成式推薦廣告算力新範式
針對生成式推薦廣告對極緻低時延、高并發與大緩存的嚴苛需求,京東廣告、京東雲與華為基于鲲鵬超節點,全面重構廣告業務的算力和業務架構,徹底破解了傳統四級緩存搭配TCP通信體系帶來的固有短闆:RPC通信耗時占比超過30%,遠端Redis單次訪問推理上下文固定産生20ms時延,頻繁的緩存不命中問題,直接影響廣告曝光效果與商業轉化收益。在本次聯合創新中,京東廣告聚焦業務算法與場景優化,京東雲主打底層架構革新與算力賦能,形成軟硬件協同的完整技術解決方案。
單機算力躍升:鲲鵬通過芯片、系統、編譯三層優化,實現了單機算力性能的跨越式提升。結合召排算法創新與核心算子調優,廣告核心服務吞吐提升25%+,生成式模型推理吞吐提升40%+。在高負載場景下,商品信息服務高負載時延降低50%,單機算力在業務吞吐與時延上實現了雙重躍升。
超節點架構突破:在超節點架構層面,京東雲基于鲲鵬超節點硬件,依托openEuler、openFuyao、openYuanrong打造超節點異構融合池化OS,搭建高性能彈性調度算力底座,通過多重技術創新實現架構全面升級,完美适配廣告複雜業務場景。
大容量KVCache:突破異構融合池化内存管理的OS多級緩存直訪、分布式數據緩存等技術能力,KVCache TP99時延可降低25%;同時搭建跨節點百TB級全内存KVCache共享緩存資源池,全面替代傳統四級緩存架構,跨節點檢索TP99時延大幅降低80%。
RPC通信加速:依托靈衢URMA技術全面加速RPC通信,大幅削減容器間通信損耗,實現RPC通信TP99時延降低40%。同時通過靈衢傳輸層與事務層分離的創新設計,有效降低建鍊内存開銷,搭配鲲鵬超節點K級大規模組網能力,可穩定支撐十萬級容器大規模通信場景。依托openFuyao與京東雲平台配合,通過K8s标簽定義超節點域實現精準域内調度,并基于标準Device Plugin将URMA設備供給容器,完成高速通信能力的容器化落地。
多重技術疊加賦能,可完美适配電商大促瞬時流量爆發的極端複雜場景,實現對傳統算力架構的降維打擊。
京東618實戰淬煉
時延、精度與商業價值全面突破
在今年京東618大促高并發、高壓力的真實實戰場景中,京東雲基于鲲鵬超節點打造的全新算力底座全面賦能京東廣告業務,實現關鍵性能、鍊路時延、商業價值的多重躍升。
性能指标:在新架構下,生成式召回環節KVCache訪問時延穩定,性能優化20%;精排環節訪存時延大幅下降;8M行為序列傳輸耗時較傳統TCP架構優化20%。
鍊路優化:架構升級大幅壓縮了通信與IO損耗,業務整體鍊路時延縮短達8%,為系統釋放了充足的時延餘量。
業務增益:釋放的時延餘量可有效支撐更長用戶行為序列分析與更大參數規模的AI精排模型落地,實現“更低時延、更高推理精度”的雙向業務增益,持續優化用戶浏覽體驗與廣告推送精準度。
京東廣告産研負責人表示:“本次京東618大促實戰,充分驗證了鲲鵬超節點生成式推薦廣告方案的價值與成熟度,成功攻克了長期制約業務發展的時延瓶頸。釋放的時延餘量将反哺AI推理精度,顯著提升廣告轉化效果。經初步測算,每優化1ms時延,每年可撬動數千萬元的營收增量。本次聯創實戰成果,進一步堅定了京東深耕生成式推薦廣告賽道、持續疊代底層算力架構的技術發展路線。”
京東雲構築全域複用的算力底座
可快速賦能不同業務場景
本次為廣告業務量身打造的京東雲算力底座,具備低時延通信、超高吞吐、高可靠等核心優勢,不僅精準解決了電商生成式推薦廣告的業務痛點,更具備極強的場景通用性。基于該架構可快速适配量化交易、數據庫服務、AI Agent等對時延、穩定性、算力性能要求嚴苛的業務場景,同時支持多平台多算力,支持以太網和靈衢通信混合組網,實現技術能力的全域複用,為京東全業務線技術升級提供通用算力支撐。
三方協同共建
持續深耕技術疊代與規模化落地
本次在京東618期間成功落地的實戰案例,是京東廣告、京東雲與華為深度聯創的重要裡程碑,标志着低時延生成式推薦廣告方案正式邁入規模化、成熟化落地階段。本次合作三方創新共建研發模式,打造一體化聯合開發倉,團隊深度融合、高效協同。聯合研判行業趨勢,同步定義需求,業務和底軟适配雙流水線并行推進,設立雙重校驗門禁實現代碼按天快速疊代,創新落地軟硬件 Shift Left 協同開發模式。
下一階段,三方将繼續深化技術合作,進一步挖掘全鍊路優化空間,持續降低時延損耗,穩步提高部署規模,提升業務承載占比,依托京東雲極緻算力底座與京東廣告業務創新能力,持續領跑并實現電商生成式推薦廣告業務性能的再次飛躍。
“數智世界 一觸即達” 選擇華為,讓您的企業輕松數智化。