朝聞通: 全球領先的新聞稿發佈, 傳播和監測服務提供者
搜尋
聚力開源,共話推理生态|昇騰 × SGLang Meetup 圓滿舉辦

聚力開源,共話推理生态|昇騰 × SGLang Meetup 圓滿舉辦

2026-11-19 15:09

  2026年11月14日,由昇騰聯合 SGLang 開源社區共同舉辦的昇騰開源軟件極客營 Meetup·上海 SGLang 專場在上海粵海萬怡酒店順利舉行。本次活動彙聚了 SGLang 開源社區核心貢獻者、産業合作夥伴及廣大開發者,圍繞 SGLang 最新技術演進、昇騰AI基礎軟硬件平台适配與性能優化、産業實踐及生态協同等方向展開深入交流。

  聚焦實踐:主流模型昇騰硬件部署與調優

  大模型推理技術的發展,不僅需要框架能力的持續創新,也離不開硬件平台适配、性能優化及工程實踐的長期積累。本次 Meetup 上午設置了實操環節,圍繞業界主流模型Qwen3.8-27B、DeepSeek-V4-Flash(W8A8)、GLM-5.2(W4A8)在昇騰上的部署、推理測試及性能調優展開。

  現場按不同任務設置主題桌次,采取賽制并限制通關名額,先通過先拿獎。允許組隊通關,同時配備昇騰技術專家現場指導。實操過程中,開發者不僅直觀了解到 SGLang 在昇騰上的适配運行情況,還圍繞過程中遇到的技術問題展開充分的交流與讨論。有限時間内,活動現場共計有25位學員通過實操驗收,其中最快速度通關的學員1.5小時就完成現場驗收并提交總結PR,并有1位學員完成了2次現場驗收并提交總結PR。

  聚焦技術:五大專題分享,深入探讨 SGLang 與昇騰協同演進

  下午專題分享環節,來自開源社區、昇騰技術團隊和産業合作夥伴的講師,分别從框架架構、技術規劃、核心優化及實際部署等角度帶來分享,既呈現了 SGLang 與昇騰生态協同發展的技術探索,也為社區開發者和産業夥伴提供了現場交流、共同學習的機會。

  SGLang 最新架構和 Roadmap:洞察開源推理框架的技術演進

  來自 SGLang 開源社區的核心開發者張曉雨帶來《SGLang 最新架構和 Roadmap》主題分享,整體介紹了 SGLang 推理引擎社區運作現狀,并以“一個請求落到硬件”的過程逐層拆解了架構設計,最後圍繞 SGLang Q4 Roadmap 展開介紹。

  張曉雨 《SGLang 最新架構和 Roadmap》

  昇騰 SGLang 關鍵競争力規劃:持續推進軟硬件協同優化

  華為昇騰技術專家周逸文帶來《昇騰 SGLang 關鍵競争力規劃》主題分享。結合昇騰AI基礎軟硬件平台的技術特點和大模型推理發展需求,從昇騰超節點代際演進、統一總線編程模型以及對外提供語義一緻接口的SGL-Kernel-NPU三個方面介紹了昇騰 SGLang 在核心能力建設、性能優化、功能适配及生态發展等方面的規劃與思考,闡述了通過軟硬件協同優化、開源社區協作和持續技術疊代,提升 SGLang 在昇騰上的綜合競争力的相關方向。

  周逸文 《昇騰 SGLang 關鍵競争力規劃》

  昇騰 SGLang + Mooncake KV Cache 社區發布:探索推理性能提升新空間

  第三場分享由華為昇騰技術專家張景芳圍繞《昇騰 SGLang + Mooncake KV Cache社區發布》話題展開。議題深入介紹了基于昇騰超節點場景打造的内存池化軟件MemFabric的三大關鍵能力,百TB級到PB級内存邏輯統一編址、簡單的xcopy北向接口以及南向靈活的擴展能力,使用超節點就像使用單節點進行統一内存訪問,并介紹了如何深度結合MoonCake,在GLM 5.2/5.3 1M長序列場景取得吞吐1.x倍收益、Prefix Cache取得帶寬利用率提升1倍、多實例Engram共享取得顯存節省等不同場景的優化案例。

  張景芳 《昇騰 SGLang + Mooncake KV Cache 社區發布》

  SGLang 在 Atlas 800T A2 優化實踐:從長程任務需求到軟硬協同落地

  産業實踐分享環節,中國電信人工智能公司PaaS平台技術總監李立彪帶來《SGLang 在 Atlas 800T A2 上的優化實踐》分享。議題分享闡述了項目面臨的三大現實約束,即長程任務爆發、大量A2設備從訓練轉戰推理、生産主流方案在超長上下文難以兼顧高并發與低TTFT,研發團隊據此分析确定了統一至SGLang+Mooncake Cache的破局方案。李立彪介紹了團隊由内到外的實踐路徑,從适配做起,保證内核以較理想效率運行,然後針對性疊加引擎優化特性、挖掘高階能力用于發掘Atlas 800T A2 機器的潛力,最後給出了經初步适配優化後單機并發能力提升兩倍、TTFT降低近16%的數據,印證了此方案的優勢所在。

  李立彪 《SGLang 在 Atlas 800T A2 優化實踐》

  Dots NPU 推理部署實踐:推動技術能力走向真實業務場景

  最後,小紅書的Dots Infra NPU 負責人星海帶來《Dots NPU 推理部署實踐》分享,議題圍繞Note結構設計、推理框架設計、量化、KV Cache系統等不同方面的實踐方案展開,并結合數據,展示了Dots團隊在 NPU 推理部署實際業務場景中的探索與實踐經驗,末尾還展示了以 Cost Model 驅動聯合調度的後續方案展望。

  星海 《Dots NPU 推理部署實踐》

  聚力生态:以開源協作推動技術創新與産業落地

  開源生态的持續發展,離不開社區貢獻者、硬件平台、産業夥伴及廣大開發者的共同參與。本次 Meetup 不僅是一次技術交流活動,也是一次面向開源推理生态的協同實踐。

  通過上午動手實操與下午專題分享,參會者得以從技術原理、工程實踐和産業應用等不同維度,深入了解 SGLang 在昇騰AI基礎軟硬件平台上的技術進展與應用探索。

  未來,昇騰将繼續攜手 SGLang 開源社區及産業合作夥伴,堅持開放協作的理念,持續推進 SGLang 與昇騰的技術适配和深度優化,積極參與開源社區建設,推動更多技術成果轉化為可落地、可複用的工程實踐。

  期待與更多開發者和生态夥伴攜手,共同探索大模型推理技術的創新方向,構建更加開放、繁榮的開源推理生态!

  昇騰

  搜索【昇騰社區官網】,導航欄選擇【活動>任務廣場】,任務分類選中【業界開源社區】即可參與社區任務報名,完成驗收後百萬獎金等你拿。

消息來源: 朝聞通新聞稿發布平臺
相關關鍵詞: