/朝聞通/當你向一個AI大模型提出一個問題,模型開始回答生成答案時,都會消耗若幹數量的Token:作為大模型處理信息的基本單位,每一個Token的誕生,都不是某一項技術的功勞,而是經曆了一條漫長的工程鍊路——從GPU芯片的計算指令,到操作系統的進程調度,到AI框架的算子編譯,到推理引擎的顯存管理,再到雲原生集群的資源編排,最後生成用戶收到的提問回答。
7月17日至20日世界人工智能大會期間,沐曦股份将這條看不見的“Token生産鍊”搬到線下。在公司展台特設的“開源工坊”展區,十大開源社區集體亮相——從芯片算力到OS操作系統、從AI框架到推理引擎、從雲原生調度到産業聯盟——沐曦股份以完整的“生産鍊”方式,全景呈現Token背後的開源協作。
每一個Token背後,都是一次開源協作
沐曦股份“開源工坊”展區的主題為“每一個Token背後,都是一次開源協作”,現場通過聚集十大開源社區,展出了一條完整的Token生産鍊條:
算力層,沐曦股份通過自研GPU與配套軟件棧MXMACA,提供了堅實的算力底座。
系統層,龍蜥社區以“AI ×OS × 雲”深度融合為主線,打造面向AI原生的下一代Agentic操作系統底座。它是Token從GPU走向應用的第一道系統級橋梁。
訓練框架層, PyTorch 基金會攜手開源社區破局、全力全速領跑下一代智能創新。
推理層,作為當前最具影響力的兩大開源推理引擎,vLLM以PagedAttention技術将KV Cache碎片率降至接近零。SGLang則以RadixAttention大幅降低多輪對話的計算成本。
調度與基礎設施層,CNCF驅動着雲原生開源基礎設施的演進;密瓜智能則主導發起并持續推動CNCF項目HAMi,緻力于讓異構算力更易用、更高效、更可治理;Red Hat堅持100%開源理念,讓AI工作負載在任何雲、任何芯片上自由部署。
生态與産業化層,九源聯合體聚焦國産智能計算系統建設與軟件生态統一;木蘭開源社區作為國家級開源社區,為項目孵化與開源治理提供公共服務;模力方舟彙聚最新AI模型,提供從體驗到部署的全流程服務。
十個節點,串成一條完整的AI Infra鍊路。每一個環節的缺失,Token就無法抵達用戶。
“每一層都有人卷,每個參與方都能共赢”
“開源,讓每一層都有人卷,每個參與方都能共赢。”
每一個Token是否被充分利用,最終體現在每一次生成答案的質量上。模型精度、推理延遲、顯存效率、集群吞吐,AI Infra鍊路上的許多指标都會影響Token的生産效率,進而決定Token的成本。
這樣的複雜度也決定了沒有任何一家公司能同時把GPU硬件、操作系統、AI框架、推理引擎、雲原生調度全部做到極緻。開源讓每一家公司在自己最擅長的一層深耕,并通過開放協議将優化成果共享給生态中的所有參與者。
沐曦股份通過“開源朋友圈”聚齊十大開源社區,共同探索,相互驗證,形成了一條打通GPU、操作系統、推理引擎、集群調度的全棧鍊路,開源協同也已超越“單點創新”、進入到“全鍊協同”的全新階段。
共建人工智能時代的“Android”
如果說Token生産背後是一條開源協同鍊條共同參與,真正決定這條鍊路價值的,是它能否被開發者穩定、高效、低成本地用起來。而在整條Token生産鍊中,沐曦股份最核心的落點,正是它所處的算力層與軟件棧——這也是決定國産算力從“可用”走向“通用易用、穩定可靠”的關鍵一環。
沐曦股份以“自主創新+開放兼容”雙軌并行理念為起點,自研MXMACA軟件棧。提供了一套完整、高效的全棧軟件工具鍊,涵蓋應用開發、功能調試和性能調優等核心環節。同時,軟件棧另一項突出優勢在于原生兼容國際主流GPU生态,能夠幫助用戶無需過多修改代碼、即可實現極低成本生态遷移。
2025年2月14日, MXMACA軟件棧正式開源。目前MXMACA軟件棧注冊開發者用戶已超50萬人。
同時,MXMACA已兼容适配40多種AI框架,覆蓋訓練、推理、科學計算全場景,并支持500+AI模型、4500+開源項目運行,覆蓋95%以上的主流AI場景,并實現了對PyTorch 2.8 2410個算子全量覆蓋。
按照沐曦股份的構想,公司将圍繞MXMACA軟件棧,努力打造一個開放、自主、全棧兼容的智能計算生态,目标是建設成人工智能時代的“Android”。
從一顆芯片,到一條鍊路,再到一個生态,沐曦股份想做的,從來不隻是把Token生産出來,而是讓每一個Token都被更好地用起來。在開源這條路上,國産算力的答案已經清晰——真正的護城河不是某一層的極緻,而是整個生态的共榮。