朝聞通,2023年11月23日深圳——11月22日,AI與數字經濟領域一年一度的科創盛會,2023 IDEA大會在深圳舉行。IDEA研究院創院理事長、美國國家工程院外籍院士沈向洋在會上發表主旨演講,發布IDEA研究院的重磅研産結晶與市場化成果;在大咖雲集的論壇環節,多位領軍科學家、企業家、創業者同台論道,碰撞“學研産投”靈感。
2023年,AI技術給人類生活所帶來的撼動已無需贅言。一個個看似散點狀的技術突破相繼爆發,将人工智能推向主流。回顧曆史,技術變革無疑都伴随着産業重塑與經濟發展。然而,AI在以前所未有的力度沖入市場的同時,在研究上仍存在大量空白。
此次IDEA大會上,沈向洋從技術創新、技術創業、技術驅動新産業三個角度,介紹了IDEA研究院在AI新篇章下,對科創的實踐與思考。
技術創新:見其所見,思所未思
談及技術創新,沈向洋認為,“在大家都看到的問題裡,找到大家都找不到的方法”是創新者的必備品質。本次大會上,IDEA研究院就發布了幾項獨具技術品味的研究成果。
視覺提示模型T-Rex
用圖片代替語言prompt,是什麼體驗?
在計算機視覺領域,檢測類任務有着極為廣泛的應用場景。今年4月,IDEA研究院曾推出能夠“一句話檢測、分割一切”的Grounded SAM,通過文字提示實現精準的目标檢測,極大降低了技術使用與落地門檻,在Github上火爆出圈。
此次,同個研究團隊帶來新作,視覺提示(visual prompt)模型T-Rex。團隊表示,在真實應用場景中,許多罕見、複雜物體難以用文字充分描述,視覺提示的加入能夠有效解決這一痛點。直觀的視覺反饋與強交互性,也有助于提升檢測的效率和精準度。
值得一提的是,T-Rex是一個開箱即用的模型,無需重新訓練或微調,即可檢測模型在訓練階段從未見過的物體。活動中,沈向洋還發布了T-Rex的模型實驗室(playground),Interactive Visual Prompt(iVP),用戶可親自試玩解鎖“一圖勝千言”的prompting新體驗。
沈向洋在演講中指出,計算機視覺領域在呼喚通用大模型的來臨。以GPT-4V為代表的多模态大模型,是在語言能力上增加視覺能力;IDEA研究院的計算機視覺團隊則選擇了另一條路徑,先将基礎的視覺能力做到極緻,再增加語言能力。
“我們認為,物體級别的理解(object-level understanding),也就是檢測、分割、識别,是連接語言和視覺這兩種最重要的模态的基石。”沈向洋表示,隻有對物理世界有了更為精準的、物體級别的視覺理解,才有可能做出真正的多模态智能。IDEA團隊将通過讓模型言之有據(grounded)、開放詞表(open-set)、可提示交互(promptable),來探索視覺大模型之路。
Think-on-Graph知識驅動大模型
大模型雖好,但“一本正經的胡說八道”怎麼解?
衆所周之,大模型存在深度推理能力差、知識不可追溯、實時更新代價高等局限性,這也成為其在許多嚴肅領域落地的主要瓶頸。如何彌補大模型的這部分缺陷,是當下AI應用的重要課題。
為此,IDEA研究院團隊研發了Think-on-Graph(思維圖譜)技術,讓大模型和知識圖譜強強聯合。總體來說,大模型更擅長意圖理解和自主學習;而知識圖譜因其結構化的知識存儲方式,擅長邏輯鍊條推理,具有更佳的可解釋性與可實時更新性。
Think-on-Graph通過實現兩者的緊耦合交互,驅動大模型agent在知識圖譜上“思考”,逐步搜索推理出最優答案(在知識圖譜的關聯實體上一步一步搜索推理)。每一步推理中,大模型都親自參與,與知識圖譜相互取長補短。
在大會現場,研究團隊也通過多個實例與産業化場景演示,展示了Think-on-Graph應對複雜提問時優異的深度推理能力。
懂語言者得天下
除了在人工智能方向上一往無前,IDEA研究院還十分重視計算機科學領域中其他分支的創新。沈向洋在會上重點介紹了兩個語言類項目。
今年8月,一個中國團隊開發的編程語言在Hacker News(由Y Combinator創辦的知名科創社區)登上頭版頭條,這正是由IDEA研究院推出的MoonBit月兔。
MoonBit是由Wasm驅動,專為雲計算與邊緣計算設計的開發者平台,同時利用AI大模型賦能傳統工具鍊,提升代碼生成效率。MoonBit不僅提供通用程序語言設計,還垂直整合了編譯器、構建系統、集成開發環境(IDE)、部署工具等版塊,提升開發體驗與效率。
IDEA研究院展示的另一門新語言,是區塊鍊并行智能合約語言GCL。該語言的研究團隊已連續兩年獲批國家重點研發計劃項目。
GCL旨在打造區塊鍊系統上的最優解決方案。不同于傳統的“數據跟着代碼跑”的方案,GCL設計了“代碼執行跟着數據跑”的編程模型,以減少因數據傳遞造成的麻煩。分布式編程模型能夠實現複雜的區塊鍊應用邏輯,并高效适配底層的多鍊系統。
技術創業:自由碰撞,嚴謹産出
近年來,技術創業已然成為許多技術創新者的下一站。在演講中,沈向洋用Transformer架構開山之作《Attention is All You Need》舉例,這篇論文的八名作者如今全部在創業。“很多我的前同事也找到我說,‘Harry,我想創業’。”他打趣道。
沈向洋指出,IDEA研究院一直緻力于創造一個架構,讓科學家頭腦、企業家素質、創業者精神能夠自由碰撞,嚴謹産出。成立剛滿三年,IDEA研究院也帶來一批已經或正在走向大市場的優秀創業項目。
這些項目中,既有主打AI for Scientists的AI科研産品ReadPaper,也有為數據要素可信流通提供硬件級安全保障的SPU機密計算協處理器、SPU-G異構AI協處理器,還有基于自研知識圖譜與生物醫學領域大模型的腦卒中智能防護産品StroCare。
其中,AI科研助手ReadPaper上線一年,收獲了不少科研從業者的喜愛。在大會上,團隊公開了全新升級的ReadPaper 2.0版本,并現場演示閱讀copilot、潤色copilot等新功能。值得一提的是,支撐ReadPaper 2.0超強體驗的學術大模型Eureka也在現場首次公開。
除了讓跨學科、跨界人才在IDEA的平台上碰撞出火花,IDEA也積極與産業夥伴合作,将技術應用到場景,深入到業務中去。
今年,萬科IDEA聯合實驗室推出了自主研發的幾何建模與約束引擎,填補在工業設計軟件領域的國産空白。自2021年宣布成立以來,該實驗室已在深圳、上海建設起一支集合圖像學、幾何計算、視覺技術、機器學習等領域頂尖人才的研究隊伍。
此外,IDEA研究院還通過CTO Labs平台與一批瞪羚企業聯合創新,合作夥伴包括數說故事、晶泰科技、翼方健數等。本次IDEA大會上,IDEA視見睿來實驗室發布了HiveNet可控人像視頻生成平台,實現AI技術方案對傳統視頻拍攝流程(編、導、拍、演、剪)的全面替代。
技術驅動新産業:勇闖無人區,低空經濟再進一步
2022年的IDEA大會上,沈向洋發布《低空經濟發展白皮書——深圳方案》,吹響IDEA勇闖低空無人區的号角。
過去一年,低空經濟在全國發展迅猛,IDEA研究院也再進一步,在其智能融合低空系統(Smart Integrated Lower Airspace System,SILAS)中,提出時空進程(Temporal Spatial Process)新概念。
與此同時,《低空經濟發展白皮書(2.0)——全數字化方案》也在活動上發布。
11月23日,由IDEA研究院聯合承辦的第五屆世界科技與發展論壇——世界低空經濟論壇将在深圳舉行。屆時,IDEA研究院将深度分享“異構、高密度、高頻次、高複雜度”低空飛行安全和效率問題的解決思路,以及低空空域實現從“可通達”到“可計算”再到“可運營”轉變的數字化路徑。
“技術創新從來就不是一蹴而就的。”沈向洋說,人類曆史就是一部勇闖無人區的曆史,當我們回顧那些偉大的創新,今天看來有多震撼,起步時就有多困難。因此,做科研既要有耐心,也要對趨勢有足夠深刻的思考,還要建立讓創新能夠開枝散葉、生生不息的機制。演講的最後,沈向洋呼籲,生逢大時代,IDEA研究院願與各界同仁一道,創新智能技術,創造偉大企業,推動數字經濟。