財經
2024-05-07 08:15:00

商湯端側大模型 邁向商業化

分享:
商湯端側大模型 邁向商業化

商湯主席徐立表示,今年是端側大模型爆發的一年。(資料圖片)

日日新 5.0」版本發布會上,我們聽到商湯(020)主席徐立表示,「今年是端側大模型爆發的一年」。商湯在運算力大幅提升下,投放在「雲、邊、端」全棧大模型中,產生了「雲端模型」及「端邊模型」

雲端模型,主要是指經過電信商的網絡,來進行雲上,與端機上的接觸。由於商湯千億大模型SenseChat(商量)已升級到5.0,達到6,000億參數,支持混合專家架構MoE大幅提升創意寫作能力、推理能力以及總結能力等,在端機輸入相同的中文知識注入後,可獲得更好的理解總結及問答,達到業內領先水平。

adblk6

而隨著大模型技術的快速發展,不同應用場景的需求日益顯現,AI 大模型在智能手機、電腦、VR 眼鏡等終端設備領域的應用也成爲一大趨勢,因此公司推出1.8B(18億)參數規模的SenseChat-Lite版本端側模型,是為端邊模型。而商量端側模型 SenseChat-Lite 亦成爲了此次發布的亮點。

事實上,自去年以來,端側大模型一直是消費電子行業和人工智能行業共同關注的熱點。端側大模型,是運行在設備端的大模型,通常比我們熟悉的GPT等大模型參數量更小,因此可以使用端側算力直接運行。端側大模型優勢是有著在任何網絡條件下都可以生成回答,如工作文件也可以直接用手機大模型進行處理,保存最高的私隱權,且無需雲端算力因此成本更低等種種優勢。

端側模型市場潛力巨大,每年有數十億部手機及電腦出貨量,商湯手握智能設備市場在過往的良好合作經驗,在端側未來的廣大市場,大有可爲,商業化變現能力將大為提升,為未來1年內達成收支平衡帶來基礎,大家應繼續留意此股。