最近流行的 AI 聊天機械人雖然方便,不過其實背後需要大量的運算才可以運作,AI 運算晶片因此也變得相當搶手。AI 晶片初創 Groq 最近就開放免費試用,展示其 LPU 晶片的實力,結果相當不錯,更因此在社交媒體上成為熱話。
Groq 的晶片並非傳統的 GPU,而是專門為大型語言模型運算而設的 LPU(Language Processing Unit),可以在低耗電的同時帶來高效率。其每秒處理速度可達 500 個 Token,比現時 OpenAI 的 GPT-3.5 每秒 40 個 Token 快得多。而 Groq 本身並沒有訓練新模型,而是一個「模型啟動器」,在 Groq 晶片推動下運作開源模型 Mixtral 8x7B-32k 和 Llama 270B-4k。
The first public demo using Groq: a lightning-fast AI Answers Engine.
It writes factual, cited answers with hundreds of words in less than a second.
More than 3/4 of the time is spent searching, not generating!
The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
— Matt Shumer (@mattshumer_) February 19, 2024
撇開模型的準確度不提,Groq 工具所提供的速度與目前使用 GPU 的工具相比可以快 10 倍以上,加上無需龐大的能源推動,在這方面自然相當有效率。據 Groq 表示,其晶片家教可以連接多個張量流處理器(TSP)而不出現記憶體樽頸,因此可以簡單擴充彈性適應不同的需要。不少網民認為 Groq 的 LPU 可以挑戰目前 Nvidia AI 晶片的地位,不過目前 LPU 的應用只限語言模型的推理運作,用於訓練的話仍然需要 GPU,而且如果要大規模配置,成本可能比 GPU 還要高,因此要實際大量應用仍然有待技術和成本改善。
相關文章:
WhatsApp 直接加入 Copilot 教學 輕鬆與 Microsoft AI 助理對話 【教學】Midjourney 網頁版免費試玩 無須再連 Discord + 生成圖片全部有紀錄 荷蘭最大出版商 試驗 AI 翻譯小說被狠批