最近流行的 AI 聊天機械人雖然方便，不過其實背後需要大量的運算才可以運作，AI 運算晶片因此也變得相當搶手。AI 晶片初創 Groq 最近就開放免費試用，展示其 LPU 晶片的實力，結果相當不錯，更因此在社交媒體上成為熱話。
Groq 的晶片並非傳統的 GPU，而是專門為大型語言模型運算而設的 LPU（Language Processing Unit），可以在低耗電的同時帶來高效率。其每秒處理速度可達 500 個 Token，比現時 OpenAI 的 GPT-3.5 每秒 40 個 Token 快得多。而 Groq 本身並沒有訓練新模型，而是一個「模型啟動器」，在 Groq 晶片推動下運作開源模型 Mixtral 8x7B-32k 和 Llama 270B-4k。
The first public demo using Groq: a lightning-fast AI Answers Engine.
It writes factual, cited answers with hundreds of words in less than a second.
More than 3/4 of the time is spent searching, not generating!
The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
— Matt Shumer (@mattshumer_) February 19, 2024
撇開模型的準確度不提，Groq 工具所提供的速度與目前使用 GPU 的工具相比可以快 10 倍以上，加上無需龐大的能源推動，在這方面自然相當有效率。據 Groq 表示，其晶片家教可以連接多個張量流處理器（TSP）而不出現記憶體樽頸，因此可以簡單擴充彈性適應不同的需要。不少網民認為 Groq 的 LPU 可以挑戰目前 Nvidia AI 晶片的地位，不過目前 LPU 的應用只限語言模型的推理運作，用於訓練的話仍然需要 GPU，而且如果要大規模配置，成本可能比 GPU 還要高，因此要實際大量應用仍然有待技術和成本改善。
相關文章:
【教學】ChatGPT 視像隔空教你養魚 用相機攝取現場環境 實時 AI 回應用家問題 【教學】冗長文章 AI 變成有趣電台節目 Reader by ElevenLabs「聽」文章不再暈車浪 + 學習外語方便 【教學】MacWhisper 語音轉錄文字 AI 工具 本地 AI 模型處理 + 支援廣東話、多國語言 + 輸出字幕檔
分享到 :
最新影片
