中國產開源項目 KTransformers 與 LLaMA-Factory 聯動，令消費級顯示卡也能勝任超大語言模型的微調。過去微調 Kimi K2 1TB 參數模型理論上需要 2,000GB 顯示卡記憶體，如今僅需 90GB 左右；微調 DeepSeek 671B 也只需 70GB 左右顯示卡記憶體，配合 1.5-2TB 記憶體即可實現。

 

傳統微調方案的顯示卡記憶體需求

傳統微調千億/萬億級參數模型需要龐大的硬件資源。以 Kimi K2 為例，它是由月之暗面推出的開源萬億參數大模型，採用 MoE 架構設計，擁有 320 億激活參數和 384 個路由專家。按照傳統 LoRA 微調方案，類似 Kimi K2 這樣的模型需要高達 2,000GB 顯示卡記憶體；即便是參數量稍小的 DeepSeek 671B 也需要 1,400GB 顯示卡記憶體。單張 H100 顯示卡（80GB）需要十幾張以上才能滿足需求。

 

中國產項目聯動帶來的突破

兩個國產開源項目的聯動，令成本大幅降低。KTransformers 由趨境科技和清華 KVCache.AI 共同開源，GitHub 已獲得 15.3K 星。該項目在大模型推理領域已有較高聲望，憑藉 GPU+CPU 異構推理的技術路徑成為主流推理框架之一。通過 KTransformers，用戶已能利用單張 4090 推理 Kimi K2 級別的超大模型。如今它進一步支持 LoRA 微調，相同配置下，Kimi K2 顯示卡記憶體佔用從理論值 2,000GB+ 降至 90GB 左右，DeepSeek 671B 則降至 70GB 左右。

 

 

 

另一個協作者是 LLaMA-Factory，這個大語言模型訓練微調平台在 GitHub 的星標數超過 6 萬。它讓用戶無需編寫程式碼，即可在本地完成上百種預訓練模型的微調，並提供一站式的預訓練、監督微調、評估、推理以及 Web UI 介面。

 

 

LLaMA-Factory 擔當整個微調流程的統一調度與配置框架，負責資料處理、訓練調度、LoRA 插入與推理介面管理；KTransformers 則作為其可插拔的高性能後端，在相同的訓練配置下接管 Attention 及 MoE 等核心算子，實現異構裝置的高效協同。

 

KTransformers 相較其他方案的優勢

對比 KTransformers、HuggingFace 和 Unsloth 三種後端的 LoRA 微調方案，KTransformers 為超大規模 MoE 模型（如 Kimi K2 1TB）提供了 4090 級別的可行方案，在較小規模 MoE 模型（DeepSeek-14B）上也展現了更高的吞吐量和更低的顯示卡記憶體佔用。該項目將微調超大模型的門檻從資料中心級別降至個人工作站級別。

 

 

 

微調效果的實測驗證

成本降低後，效果是否會相應下降。中國媒體就嘗試微調 DeepSeek 671B 模型上進行的測試。

第一項測試讓 DeepSeek 微調後能生成喵娘（CatGirl）風格語氣。採用 NekoQA-10K 對話資料集後，微調前的模型回答為：「1、保持口腔衛生……2、避免刺激性食物……3、避免酸性食物……」；微調後的回答轉變為：「主人舌頭不舒服嗎？寶寶好擔心喵！（耳朵聳拉下來）檸檬酸是因為檸檬裡面有檸檬酸啦，這是正常的喵~」。

 

 

在專業領域應用上，KTransformers 的微調能力同樣得到驗證。採用非洲醫療資料集（AfriMed-QA）進行的測試包含醫療選擇題和簡答題。經過 KTransformers 後端 LoRA 微調的模型，各項評測指標（如 BLEU、ROUGE、Accuracy）均獲得提升。

 

個性化度身訂造 AI 應用場景

微調成本降低帶來的應用範圍擴展包括：

度身訂造專屬風格：用戶可用自己的聊天記錄、郵件、文檔去微調，打造「自身風格」的寫作助手，用於回郵件、寫周報等場景。

製作私有知識庫助手：把公司內部 SOP、技術文檔、法律條文輸入模型，微調出專為公司業務服務的 AI 工具。資料不出本地，避免私密信息外洩。

創造虛擬角色伴侶：把特定角色或歷史人物的語料輸入，微調出能進行角色扮演的聊天機械人。

深入垂直領域：用專業資料集（比如醫療、法律）微調，模型在特定領域的表現會得到改善。

大模型應用由過去的「模型有啥，你用啥」轉變為用戶可根據需求進行定制。算力門檻的降低，讓更多垂直需求與應用想法得以實現。

 

企業應用價值

企業可利用低成本微調能力快速在多個業務方向上進行測試，用私有資料打造懂自家業務的 AI 工具。無論是客服、行銷還是內部知識管理，相比傳統方案迭代效率和投資回報率均有改善。

 

若要試用該微調方案，KTransformers 和 LLaMA-Factory 的 GitHub 項目地址分別為 https://github.com/kvcache-ai/ktransformers 和 https://github.com/hiyouga/LLaMA-Factory。

 

資料來源：快科技