跳到正文
DEV Community· tauchiii·· 16 天前AI 評分64

osFoundry Local Model 使用指南:從挑選開源模型到本機微調

osFoundry 的 Local Model 能做什麼?從挑選開源模型到在自己的電腦上微調

AI 導讀

osFoundry 的 Local Model 在桌面 App 內整合開放權重模型的探索、裝置端推論、量化、微調及評測流程。指南以個人筆電、小團隊共用桌機及營運主管三種情境,示範模型比較、速度基準測試、自訂資料集評測和 LoRA 訓練;本機推論、量化及本機訓練在電腦執行,Providers 和 Cloud GPU 則會使用外部服務。

正文

星期四下午 4:40,一個視窗裡開著合約草稿。你想讓 AI 幫忙把文字修得更精簡,但這份文件不能離開你的筆電,而且你也不確定 Hugging Face 上那上百個開源模型,哪一個在 16 GB 記憶體上跑得起來。你更不想為了搞清楚這件事,整個晚上泡在終端機裡。

用開源模型做的所有事,都集中在側邊欄的一個群組

Local Model 是 osFoundry 裡專門處理開放權重(open-weight)模型的部分,這些模型跑在你自己掌控的硬體上。它在桌面 App 的側邊欄自成一個分類,底下分成三個小標題:Run(Explore、Providers、Servers、Playground、Deployments、Cloud GPU、GPU Endpoints)、Build(My Models、Datasets、Training、Quantize、Notebooks)和 Measure(Eval、Benchmarks、Safety)。用過 Ollama 或 LM Studio 的人,對 Run 這一半應該不陌生:找模型、下載、跟它對話。差別在於,同一個群組還能把模型縮小、用你自己的範例做微調,再用你自己的問題來測試,所以一個模型從頭到尾都在同一個 App 裡完成。裝置端推論使用內建的 llama.cpp 伺服器,不需要另外安裝。這篇指南介紹大多數人最常用的九個畫面:Explore、Servers、Playground、My Models、Datasets、Training、Quantize、Eval 和 Benchmarks。

先看看 Explore

多數人都從 Explore 開始,而它的版面也說明了整個分類的思路:先看你的機器,再看模型。

osFoundry 的 Explore Models 畫面,左側是任務篩選,上方橫幅讀取機器的記憶體,模型卡片上標有 Fits、Tight、Too big 標籤(範例資料)

  • 左側的 Filters 欄把 Hugging Face 的任務分組列出(Text Generation、Summarization、Translation、Embeddings,另外還有 Multimodal、Vision、Audio 群組),並附有搜尋框。
  • 上方的橫幅會先讀取你的機器,再顯示其他內容。在上面的範例中,它顯示 16 GB 統一記憶體、大約 12 GB 可用於模型、目前大約 9 GB 可用,並註明估算是以 Q4_K_M 和 4K 上下文為前提。
  • 每張模型卡片都有一個適配標籤:綠色 Fits、琥珀色 Tight、紅色 Too big,各自附上預估的記憶體用量。沒有任何模型被隱藏,只是放得下的模型會排在前面。
  • 右上角的 Providers 和 My Registry 按鈕,分別通往雲端 API 供應商和你已經擁有的模型。
  • 點一張卡片會打開詳細頁面,按下 Install Locally 就會下載該模型的某個版本,通常是跟標籤相符的量化 GGUF。

三種人,三種用法

只有一台筆電的獨立開發者

Maya 用一台 16 GB 的 MacBook 做 side project。她想要一個本機模型來寫 commit message 和簡短筆記,主要是為了在火車上也能離線工作。

她打開 Explore,篩選 Text Generation,跳過所有紅色標籤的模型。有兩個候選是綠色的,於是她用 Install Locally 把兩個都裝起來。接著她打開 Playground,輸入一個 prompt,把兩個模型都加成面板。Playground 會把同一個 prompt 同時送給兩到四個模型,並排顯示回答,每個面板下方還會列出首個 token 的時間和字數。

osFoundry 的 Model Playground,同一個 prompt 由兩個本機模型並排回答,每個回答下方顯示 TTFT 和字數(範例)

後來她找到一個喜歡的模型,但只有完整精度的 F16 檔案。大約 15 GB,對她的筆電來說太大了。她在 Quantize 的 "The model to shrink" 選了這個模型,選擇 App 推薦給大多數人的 Q4_K_M,然後開始執行。內建的 llama-quantize 會在她的電腦上重寫檔案,不會上傳任何東西。

osFoundry 的 Quantize 畫面,F16 模型已縮小為 Q4_K_M,有 Try it in Playground、Measure speed、Measure quality 按鈕和比較表格(範例)

在上面的範例中,結果是 4.58 GiB,比原始檔案小 3.3 倍。在信任它之前,她先按 Measure quality,把新檔案跟原始檔案比較,填入 Compare 表格中的 "same top token" 和平均 KLD 欄位,再按 Measure speed 看每秒 token 數。按一下 Try it in Playground,它就又回到另外兩個模型旁邊。這個晚上結束時,她得到一個放得下的模型、一組顯示縮小代價的數字,而且終端機裡一行歷史紀錄都沒有。

有一台強力桌機的小團隊

一間四人的工作室,辦公室裡有一台記憶體很大的桌機,還有幾台輕薄筆電。大模型只放得進桌機,但大家都想用。

在桌機上,有人打開 Servers,選擇 This Mac,切到 Access 分頁。勾選 "Allow access from other devices on the local network (LAN)",並啟用 Remote Access。面板接著會列出這台機器要提供的所有本機模型。在 Device keys 底下按 New key,用同事筆電的名稱命名,再按 Create key。每把 key 都可以單獨撤銷,而只限推論的 key 能執行模型,但碰不到 agent 工作階段。

osFoundry 的 Servers 畫面,顯示 This Mac 的 Access 分頁、執行中的 Remote Access、LAN 核取方塊、可從其他裝置存取的模型清單以及 Device keys(範例)

在每台筆電上,同事打開 Servers,按 Add Server,輸入桌機的位址,貼上 key,再用 Test Connection 測試。連上之後,桌機的模型就會像其他模型一樣出現在筆電的模型選單裡。App 本身也註明這些流量走的是未加密的 HTTP,所以適合用在你信任的網路,例如辦公室的區域網路。

接著有人打開 Benchmarks,按 New Benchmark,選擇模型,保留 Quick 測試組。執行結果會記錄每秒 token 數、首個 token 的時間和延遲,讓團隊判斷這個共用模型夠不夠快,是能在通話中即時使用,還是只適合晚上跑批次。如果覺得慢,Servers 還有一個 Config 分頁,可以在 Speculative Decoding 底下設定一個小型的草稿模型,接著按 Restart now,再跑一次 benchmark 來比較。

最後團隊得到一台負責吃重工作的機器、每台筆電各一把可以單獨收回而不影響其他人的 key,以及「到底夠不夠快」的實測答案。

不寫程式的營運主管

Ken 負責一間小型網路商店的客服。他有兩個問題:哪個模型能正確讀出發票總額?模型能不能學會用商店自己的語氣回覆?

第一個問題,他到 Eval 按 Custom Benchmark。取好名稱,貼上十張發票和每張預期的總額,保留 Exact Match,再按 Create Benchmark。接著是 New Eval Run:勾選電腦上的兩個模型,勾選他的 benchmark,然後按 Start Evaluation。問題會在他自己的電腦上送給每個模型。

osFoundry 的評估畫面,用自訂的發票 benchmark 比較兩個本機模型,準確率 90 對 70,並有 Diff 欄位(範例)

在這個範例中,一個模型拿到 90,另一個拿到 70,Diff 欄位顯示兩者差了 20 分。這是用他自己的文件測出來的結果,不是別人的排行榜。

至於語氣的問題,他收集了幾百則過去的客戶訊息,以及團隊實際寄出的回覆,一行一組。在 Datasets 裡,他可以匯入這個檔案,或是透過 Hub 分頁找公開資料,再用 "Use for Training" 交給訓練。在 Training 裡,他按 New Job,依序走過四個步驟:Base Model、Dataset、Config 和 Review。在 Training Target 選擇 Local (This Device),畫面說明它會在裝置的 GPU 上執行,而且免費,方法則選 LoRA。

osFoundry 的 New Training Job 對話框停在 Config 步驟,Training Target 設為 Local (This Device),訓練方法為 LoRA

按下 Start Training 後,任務會在執行過程中顯示 loss。完成後,訓練好的 adapter 會出現在 My Models,就在它來源的基礎模型旁邊;在已完成的執行上按 "Chat with your model",就會把它準備成裝置端 runtime 可用的格式,讓他能在 Playground 裡問它問題。最後他得到一個小巧、私有的模型,以及一個每次考慮新模型時都能重跑的 benchmark。

Local Model 在哪裡交棒

這個分類不是孤立存在的。你安裝或連接的模型,會出現在聊天使用的同一份模型清單裡,所以本機模型可以回答一般對話,也可以在 Playground 裡跟你在 Providers 加入的雲端模型比較。在 Explore 裡,"Use in Notebook" 會開啟一個已經為該模型設定好的 JupyterLab notebook,可以在本機或託管的執行個體上跑。當模型需要真正的 GPU、而不是你的筆電時,就由 Deployments 和 Cloud GPU 接手,把它放到託管的 endpoint 上。模型面對客戶之前,Safety 會對已部署的模型執行 red team 測試組。本機推論頁面更深入介紹裝置端引擎,LoRA 微調頁面則說明訓練的部分。

大家最先問的問題

我需要 GPU 或電競電腦嗎?
不需要。近幾年的筆電就能跑中小型模型;Explore 的適配標籤會在下載前告訴你機器放得下什麼。更強的桌機或遠端伺服器,只是讓可選清單變長而已。

會有東西被送到雲端嗎?
本機推論、Quantize 和本機訓練都在你的電腦上執行。Cloud GPU 訓練、Cloud GPU endpoints 和 Providers 是會用到外部服務的部分,畫面上也會標示,例如訓練對話框裡的 "Managed cloud GPU · needs credits"。

Eval 和 Benchmarks 有什麼不同?
Eval 用你自己定義的問題來評分回答的品質。Benchmarks 量測速度和記憶體:每秒 token 數、首個 token 的時間和延遲。

要去哪裡下載 App?
Local Model 在桌面 App 裡執行,可以到 osfoundry.io/zh/download 下載。

來源:DEV Community · dev.to