CH160 MESH購入裝機 & Local訓練LLM的雜七雜八

前言

前陣子把原本用Ryzen 5 3600XT+MSI MAG B550為基底，ATX大小，插GPU專門跑LLM的Proxmox機，換成ITX大小，同樣能插正常Size的GPU，也更省電的基底，用了2~3個月還頗滿意的。想說這個月就寫一篇當初購入機殼跟組裝，以及這陣子搞LLM的小心得。

CH160 MESH購入/裝機

自從去年（2024年）購入了第一張ITX主板後，Blog主就一直在看有無合適的ITX機殼。市面上有些機殼主打ITX但其實體積很大，有些則內部空間太小很難組裝，不然就是GPU大小限制很多。當時DeepCool出了CH160，剛出來的時候只有玻璃側板，後來又出了鐵網側板（MESH）的版本。相對簡單的組裝方式，CPU散熱器與GPU大小的相容性都不錯，同時也有還算小的機身，讓Blog主很感興趣。追蹤價格一段時間，2025年3月左右Blog主才下手，終於組了第一台ITX的PC。

以下是簡單的規格：

尔英 I5-12500H ITX + Noctua NH-L9i-17xx chromax.black
NVIDIA Quadro P6000
Fractal Design ION SFX 500G 
DeepCool CH160 MESH

Kingston FURY Beast DDR4 3200 32GB×2 KF432C16BBK2/64

這張左岸的ITX主機板原本是為了實驗Proxmox內passthrough內顯用的，當時預定用途是ITX的NAS機，但一直沒完成，這個功能被後來購入的DXP4800 Plus取代。剛好手上也缺一個省電又有力，也能插顯卡的小機子，就拿這張跟本次介紹的ITX殼湊上。這張板子配的12500H正如名字，原本是筆電版本的CPU，但被焊在ITX主板上，也可以正常使用一般的散熱器。

由於是筆電CPU，PCIE插槽是閹割版本的4.0X8，如果拿來玩遊戲可能會遇到預期外的瓶頸（除非顯卡本身剛好就是4.0X8，像是RTX 4060），特別是配上3.0X16這種上世代正常長度的PCIE規格的顯卡，會導致實際速度變成3.0X8，玩遊戲重新載入資料的速度會切半。但由於Blog主主要的使用情境是LLM，通常模型只需要讀取一次就一直存在GPU的RAM上，所以效能影響很小。

RAM的部分，雖然原本大機子就有一套64GB，但外觀不搭這次的機子，Blog主為此新買一套FURY Beast的64GB Kit。實際上在Proxmox的VM裡面訓練模型時，32GB的RAM就很夠用，24GB偶爾會吃緊，因此Blog主習慣Host準備64GB，再分給VM 32GB。Blog主買的當下DDR4的RAM算很便宜了，剛好執筆的當下，有傳聞未來會因為減產而漲價，如果為真，或許就是買到最低點了。

GPU的部分，這張九年前的P6000是2024年Blog主回台時哥哥送的卡，在現在新卡的VRAM越給越少的年代，儘管老，但P6000的24GB非常好用，如果使用量子化來Fine-tune大小在7B~14B的LLM，24GB不是問題，比Blog主手上只有10GB的RTX3080好用太多了。

MINISFORUM Elitemini B550配上無需插電的RTX 3050 LP，就不需要額外的PSU供電了

最後是電源的部分，Blog主用的這台SFX-L規格的電源，最初是拿來在MINISFORUM Elitemini B550用的，不過實際上裝GPU跑的次數很少，後來又買了一張RTX 3050 LP，不用額外電源的，需要外接電源的機會就更少了。後來這顆PSU就變成測試用電源，因為小巧方便，這次組ITX機就把它用上了，在這之後Blog主還有入手其他SFX電源，也許未來再上來分享。

這台新機Blog主的功能定位是，不需要用LLM等生成AI時可以收進櫃子裡存放，需要時可以依情況放在隨意一個有網路插頭的地方，沒有亮光也不吵，就算放在臥室跑24小時也不影響睡眠，要放客廳或房間也不占位。

Local訓練LLM的雜七雜八

Blog主第一次自己訓練LLM是在2024年初，當初發現公司有些需要人力整理的作業，其實能透過Fine tune過的LLM達成自動化，當初Meta還在llama2，Blog主自己用llama2訓練出來的效果差強人意，不過今年（2025年）初使用llama3訓練出的效果就很讚，在公司的評價也不錯，效果甚至比同時期人氣的幾個reasoning model更好（當然，Blog主認為主要是Fine-tune的效果問題）。

除了自己訓練LLM以外，現在有不少免費LLM服務，效果也都很好，但大多限制使用次數，個人覺得幾個比較適合自己訓練LLM的情境在於：

• 不想課金
• 需要某種程度的經驗或知識才能判斷的內容
• 這些無法透過機械式的邏輯做判斷的作業
• 某種特定的回覆方式，文法
• 不想連網的私密資料
• 大量的輸入或輸出

以上只是Blog主的想法，現在LLM進步很快，免費的服務也在互相競爭進步，很多小眾的需求能被用更通用的服務解決，也不一定要自己訓練LLM，只不過自己動手也有增加知識的機會。

至於訓練的過程，最普遍的是用Hugging Face上面的資源，通常網路上其他人提供的Notebook也都是用Hugging Face的訓練套裝Package，各家公司也在Hugging Face上傳自家的模型，另外也有很多再訓練或量子化的模型。Blog主第一次自己訓練LLM，也是參考很多網路上的Notebook湊出自己專用的流程，這些網路上的資源都是無償提供的，但也常常會功能不齊全，或著Package要求的版本不一，跟其他範例衝突無法使用...等等，以前會花很多時間處理相容問題。

後來Blog主喜歡直接上Unsloth的Blog找他們的Notebook，Unsloth簡單來說是一個開源的LLM訓練工具，能完全跟Hugging Face生態系融合，而且也能加速及減少VRAM使用量，不過最吸引Blog主的是他們提供完整的Fine-tune Notebook，從訓練到檢測，儲存，讀取再使用，一個能執行到底的完整流程都有，而且在他們的Blog上隨時更新主流的新模型的訓練Notebook，年初很熱門的Reasoning model相關的Fine-tune他們也有一系列的Sample。

總結

本文半雜談的介紹目前Blog主跑LLM的機子，以及一些訓練LLM的內容。其實會想自己訓練LLM大多是比較小眾的需求時才會用到，不然Blog主平時也都用免費版的ChatGPT就夠了，只有偶爾會碰到使用上限。現在還在AI/LLM的熱潮裡，從以前到現在AI的熱潮都是起起落落，不知道這次會持續多久，各家軍備競賽結束後，免費使用的AI服務也不知道能有多少。