Qwable 27B:本地 AI 模型在消費級硬體上複製《Fable 5》的推理能力

開發者 Mia 在 Hugging Face 發布 Qwable 27B,這是一個完整微調版本(full fine-tune),以阿里巴巴的 Qwen3.6-27B 為基礎模型、使用類 Fable 5 的推理資料集訓練,並延續 2026 年 6 月 15 日的公告。該模型在完全不使用 API、且不受制於強制資料留存政策的情況下,在本機硬體上運行,並複刻了 Anthropic 的 Fable 5 所採用的結構化思考方式。稍後,開源貢獻者 Huihui-ai 發布了去拒絕化(abliterated)版本,透過使用 llama.cpp 的 cvector-generator 修改模型權重,移除了內建拒絕行為。上述發布是在一週內完成,期間美國政府命令將 Fable 5 從所有外國國民撤下,理由是一起有爭議的越獄(jailbreak)認定。這兩個 Qwable 版本皆提供了替代雲端 AI 服務的本地方案,免除了伺服器相依性以及第三方資料處理需求。

Qwable 27B 架構與訓練方法論

Qwable 27B 是由開發者 Mia 基於阿里巴巴的 Qwen3.6-27B 基底模型、在類 Fable 5 的推理範例資料集上進行的完整微調。訓練方法是以指令微調(instruction fine-tuning)進行追蹤式(trace-style)範例訓練:開發者蒐集了格式仿照 Fable 5 的逐步答案範例,並訓練 Qwen 產生相似的輸出結構。所得的 270 億(27-billion)參數模型以 Fable 5 的指令遵循結構為目標,所輸出的內容比基底 Qwen 模型更有引導性、更具解釋性,且提供逐步的任務完成輸出。

該模型以 GGUF 格式執行,這是一種與 LM Studio 和 llama.cpp 相容的壓縮檔案型態。Q4 量化(quantized)版本的儲存需求約為 16.5 GB。所有處理都在本機進行,不會把資料送往外部伺服器,從而免除了 Fable 5 對所有流量(包括先前已簽署零留存協議的企業客戶)的強制 30 天資料留存要求。

去拒絕化流程移除拒絕機制

Huihui-ai 進行去拒絕化(abliteration),產生 Huihui-Qwable-3.6-27b-abliterated,一個消除模型拒絕行為的變體。該流程透過在大量有害與無害提示(prompts)上運行模型,找出嵌入在模型權重中的拒絕方向,並衡量內部啟動(internal activations)的差異,接著修改權重以消除該差異。去拒絕化後,模型不再包含觸發拒絕回應的數學訊號。

Huihui-ai 透過使用 llama.cpp 的 cvector-generator,直接把此技術套用到 Qwable 的 GGUF 上;此過程不需要 Python 環境、不需要完整權重重訓練(full-weight retraining),也不需要租用伺服器。該流程不同於越獄(jailbreaking):它是透過永久修改模型架構,而不是利用提示漏洞(prompt vulnerabilities)。模型卡(model card)指出,去拒絕化版本僅供研究與受控環境使用,法律與倫理責任完全由使用者承擔。

可用版本與硬體需求

去拒絕化的 Qwable 可在 Hugging Face 上以三種版本提供。建議的 Q4_K_M_Q8 版本權重約 19 GB,是最小且最適合消費者的選擇。也提供支援多 token 預測(multi-token prediction)的版本,供具備足夠運算資源的系統使用,可產生更快的回應生成。標準 Qwable 與去拒絕化變體都能透過 LM Studio 等本地執行環境,在消費級硬體上運行。

標準與去拒絕化版本的使用案例

標準版 Qwable 適合程式協助、技術除錯,以及需要展示推理流程而非直接提供答案的工作流程。它能在本地代理(local agent)設定與多數本地執行環境中運作。去拒絕化版本則面向需要不經由提供者端(provider-side)過濾的原始模型行為之安全研究人員;以及需要在敏感主題上產出結果的合成資料(synthetic data)資料管線;還有用於測試模型能力且不受內容政策干預的評估工作。模型卡提醒:降低安全過濾意味著輸出可能具有敏感、具爭議性或不適當的內容。

FAQ

Qwable 27B 是什麼?何時發布?

Qwable 27B 是一個完整微調版本(full fine-tune),使用類 Fable 5 的推理資料集訓練阿里巴巴的 Qwen3.6-27B;由開發者 Mia 在 2026 年 6 月 15 日宣布。該模型以 GGUF 格式在本地運行,其 Q4 量化版本的需求約為 16.5 GB。

去拒絕化版本與標準 Qwable 模型有何不同?

由 Huihui-ai 建立的去拒絕化版本透過使用 llama.cpp 的 cvector-generator 修改模型權重,以移除拒絕行為。此流程消除了觸發拒絕回應的數學訊號,因而產生一個能處理所有提示而不進行內容過濾、同時維持完整功能的模型。

運行 Qwable 模型的硬體需求為何?

Q4 量化版本的儲存需求約為 16.5 GB;而建議的 Q4_K_M_Q8 去拒絕化版本權重約為 19 GB。兩個模型皆可透過 LM Studio 或 llama.cpp 等本地執行環境,在消費級硬體上運行;同時也提供支援多 token 預測的版本,以供具備更高運算能力的系統使用。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆