GGUF

Hugging Face 整合 llama.cpp：在 Transformers 中直接執行 GGUF 量化模型

Transformers Meets llama.cpp: Direct GGUF Inference on Apple Silicon

Hugging Face 的 Transformers 庫現在支援直接載入並執行 llama.cpp 的 GGUF 量化模型，藉由 ggml 核心實現接近原生 llama.cpp 的高效能本機推論。