logoYK's Blog
  • |
  • English
  • 🔍 Search
  • 🏠 Home
  • 📚 Posts
  • 🧩 Tags
  • ⏱️ Timeline & Archives
  • 🙋🏻‍♂️ About
  • 🤝 Links
🏠 Home » 🧩 Tags

Llama.cpp

🚀 编译与部署 Llama.cpp(支持 CUDA + 性能优化 + 服务端)

本指南记录了如何在 Ubuntu 22.04 上编译和部署 Llama.cpp],启用 CUDA 加速和优化选项,并通过 `llama-server` 启动一个本地推理 API 服务(兼容 HuggingFace)。 ...

2025-05-03    563 Words    2 Mins    YK    CUDA  LLM  Llama.cpp



Copyright © 2016-2026 YK's Blog All Rights Reserved
Advertisement
Advertisement