For the complete documentation index, see llms.txt. This page is also available as Markdown.

๐Ÿ”ฎUnsloth Model Catalog

Unsloth LLMs directory for all Unsloth Dynamic GGUF, 4-bit, NVFP4 models on Hugging Face.

QwenGemmaDeepSeekLlamaMistralGLM

GGUFs let you run models in tools like Unsloth Desktopโœจ and llama.cpp. Use Instruct (4-bit) safetensors for inference or fine-tuning via Unsloth.

Model
Variant
GGUF
4-bit

Flash-0731

27B

link โ€ข MTP

35B-A3B

link โ€ข MTP

26B-A4B

31B

link โ€ข NVFP4

E4B

link โ€ข NVFP4

E2B

link โ€ข NVFP4

26B-A4B

โ€”

Kimi

โ€”

โ€”

Nano-Omni-30B-A3B

โ€”

35B-A3B

โ€”

27B

โ€”

122B-A10B

โ€”

0.8B

โ€”

2B

โ€”

4B

โ€”

9B

โ€”

397B-A17B

โ€”

Qwen3

โ€”

NVIDIA Nemotron 3

GLM

โ€”

โ€”

Kimi

โ€”

MiniMax

โ€”

NVIDIA Nemotron 3

30B

โ€”

2512

โ€”

Edit-2511

โ€”

14B

24B

โ€”

123B

โ€”

Mistral Large 3

675B

80B-A3B-Instruct

80B-A3B-Thinking

โ€”

2B-Instruct

2B-Thinking

4B-Instruct

4B-Thinking

8B-Instruct

8B-Thinking

30B-A3B-Instruct

โ€”

30B-A3B-Thinking

โ€”

32B-Instruct

32B-Thinking

235B-A22B-Instruct

โ€”

235B-A22B-Thinking

โ€”

30B-A3B-Instruct

โ€”

30B-A3B-Thinking

โ€”

235B-A22B-Instruct

โ€”

30B-A3B

โ€”

4.7

โ€”

4.6V-Flash

โ€”

Terminus

โ€”

V3.1

โ€”

DeepSeek models:

Model
Variant
GGUF
Instruct (4-bit)

DeepSeek-V3.1

Terminus

V3.1

DeepSeek-V3

V3-0324

โ€”

V3

โ€”

DeepSeek-R1

R1-0528

โ€”

R1-0528-Qwen3-8B

R1

โ€”

R1 Zero

โ€”

Distill Llama 3 8 B

Distill Llama 3.3 70 B

Distill Qwen 2.5 1.5 B

Distill Qwen 2.5 7 B

Distill Qwen 2.5 14 B

Distill Qwen 2.5 32 B

Llama models:

Model
Variant
GGUF
4-bit

Llama 4

Scout 17 B-16 E

Maverick 17 B-128 E

โ€”

Llama 3.3

70 B

Llama 3.2

1 B

11 B Vision

โ€”

90 B Vision

โ€”

Llama 3.1

8 B

70 B

โ€”

405 B

โ€”

Llama 3

8 B

โ€”

70 B

โ€”

Llama 2

7 B

โ€”

13 B

โ€”

CodeLlama

7 B

โ€”

13 B

โ€”

34 B

โ€”

Gemma models:

Model
Variant
GGUF
Instruct (4-bit)

Gemma 4

E2B

26B-A4B

โ€”

FunctionGemma

270M

โ€”

Gemma 3n

E2B

โ€‹link

Gemma 3

270M

MedGemma

4 B (vision)

27 B (vision)

Gemma 2

2 B

9 B

โ€”

27 B

โ€”

Qwen models:

Model
Variant
GGUF
Instruct (4-bit)

27B

โ€”

35B-A3B

โ€”

35B-A3B

โ€”

27B

โ€”

122B-A10B

โ€”

0.8B

โ€”

2B

โ€”

4B

โ€”

9B

โ€”

397B-A17B

โ€”

Qwen3

โ€”

2512

โ€”

Edit-2511

โ€”

2B-Instruct

2B-Thinking

4B-Instruct

4B-Thinking

8B-Instruct

8B-Thinking

Qwen3-Coder

30B-A3B

โ€”

480B-A35B

โ€”

30B-A3B-Instruct

โ€”

30B-A3B-Thinking

โ€”

235B-A22B-Thinking

โ€”

235B-A22B-Instruct

โ€”

Qwen 3

0.6 B

30 B-A3B

235 B-A22B

โ€”

Qwen 2.5 Omni

3 B

โ€”

7 B

โ€”

Qwen 2.5 VL

3 B

Qwen 2.5

0.5 B

โ€”

1.5 B

โ€”

3 B

โ€”

7 B

โ€”

14 B

โ€”

32 B

โ€”

72 B

โ€”

Qwen 2.5 Coder (128 K)

0.5 B

QwQ

32 B

QVQ (preview)

72 B

โ€”

Qwen 2 (chat)

1.5 B

โ€”

7 B

โ€”

72 B

โ€”

Qwen 2 VL

2 B

โ€”

7 B

โ€”

72 B

โ€”

GLM models:

Model
Variant
GGUF
Instruct (4-bit)

GLM

โ€”

โ€”

4.6V-Flash

โ€”

4.6

โ€”

4.5-Air

โ€”

Mistral models:

Model
Variant
GGUF
Instruct (4-bit)

Magistral

Small (2506)

Small (2509)

Small (2507)

Mistral Small

3.2-24 B (2506)

3.1-24 B (2503)

3-24 B (2501)

2409-22 B

โ€”

Devstral

Small-24 B (2507)

Small-24 B (2505)

Pixtral

12 B (2409)

โ€”

Mistral NeMo

12 B (2407)

Mistral Large

2407

โ€”

Mistral 7 B

v0.3

โ€”

v0.2

โ€”

Mixtral

8 ร— 7 B

โ€”

Phi models:

Model
Variant
GGUF
Instruct (4-bit)

Phi-4

Reasoning-plus

Reasoning

Mini-Reasoning

Phi-4 (instruct)

mini (instruct)

Phi-3.5

mini

โ€”

Phi-3

mini

โ€”

medium

โ€”

Other (GLM, Orpheus, Smol, Llava etc.) models:

Model
Variant
GGUF
Instruct (4-bit)

GLM

4.5-Air

โ€”

4.5

โ€”

4-32B-0414

โ€”

Grok 2

270B

โ€”

Baidu-ERNIE

4.5-21B-A3B-Thinking

โ€”

Hunyuan

A13B

โ€”

Orpheus

0.1-ft (3B)

LLava

1.5 (7 B)

โ€”

1.6 Mistral (7 B)

โ€”

TinyLlama

Chat

โ€”

SmolLM 2

135 M

Zephyr-SFT

7 B

โ€”

Yi

6 B (v1.5)

โ€”

6 B (v1.0)

โ€”

34 B (chat)

โ€”

34 B (base)

โ€”

Last updated

Was this helpful?