模型排行榜硬體市集評測訓練租用ProAPI文件
語言
Lucebox Hub campaign banner

模型

95 個模型群組 · 共 337 個

Qwen3.6-27B

Qwen / Qwen3.6-27B

28B
Qwenimage-text-to-text共 283 個基準測試
transformerssafetensorsqwen3_5image-text-to-text
最佳255 tok/s
中位數42.7 tok/s
最低1.6 tok/s
查看基準測試 →

Qwen3.6-35B-A3B

Qwen / Qwen3.6-35B-A3B

36B
Qwenimage-text-to-text共 164 個基準測試
transformerssafetensorsqwen3_5_moeimage-text-to-text
最佳260 tok/s
中位數75.2 tok/s
最低6.4 tok/s
查看基準測試 →

MiniMax-M2.7

MiniMaxAI / MiniMax-M2.7

229B
Minimaxtext-generation共 117 個基準測試
transformerssafetensorsminimax_m2text-generation
最佳496 tok/s
中位數32.2 tok/s
最低0.5 tok/s
查看基準測試 →

Qwen3.5-27B

Qwen / Qwen3.5-27B

28B
Qwenimage-text-to-text共 60 個基準測試
transformerssafetensorsqwen3_5image-text-to-text
最佳287 tok/s
中位數30.9 tok/s
最低2.2 tok/s
查看基準測試 →

Qwen3.5-9B-Base

Qwen / Qwen3.5-9B-Base

10B
Qwenimage-text-to-text共 53 個基準測試
transformerssafetensorsqwen3_5image-text-to-text
查看基準測試 →

gemma-4-E4B

google / gemma-4-E4B

8B
Gemmaany-to-any共 34 個基準測試
transformerssafetensorsgemma4image-text-to-text
查看基準測試 →

Ornstein3.6-27B-MTP-NSC-ACE-SABER

GestaltLabs / Ornstein3.6-27B-MTP-NSC-ACE-SABER

27B
Qwenimage-text-to-text共 33 個基準測試
transformerssafetensorsqwen3_5image-text-to-text
查看基準測試 →

Qwen3.5-35B-A3B-Base

Qwen / Qwen3.5-35B-A3B-Base

36B
Qwenimage-text-to-text共 31 個基準測試
transformerssafetensorsqwen3_5_moeimage-text-to-text
查看基準測試 →

gemma-4-26B-A4B

google / gemma-4-26B-A4B

27B
Gemmaimage-text-to-text共 28 個基準測試
transformerssafetensorsgemma4image-text-to-text
查看基準測試 →

gemma-4-31B

google / gemma-4-31B

33B
Gemmaimage-text-to-text共 25 個基準測試
transformerssafetensorsgemma4image-text-to-text
查看基準測試 →

Qwen2.5-14B

Qwen / Qwen2.5-14B

15B
Qwentext-generation共 22 個基準測試
safetensorsqwen2text-generationconversational
查看基準測試 →

Qwen3.5-122B-A10B

Qwen / Qwen3.5-122B-A10B

125B
Qwenimage-text-to-text共 22 個基準測試
transformerssafetensorsqwen3_5_moeimage-text-to-text
最佳27.3 tok/s
中位數26.1 tok/s
最低3.2 tok/s
查看基準測試 →

Qwen3-Coder-30B-A3B-Instruct

Qwen / Qwen3-Coder-30B-A3B-Instruct

31B
Qwentext-generation共 22 個基準測試
transformerssafetensorsqwen3_moetext-generation
最佳101 tok/s
中位數84.3 tok/s
最低79.8 tok/s
查看基準測試 →

LFM2.5-8B-A1B-Base

LiquidAI / LFM2.5-8B-A1B-Base

8B
text-generation共 20 個基準測試
transformerssafetensorslfm2_moetext-generation
查看基準測試 →

Qwen3.5-4B-Base

Qwen / Qwen3.5-4B-Base

5B
Qwenimage-text-to-text共 16 個基準測試
transformerssafetensorsqwen3_5image-text-to-text
查看基準測試 →

Qwen3-Coder-Next

Qwen / Qwen3-Coder-Next

80B
Qwentext-generation共 16 個基準測試
transformerssafetensorsqwen3_nexttext-generation
最佳80.8 tok/s
中位數55.8 tok/s
最低51.2 tok/s
查看基準測試 →

Llama-3.1-8B

meta-llama / Llama-3.1-8B

8B
Llamatext-generation共 15 個基準測試
transformerssafetensorsllamatext-generation
查看基準測試 →

gemma-4-12B

google / gemma-4-12B

12B
Gemmaany-to-any共 14 個基準測試
transformerssafetensorsgemma4_unifiedimage-text-to-text
最佳25.8 tok/s
中位數25.8 tok/s
最低25.8 tok/s
查看基準測試 →

Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

nvidia / Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

33B
any-to-any共 13 個基準測試
transformerssafetensorsNemotronH_Nano_Omni_Reasoning_V3image-feature-extraction
最佳107 tok/s
中位數90.6 tok/s
最低57.9 tok/s
查看基準測試 →

Qwen2.5-7B

Qwen / Qwen2.5-7B

8B
Qwentext-generation共 12 個基準測試
transformerssafetensorsqwen2text-generation
最佳1.4k tok/s
中位數1.4k tok/s
最低1.4k tok/s
查看基準測試 →

gpt-oss-20b

openai / gpt-oss-20b

22B
Gpttext-generation共 12 個基準測試
transformerssafetensorsgpt_osstext-generation
最佳991 tok/s
中位數87.1 tok/s
最低12.0 tok/s
查看基準測試 →

gemma-4-E2B

google / gemma-4-E2B

5B
Gemmaany-to-any共 11 個基準測試
transformerssafetensorsgemma4image-text-to-text
查看基準測試 →

gpt-oss-120b

openai / gpt-oss-120b

120B
Gpttext-generation共 11 個基準測試
transformerssafetensorsgpt_osstext-generation
最佳223 tok/s
中位數70.7 tok/s
最低62.7 tok/s
查看基準測試 →

gemma-3-12b-pt

google / gemma-3-12b-pt

12B
Gemmaimage-text-to-text共 10 個基準測試
transformerssafetensorsgemma3image-text-to-text
查看基準測試 →

Qwen3.6-27B-DFlash

z-lab / Qwen3.6-27B-DFlash

2B
Qwentext-generation共 10 個基準測試
transformerssafetensorsqwen3image-feature-extraction
最佳215 tok/s
中位數39.2 tok/s
最低26.9 tok/s
查看基準測試 →

Nex-N2-mini

nex-agi / Nex-N2-mini

35B
Qwentext-generation共 9 個基準測試
transformerssafetensorsqwen3_5_moeimage-text-to-text
最佳107 tok/s
中位數104 tok/s
最低40.5 tok/s
查看基準測試 →

DeepSeek-V4-Flash

deepseek-ai / DeepSeek-V4-Flash

158B
Deepseektext-generation共 9 個基準測試
transformerssafetensorsdeepseek_v4text-generation
最佳45.7 tok/s
中位數19.7 tok/s
最低18.6 tok/s
查看基準測試 →

GLM-4.7-Flash

zai-org / GLM-4.7-Flash

31B
text-generation共 9 個基準測試
transformerssafetensorsglm4_moe_litetext-generation
最佳212 tok/s
中位數176 tok/s
最低92.9 tok/s
查看基準測試 →

DeepSeek-R1-Distill-Qwen-7B

deepseek-ai / DeepSeek-R1-Distill-Qwen-7B

8B
Deepseek-R1text-generation共 8 個基準測試
transformerssafetensorsqwen2text-generation
最佳144 tok/s
中位數69.0 tok/s
最低38.1 tok/s
查看基準測試 →

Ling-2.6-flash

inclusionAI / Ling-2.6-flash

107B
text-generation共 8 個基準測試
safetensorsbailing_hybridtext-generationconversational
最佳94.9 tok/s
中位數86.2 tok/s
最低82.3 tok/s
查看基準測試 →

Qwen2.5-72B

Qwen / Qwen2.5-72B

73B
Qwentext-generation共 8 個基準測試
transformerssafetensorsqwen2text-generation
查看基準測試 →

Nemotron-Cascade-2-30B-A3B

nvidia / Nemotron-Cascade-2-30B-A3B

32B
text-generation共 8 個基準測試
transformerssafetensorsnemotron_htext-generation
最佳141 tok/s
中位數95.4 tok/s
最低89.8 tok/s
查看基準測試 →

Qwen3.5-0.8B-Base

Qwen / Qwen3.5-0.8B-Base

1B
Qwenimage-text-to-text共 7 個基準測試
transformerssafetensorsqwen3_5image-text-to-text
最佳2.7k tok/s
中位數2.7k tok/s
最低2.7k tok/s
查看基準測試 →

Mistral-Medium-3.5-128B

mistralai / Mistral-Medium-3.5-128B

128B
Mistral共 7 個基準測試
safetensorsmistral3vLLMen
最佳7.4 tok/s
中位數6.6 tok/s
最低6.2 tok/s
查看基準測試 →

Qwen3-30B-A3B-Base

Qwen / Qwen3-30B-A3B-Base

31B
Qwentext-generation共 7 個基準測試
transformerssafetensorsqwen3_moetext-generation
查看基準測試 →

DeepSeek-Coder-V2-Lite-Instruct

deepseek-ai / DeepSeek-Coder-V2-Lite-Instruct

MoE16B
Deepseek-Codertext-generation共 6 個基準測試
transformerssafetensorsdeepseek_v2text-generation
最佳150 tok/s
中位數87.0 tok/s
最低39.0 tok/s
查看基準測試 →

NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

nvidia / NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

32B
text-generation共 5 個基準測試
transformerssafetensorsnemotron_htext-generation
最佳313 tok/s
中位數286 tok/s
最低117 tok/s
查看基準測試 →

Qwen3-14B-Base

Qwen / Qwen3-14B-Base

15B
Qwentext-generation共 5 個基準測試
transformerssafetensorsqwen3text-generation
查看基準測試 →

Mistral-Small-3.1-24B-Base-2503

mistralai / Mistral-Small-3.1-24B-Base-2503

24B
Mistral共 5 個基準測試
vllmsafetensorsmistral3mistral-common
查看基準測試 →

gemma-3-1b-pt

google / gemma-3-1b-pt

1B
Gemmatext-generation共 5 個基準測試
transformerssafetensorsgemma3_texttext-generation
查看基準測試 →

Qwen3.5-2B-Base

Qwen / Qwen3.5-2B-Base

2B
Qwenimage-text-to-text共 5 個基準測試
transformerssafetensorsqwen3_5image-text-to-text
查看基準測試 →

Qwen2.5-1.5B

Qwen / Qwen2.5-1.5B

2B
Qwentext-generation共 5 個基準測試
transformerssafetensorsqwen2text-generation
查看基準測試 →

Qwen3-8B-Base

Qwen / Qwen3-8B-Base

8B
Qwentext-generation共 5 個基準測試
transformerssafetensorsqwen3text-generation
查看基準測試 →

NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

67B
Opttext-generation共 5 個基準測試
transformerssafetensorsnemotron_htext-generation
最佳262 tok/s
中位數175 tok/s
最低49.6 tok/s
查看基準測試 →

LFM2.5-1.2B-Base

LiquidAI / LFM2.5-1.2B-Base

1B
text-generation共 4 個基準測試
transformerssafetensorslfm2text-generation
查看基準測試 →

granite-4.0-h-micro

ibm-granite / granite-4.0-h-micro

3B
text-generation共 4 個基準測試
transformerssafetensorsgranitemoehybridtext-generation
最佳68.6 tok/s
中位數45.2 tok/s
最低45.0 tok/s
查看基準測試 →

LFM2-8B-A1B

LiquidAI / LFM2-8B-A1B

MoE1B 活躍 / 8B 總計
text-generation共 4 個基準測試
transformerssafetensorslfm2_moetext-generation
最佳18.3 tok/s
中位數18.3 tok/s
最低9.9 tok/s
查看基準測試 →

DeepSeek-R1-Distill-Qwen-14B

deepseek-ai / DeepSeek-R1-Distill-Qwen-14B

15B
Deepseek-R1text-generation共 4 個基準測試
transformerssafetensorsarxiv:2501.12948license:mit
最佳24.4 tok/s
中位數24.4 tok/s
最低24.4 tok/s
查看基準測試 →

gemma-3n-E4B

google / gemma-3n-E4B

8B
Gemmaimage-text-to-text共 4 個基準測試
transformerssafetensorsgemma3nimage-text-to-text
查看基準測試 →

MiniMax-M2

MiniMaxAI / MiniMax-M2

229B
Minimaxtext-generation共 4 個基準測試
transformerssafetensorsminimax_m2text-generation
最佳493 tok/s
中位數398 tok/s
最低303 tok/s
查看基準測試 →

GLM-5.1

zai-org / GLM-5.1

754B
text-generation共 4 個基準測試
transformerssafetensorsglm_moe_dsatext-generation
查看基準測試 →

granite-4.1-30b

ibm-granite / granite-4.1-30b

29B
text-generation共 4 個基準測試
transformerssafetensorsgranitetext-generation
最佳17.9 tok/s
中位數16.4 tok/s
最低15.6 tok/s
查看基準測試 →

Gemopus-4-26B-A4B-it

Jackrong / Gemopus-4-26B-A4B-it

27B
Gemmatext-generation共 4 個基準測試
safetensorsgemma4gemmainstruction-tuned
最佳64.3 tok/s
中位數55.0 tok/s
最低45.7 tok/s
查看基準測試 →

phi-4

microsoft / phi-4

15B
Phitext-generation共 3 個基準測試
transformerssafetensorsphi3text-generation
最佳77.0 tok/s
中位數36.0 tok/s
最低36.0 tok/s
查看基準測試 →

NVIDIA-Nemotron-3-Super-120B-A12B-BF16

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-BF16

124B
text-generation共 3 個基準測試
transformerssafetensorsnemotron_htext-generation
查看基準測試 →

Qwen3-32B

Qwen / Qwen3-32B

33B
Qwentext-generation共 3 個基準測試
transformerssafetensorsqwen3text-generation
最佳79.3 tok/s
中位數22.9 tok/s
最低22.8 tok/s
查看基準測試 →

MiniMax-M2.5

MiniMaxAI / MiniMax-M2.5

229B
Minimaxtext-generation共 3 個基準測試
transformerssafetensorsminimax_m2text-generation
最佳504 tok/s
中位數419 tok/s
最低334 tok/s
查看基準測試 →

Step-3.7-Flash

stepfun-ai / Step-3.7-Flash

MoE201B
image-text-to-text共 2 個基準測試
transformerssafetensorsstep3p7text-generation
查看基準測試 →

NVIDIA-Nemotron-Nano-12B-v2-Base

nvidia / NVIDIA-Nemotron-Nano-12B-v2-Base

12B
text-generation共 2 個基準測試
transformerssafetensorsnvidiapytorch
查看基準測試 →

Qwen3-4B-Base

Qwen / Qwen3-4B-Base

4B
Qwentext-generation共 2 個基準測試
transformerssafetensorsqwen3text-generation
查看基準測試 →

Kimi-K2.5

moonshotai / Kimi-K2.5

1.1T
image-text-to-text共 2 個基準測試
transformerssafetensorskimi_k25image-feature-extraction
最佳74.0 tok/s
中位數74.0 tok/s
最低74.0 tok/s
查看基準測試 →

Llama-3.2-3B-Instruct

meta-llama / Llama-3.2-3B-Instruct

3B
Llamatext-generation共 2 個基準測試
transformerssafetensorsllamatext-generation
最佳79.9 tok/s
中位數65.4 tok/s
最低50.9 tok/s
查看基準測試 →

MiniMax-M2.1

MiniMaxAI / MiniMax-M2.1

229B
Minimaxtext-generation共 2 個基準測試
transformerssafetensorsminimax_m2text-generation
最佳499 tok/s
中位數416 tok/s
最低333 tok/s
查看基準測試 →

Qwen3-VL-30B-A3B-Instruct

Qwen / Qwen3-VL-30B-A3B-Instruct

31B
Qwenimage-text-to-text共 2 個基準測試
transformerssafetensorsqwen3_vl_moeimage-text-to-text
最佳56.6 tok/s
中位數52.2 tok/s
最低47.7 tok/s
查看基準測試 →

Ministral-3-3B-Base-2512

mistralai / Ministral-3-3B-Base-2512

4B
Mistral共 2 個基準測試
vllmsafetensorsmistral3mistral-common
查看基準測試 →

Llama-3.1-70B

meta-llama / Llama-3.1-70B

71B
Llamatext-generation共 2 個基準測試
transformerssafetensorsllamatext-generation
查看基準測試 →

GLM-5.2

zai-org / GLM-5.2

753B
text-generation共 1 個基準測試
transformerssafetensorsglm_moe_dsatext-generation
查看基準測試 →

Qwen2.5-3B

Qwen / Qwen2.5-3B

3B
Qwentext-generation共 1 個基準測試
safetensorsqwen2text-generationconversational
查看基準測試 →

GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

HauhauCS / GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

20B
Gpt共 1 個基準測試
ggufuncensoredabliteratedmxfp4
最佳66.8 tok/s
中位數66.8 tok/s
最低66.8 tok/s
查看基準測試 →

UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

uncensoredai / UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

14B
Deepseek-R1共 1 個基準測試
safetensorsqwen2license:apache-2.0region:us
最佳27.0 tok/s
中位數27.0 tok/s
最低27.0 tok/s
查看基準測試 →

Qwen3.5-9B-Red_Team

LuisPPB16 / Qwen3.5-9B-Red_Team

9B
Qwen共 1 個基準測試
ggufqwen3_5llama.cppunsloth
最佳35.9 tok/s
中位數35.9 tok/s
最低35.9 tok/s
查看基準測試 →

rwkv-7-world

BlinkDL / rwkv-7-world

Starcodertext-generation共 1 個基準測試
pytorchtext-generationcausal-lmrwkv
查看基準測試 →

LFM2.5-350M-Base

LiquidAI / LFM2.5-350M-Base

0M
text-generation共 1 個基準測試
transformerssafetensorslfm2text-generation
查看基準測試 →

MiniCPM3-4B

openbmb / MiniCPM3-4B

4B
text-generation共 1 個基準測試
transformerspytorchminicpm3text-generation
最佳6.1 tok/s
中位數6.1 tok/s
最低6.1 tok/s
查看基準測試 →

North-Mini-Code-1.0

CohereLabs / North-Mini-Code-1.0

30B
Coheretext-generation共 1 個基準測試
transformerssafetensorscohere2_moetext-generation
最佳258 tok/s
中位數258 tok/s
最低258 tok/s
查看基準測試 →

Qwen3.5-0.8B-Q8_0.gguf

Manojb / Qwen3.5-0.8B-Q8_0.gguf

1B
Qwen共 1 個基準測試
ggufendpoints_compatibleregion:usconversational
最佳346 tok/s
中位數346 tok/s
最低346 tok/s
查看基準測試 →

MiniCPM5-1B-GGUF

openbmb / MiniCPM5-1B-GGUF

1B
Llamatext-generation共 1 個基準測試
transformersggufminicpmminicpm5
最佳126 tok/s
中位數126 tok/s
最低126 tok/s
查看基準測試 →

Qwen3.6-35B-A3B-4bit-DWQ

mlx-community / Qwen3.6-35B-A3B-4bit-DWQ

35B
Qwentext-generation共 1 個基準測試
mlxsafetensorsqwen3_5_moetext-generation
最佳78.9 tok/s
中位數78.9 tok/s
最低78.9 tok/s
查看基準測試 →

MiMo-V2.5

XiaomiMiMo / MiMo-V2.5

311B
共 1 個基準測試
safetensorsmimo_v2multimodalvision-language
查看基準測試 →

Qwen3.5-122B-A10B-GPTQ-Int4

Qwen / Qwen3.5-122B-A10B-GPTQ-Int4

125B
Qwenimage-text-to-text共 1 個基準測試
transformerssafetensorsqwen3_5_moeimage-text-to-text
最佳49.1 tok/s
中位數49.1 tok/s
最低49.1 tok/s
查看基準測試 →

Llama-2-7b

meta-llama / Llama-2-7b

7B
Llamatext-generation共 1 個基準測試
facebookmetapytorchllama
最佳110 tok/s
中位數110 tok/s
最低110 tok/s
查看基準測試 →

Qwen2.5-32B

Qwen / Qwen2.5-32B

33B
Qwentext-generation共 1 個基準測試
safetensorsqwen2text-generationconversational
查看基準測試 →

Qwen3-VL-8B-Instruct

Qwen / Qwen3-VL-8B-Instruct

9B
Qwenimage-text-to-text共 1 個基準測試
transformerssafetensorsqwen3_vlimage-text-to-text
最佳95.9 tok/s
中位數95.9 tok/s
最低95.9 tok/s
查看基準測試 →

Ternary-Bonsai-8B-unpacked

prism-ml / Ternary-Bonsai-8B-unpacked

8B
Qwen共 1 個基準測試
safetensorsqwen3prismmlbonsai
查看基準測試 →

Qwen3.5-35B-A3B-4bit

mlx-community / Qwen3.5-35B-A3B-4bit

6B
Qwenimage-text-to-text共 1 個基準測試
transformerssafetensorsqwen3_5_moeimage-text-to-text
最佳105 tok/s
中位數105 tok/s
最低105 tok/s
查看基準測試 →

gemma-3-4b-pt

google / gemma-3-4b-pt

4B
Gemmaimage-text-to-text共 1 個基準測試
transformerssafetensorsgemma3image-text-to-text
查看基準測試 →

GLM-5

zai-org / GLM-5

754B
text-generation共 1 個基準測試
transformerssafetensorsglm_moe_dsatext-generation
查看基準測試 →

LFM2-24B-A2B

LiquidAI / LFM2-24B-A2B

24B
text-generation共 1 個基準測試
transformerssafetensorsliquidlfm2
最佳161 tok/s
中位數161 tok/s
最低161 tok/s
查看基準測試 →

DeepSeek-V4-Flash-2bit-DQ

mlx-community / DeepSeek-V4-Flash-2bit-DQ

284B
Deepseektext-generation共 1 個基準測試
mlxsafetensorstext-generationen
最佳17.0 tok/s
中位數17.0 tok/s
最低17.0 tok/s
查看基準測試 →

Qwen3-VL-2B-Instruct

Qwen / Qwen3-VL-2B-Instruct

2B
Qwenimage-text-to-text共 1 個基準測試
transformerssafetensorsqwen3_vlimage-text-to-text
最佳27.9 tok/s
中位數27.9 tok/s
最低27.9 tok/s
查看基準測試 →

Qwen3-30B-A3B-Instruct-2507

Qwen / Qwen3-30B-A3B-Instruct-2507

31B
Qwentext-generation共 1 個基準測試
transformerssafetensorsqwen3_moetext-generation
查看基準測試 →

Gemopus-4-26B-A4B-it-GGUF

Jackrong / Gemopus-4-26B-A4B-it-GGUF

26B
Gemmatext-generation共 1 個基準測試
ggufgemma4gemmainstruction-tuned
最佳94.5 tok/s
中位數94.5 tok/s
最低94.5 tok/s
查看基準測試 →

Qwen2-VL-7B

Qwen / Qwen2-VL-7B

8B
Qwenimage-text-to-text
transformerssafetensorsqwen2_vlimage-text-to-text
查看基準測試 →

Qwen3.5-9B-NSC-ACE-SABER-GGUF

GestaltLabs / Qwen3.5-9B-NSC-ACE-SABER-GGUF

9B
Qwen
ggufqwen3_5nsc-acesaber
查看基準測試 →

LFM2-24B-A2B-GGUF

lmstudio-community / LFM2-24B-A2B-GGUF

24B
ggufendpoints_compatibleregion:usconversational
查看基準測試 →