ОбзорМоделиТаблица лидеровОборудованиеМаркетплейсОценкиОбучениеАрендаProДокументация API
Язык
Lucebox Hub campaign banner

Модели

114 model groups · 404 total

Qwen3.6-27B

Qwen / Qwen3.6-27B

28B
Qwenimage-text-to-text318 benchmarks total
transformerssafetensorsqwen3_5image-text-to-text
Лучшее255 tok/s
Медиана42.4 tok/s
Мин.1.6 tok/s
Смотреть бенчмарки →

Qwen3.6-35B-A3B

Qwen / Qwen3.6-35B-A3B

MoE3B active / 36B total
Qwenimage-text-to-text208 benchmarks total
transformerssafetensorsqwen3_5_moeimage-text-to-text
Лучшее391 tok/s
Медиана71.3 tok/s
Мин.6.4 tok/s
Смотреть бенчмарки →

MiniMax-M2.7

MiniMaxAI / MiniMax-M2.7

MoE229B
Minimaxtext-generation117 benchmarks total
transformerssafetensorsminimax_m2text-generation
Лучшее496 tok/s
Медиана32.2 tok/s
Мин.0.5 tok/s
Смотреть бенчмарки →

gemma-4-26B-A4B

google / gemma-4-26B-A4B

MoE4B active / 27B total
Gemmaimage-text-to-text86 benchmarks total
transformerssafetensorsgemma4image-text-to-text
Смотреть бенчмарки →

Qwen3.5-9B-Base

Qwen / Qwen3.5-9B-Base

10B
Qwenimage-text-to-text63 benchmarks total
transformerssafetensorsqwen3_5image-text-to-text
Смотреть бенчмарки →

Qwen3.5-27B

Qwen / Qwen3.5-27B

28B
Qwenimage-text-to-text63 benchmarks total
transformerssafetensorsqwen3_5image-text-to-text
Лучшее287 tok/s
Медиана30.9 tok/s
Мин.2.2 tok/s
Смотреть бенчмарки →

gemma-4-E4B

google / gemma-4-E4B

8B
Gemmaany-to-any41 benchmarks total
transformerssafetensorsgemma4image-text-to-text
Лучшее70.5 tok/s
Медиана70.5 tok/s
Мин.70.5 tok/s
Смотреть бенчмарки →

gemma-4-31B

google / gemma-4-31B

33B
Gemmaimage-text-to-text37 benchmarks total
transformerssafetensorsgemma4image-text-to-text
Смотреть бенчмарки →

Ornstein3.6-27B-MTP-NSC-ACE-SABER

GestaltLabs / Ornstein3.6-27B-MTP-NSC-ACE-SABER

27B
Qwenimage-text-to-text37 benchmarks total
transformerssafetensorsqwen3_5image-text-to-text
Смотреть бенчмарки →

Qwen3.5-35B-A3B-Base

Qwen / Qwen3.5-35B-A3B-Base

MoE3B active / 36B total
Qwenimage-text-to-text35 benchmarks total
transformerssafetensorsqwen3_5_moeimage-text-to-text
Смотреть бенчмарки →

Meta-Llama-3-8B-Instruct

meta-llama / Meta-Llama-3-8B-Instruct

8B
Llamatext-generation31 benchmarks total
transformerssafetensorsllamatext-generation
Лучшее148 tok/s
Медиана48.4 tok/s
Мин.13.6 tok/s
Смотреть бенчмарки →

Qwen3-Coder-30B-A3B-Instruct

Qwen / Qwen3-Coder-30B-A3B-Instruct

MoE3B active / 31B total
Qwentext-generation31 benchmarks total
transformerssafetensorsqwen3_moetext-generation
Лучшее101 tok/s
Медиана84.2 tok/s
Мин.75.9 tok/s
Смотреть бенчмарки →

DeepSeek-V4-Flash

deepseek-ai / DeepSeek-V4-Flash

MoE158B
Deepseektext-generation30 benchmarks total
transformerssafetensorsdeepseek_v4text-generation
Лучшее262 tok/s
Медиана33.0 tok/s
Мин.18.6 tok/s
Смотреть бенчмарки →

gemma-4-12B

google / gemma-4-12B

12B
Gemmaany-to-any25 benchmarks total
transformerssafetensorsgemma4_unifiedimage-text-to-text
Лучшее25.8 tok/s
Медиана25.8 tok/s
Мин.25.8 tok/s
Смотреть бенчмарки →

Qwen3.5-122B-A10B

Qwen / Qwen3.5-122B-A10B

MoE10B active / 125B total
Qwenimage-text-to-text25 benchmarks total
transformerssafetensorsqwen3_5_moeimage-text-to-text
Лучшее27.3 tok/s
Медиана25.4 tok/s
Мин.3.2 tok/s
Смотреть бенчмарки →

gpt-oss-20b

openai / gpt-oss-20b

MoE22B
Gpttext-generation24 benchmarks total
transformerssafetensorsgpt_osstext-generation
Лучшее991 tok/s
Медиана80.3 tok/s
Мин.12.0 tok/s
Смотреть бенчмарки →

Qwen2.5-14B

Qwen / Qwen2.5-14B

15B
Qwentext-generation22 benchmarks total
safetensorsqwen2text-generationconversational
Смотреть бенчмарки →

LFM2.5-8B-A1B-Base

LiquidAI / LFM2.5-8B-A1B-Base

MoE1B active / 8B total
text-generation21 benchmarks total
transformerssafetensorslfm2_moetext-generation
Смотреть бенчмарки →

Qwen3.5-4B-Base

Qwen / Qwen3.5-4B-Base

5B
Qwenimage-text-to-text18 benchmarks total
transformerssafetensorsqwen3_5image-text-to-text
Смотреть бенчмарки →

Qwen3-Coder-Next

Qwen / Qwen3-Coder-Next

80B
Qwentext-generation18 benchmarks total
transformerssafetensorsqwen3_nexttext-generation
Лучшее80.8 tok/s
Медиана55.8 tok/s
Мин.48.2 tok/s
Смотреть бенчмарки →

gemma-4-E2B

google / gemma-4-E2B

5B
Gemmaany-to-any16 benchmarks total
transformerssafetensorsgemma4image-text-to-text
Смотреть бенчмарки →

Llama-3.1-8B

meta-llama / Llama-3.1-8B

8B
Llamatext-generation15 benchmarks total
transformerssafetensorsllamatext-generation
Смотреть бенчмарки →

Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

nvidia / Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

MoE3B active / 33B total
any-to-any13 benchmarks total
transformerssafetensorsNemotronH_Nano_Omni_Reasoning_V3feature-extraction
Лучшее107 tok/s
Медиана90.6 tok/s
Мин.57.9 tok/s
Eval score· 1 eval
100.0%
Смотреть бенчмарки →

Mistral-Medium-3.5-128B

mistralai / Mistral-Medium-3.5-128B

128B
Mistral13 benchmarks total
safetensorsmistral3vLLMen
Лучшее7.4 tok/s
Медиана6.5 tok/s
Мин.6.2 tok/s
Смотреть бенчмарки →

gpt-oss-120b

openai / gpt-oss-120b

MoE120B
Gpttext-generation13 benchmarks total
transformerssafetensorsgpt_osstext-generation
Лучшее223 tok/s
Медиана70.0 tok/s
Мин.59.2 tok/s
Смотреть бенчмарки →

Qwen2.5-7B

Qwen / Qwen2.5-7B

8B
Qwentext-generation12 benchmarks total
transformerssafetensorsqwen2text-generation
Лучшее1.4k tok/s
Медиана1.4k tok/s
Мин.1.4k tok/s
Смотреть бенчмарки →

Qwen3-30B-A3B-Base

Qwen / Qwen3-30B-A3B-Base

MoE3B active / 31B total
Qwentext-generation11 benchmarks total
transformerssafetensorsqwen3_moetext-generation
Смотреть бенчмарки →

GLM-4.7-Flash

zai-org / GLM-4.7-Flash

MoE31B
text-generation11 benchmarks total
transformerssafetensorsglm4_moe_litetext-generation
Лучшее212 tok/s
Медиана176 tok/s
Мин.92.9 tok/s
Смотреть бенчмарки →

Nemotron-Cascade-2-30B-A3B

nvidia / Nemotron-Cascade-2-30B-A3B

MoE3B active / 32B total
text-generation11 benchmarks total
transformerssafetensorsnemotron_htext-generation
Лучшее141 tok/s
Медиана95.4 tok/s
Мин.89.8 tok/s
Смотреть бенчмарки →

gemma-3-12b-pt

google / gemma-3-12b-pt

12B
Gemmaimage-text-to-text10 benchmarks total
transformerssafetensorsgemma3image-text-to-text
Смотреть бенчмарки →

Qwen3.6-27B-DFlash

z-lab / Qwen3.6-27B-DFlash

2B
Qwentext-generation10 benchmarks total
transformerssafetensorsqwen3feature-extraction
Лучшее215 tok/s
Медиана39.2 tok/s
Мин.26.9 tok/s
Смотреть бенчмарки →

Ornith-1.0-35B-GGUF

deepreinforce-ai / Ornith-1.0-35B-GGUF

35B
text-generation9 benchmarks total
transformersgguftext-generationlicense:mit
Лучшее253 tok/s
Медиана64.4 tok/s
Мин.27.8 tok/s
Смотреть бенчмарки →

Nex-N2-mini

nex-agi / Nex-N2-mini

MoE35B
Qwentext-generation9 benchmarks total
transformerssafetensorsqwen3_5_moeimage-text-to-text
Лучшее107 tok/s
Медиана104 tok/s
Мин.40.5 tok/s
Смотреть бенчмарки →

GLM-5.2

zai-org / GLM-5.2

MoE753B
text-generation8 benchmarks total
transformerssafetensorsglm_moe_dsatext-generation
Смотреть бенчмарки →

LFM2.5-1.2B-Base

LiquidAI / LFM2.5-1.2B-Base

1B
text-generation8 benchmarks total
transformerssafetensorslfm2text-generation
Смотреть бенчмарки →

Qwen3.5-0.8B-Base

Qwen / Qwen3.5-0.8B-Base

1B
Qwenimage-text-to-text8 benchmarks total
transformerssafetensorsqwen3_5image-text-to-text
Лучшее2.7k tok/s
Медиана2.7k tok/s
Мин.2.7k tok/s
Смотреть бенчмарки →

DeepSeek-R1-Distill-Qwen-7B

deepseek-ai / DeepSeek-R1-Distill-Qwen-7B

8B
Deepseek-R1text-generation8 benchmarks total
transformerssafetensorsqwen2text-generation
Лучшее144 tok/s
Медиана69.0 tok/s
Мин.38.1 tok/s
Смотреть бенчмарки →

Ling-2.6-flash

inclusionAI / Ling-2.6-flash

MoE107B
text-generation8 benchmarks total
safetensorsbailing_hybridtext-generationconversational
Лучшее94.9 tok/s
Медиана86.2 tok/s
Мин.82.3 tok/s
Смотреть бенчмарки →

Qwen2.5-72B

Qwen / Qwen2.5-72B

73B
Qwentext-generation8 benchmarks total
transformerssafetensorsqwen2text-generation
Смотреть бенчмарки →

Ornith-1.0-9B

deepreinforce-ai / Ornith-1.0-9B

0M
Qwentext-generation6 benchmarks total
transformerssafetensorsqwen3_5image-text-to-text
Лучшее77.5 tok/s
Медиана25.7 tok/s
Мин.24.7 tok/s
Смотреть бенчмарки →

Qwen3-8B-Base

Qwen / Qwen3-8B-Base

8B
Qwentext-generation6 benchmarks total
transformerssafetensorsqwen3text-generation
Смотреть бенчмарки →

DeepSeek-Coder-V2-Lite-Instruct

deepseek-ai / DeepSeek-Coder-V2-Lite-Instruct

MoE16B
Deepseek-Codertext-generation6 benchmarks total
transformerssafetensorsdeepseek_v2text-generation
Лучшее150 tok/s
Медиана87.0 tok/s
Мин.39.0 tok/s
Смотреть бенчмарки →

Llama-2-7b-hf

meta-llama / Llama-2-7b-hf

7B
Llamatext-generation5 benchmarks total
transformerspytorchsafetensorsllama
Лучшее202 tok/s
Медиана50.4 tok/s
Мин.19.1 tok/s
Смотреть бенчмарки →

Llama-3.2-1B-Instruct

meta-llama / Llama-3.2-1B-Instruct

1B
Llamatext-generation5 benchmarks total
transformerssafetensorsllamatext-generation
Лучшее448 tok/s
Медиана195 tok/s
Мин.184 tok/s
Смотреть бенчмарки →

granite-4.0-h-micro

ibm-granite / granite-4.0-h-micro

MoE3B
text-generation5 benchmarks total
transformerssafetensorsgranitemoehybridtext-generation
Лучшее141 tok/s
Медиана45.3 tok/s
Мин.45.0 tok/s
Смотреть бенчмарки →

LFM2-8B-A1B

LiquidAI / LFM2-8B-A1B

MoE1B active / 8B total
text-generation5 benchmarks total
transformerssafetensorslfm2_moetext-generation
Лучшее18.3 tok/s
Медиана18.3 tok/s
Мин.9.9 tok/s
Смотреть бенчмарки →

NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

nvidia / NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

MoE3B active / 32B total
text-generation5 benchmarks total
transformerssafetensorsnemotron_htext-generation
Лучшее313 tok/s
Медиана286 tok/s
Мин.117 tok/s
Смотреть бенчмарки →

Qwen3-14B-Base

Qwen / Qwen3-14B-Base

15B
Qwentext-generation5 benchmarks total
transformerssafetensorsqwen3text-generation
Смотреть бенчмарки →

Mistral-Small-3.1-24B-Base-2503

mistralai / Mistral-Small-3.1-24B-Base-2503

24B
Mistral5 benchmarks total
vllmsafetensorsmistral3mistral-common
Смотреть бенчмарки →

gemma-3-1b-pt

google / gemma-3-1b-pt

1B
Gemmatext-generation5 benchmarks total
transformerssafetensorsgemma3_texttext-generation
Смотреть бенчмарки →

Qwen3.5-2B-Base

Qwen / Qwen3.5-2B-Base

2B
Qwenimage-text-to-text5 benchmarks total
transformerssafetensorsqwen3_5image-text-to-text
Смотреть бенчмарки →

Qwen2.5-1.5B

Qwen / Qwen2.5-1.5B

2B
Qwentext-generation5 benchmarks total
transformerssafetensorsqwen2text-generation
Смотреть бенчмарки →

NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

MoE12B active / 67B total
Opttext-generation5 benchmarks total
transformerssafetensorsnemotron_htext-generation
Лучшее262 tok/s
Медиана175 tok/s
Мин.49.6 tok/s
Смотреть бенчмарки →

DeepSeek-R1-Distill-Qwen-14B

deepseek-ai / DeepSeek-R1-Distill-Qwen-14B

15B
Deepseek-R1text-generation4 benchmarks total
transformerssafetensorsarxiv:2501.12948license:mit
Лучшее24.4 tok/s
Медиана24.4 tok/s
Мин.24.4 tok/s
Смотреть бенчмарки →

gemma-3n-E4B

google / gemma-3n-E4B

8B
Gemmaimage-text-to-text4 benchmarks total
transformerssafetensorsgemma3nimage-text-to-text
Смотреть бенчмарки →

MiniMax-M2

MiniMaxAI / MiniMax-M2

229B
Minimaxtext-generation4 benchmarks total
transformerssafetensorsminimax_m2text-generation
Лучшее493 tok/s
Медиана398 tok/s
Мин.303 tok/s
Смотреть бенчмарки →

GLM-5.1

zai-org / GLM-5.1

MoE754B
text-generation4 benchmarks total
transformerssafetensorsglm_moe_dsatext-generation
Смотреть бенчмарки →

Qwen3-32B

Qwen / Qwen3-32B

33B
Qwentext-generation4 benchmarks total
transformerssafetensorsqwen3text-generation
Лучшее79.3 tok/s
Медиана22.8 tok/s
Мин.3.2 tok/s
Смотреть бенчмарки →

granite-4.1-30b

ibm-granite / granite-4.1-30b

29B
text-generation4 benchmarks total
transformerssafetensorsgranitetext-generation
Лучшее17.9 tok/s
Медиана16.4 tok/s
Мин.15.6 tok/s
Смотреть бенчмарки →

Gemopus-4-26B-A4B-it

Jackrong / Gemopus-4-26B-A4B-it

MoE4B active / 27B total
Gemmatext-generation4 benchmarks total
safetensorsgemma4gemmainstruction-tuned
Лучшее64.3 tok/s
Медиана55.0 tok/s
Мин.45.7 tok/s
Смотреть бенчмарки →

Qwen3-VL-8B-Instruct

Qwen / Qwen3-VL-8B-Instruct

9B
Qwenimage-text-to-text3 benchmarks total
transformerssafetensorsqwen3_vlimage-text-to-text
Лучшее95.9 tok/s
Медиана95.9 tok/s
Мин.95.9 tok/s
Смотреть бенчмарки →

Ornith-1.0-35B

deepreinforce-ai / Ornith-1.0-35B

MoE0M
Qwentext-generation3 benchmarks total
transformerssafetensorsqwen3_5_moeimage-text-to-text
Лучшее89.1 tok/s
Медиана78.4 tok/s
Мин.67.8 tok/s
Смотреть бенчмарки →

gemma-3-4b-pt

google / gemma-3-4b-pt

4B
Gemmaimage-text-to-text3 benchmarks total
transformerssafetensorsgemma3image-text-to-text
Смотреть бенчмарки →

Step-3.7-Flash

stepfun-ai / Step-3.7-Flash

MoE201B
image-text-to-text3 benchmarks total
transformerssafetensorsstep3p7text-generation
Смотреть бенчмарки →

phi-4

microsoft / phi-4

15B
Phitext-generation3 benchmarks total
transformerssafetensorsphi3text-generation
Лучшее77.0 tok/s
Медиана36.0 tok/s
Мин.36.0 tok/s
Смотреть бенчмарки →

Qwen3-4B-Base

Qwen / Qwen3-4B-Base

4B
Qwentext-generation3 benchmarks total
transformerssafetensorsqwen3text-generation
Смотреть бенчмарки →

NVIDIA-Nemotron-3-Super-120B-A12B-BF16

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-BF16

MoE12B active / 124B total
text-generation3 benchmarks total
transformerssafetensorsnemotron_htext-generation
Смотреть бенчмарки →

MiniMax-M2.5

MiniMaxAI / MiniMax-M2.5

MoE229B
Minimaxtext-generation3 benchmarks total
transformerssafetensorsminimax_m2text-generation
Лучшее504 tok/s
Медиана419 tok/s
Мин.334 tok/s
Смотреть бенчмарки →

DeepSeek-V4-Flash-DSpark

deepseek-ai / DeepSeek-V4-Flash-DSpark

MoE165B
Deepseektext-generation2 benchmarks total
transformerssafetensorsdeepseek_v4text-generation
Лучшее262 tok/s
Медиана262 tok/s
Мин.262 tok/s
Смотреть бенчмарки →

Qwen2.5-VL-7B-Instruct

Qwen / Qwen2.5-VL-7B-Instruct

8B
Qwenimage-text-to-text2 benchmarks total
transformerssafetensorsqwen2_5_vlimage-text-to-text
Смотреть бенчмарки →

Ornith-1.0-9B-GGUF

deepreinforce-ai / Ornith-1.0-9B-GGUF

9B
text-generation2 benchmarks total
transformersgguftext-generationlicense:mit
Лучшее32.0 tok/s
Медиана31.9 tok/s
Мин.31.8 tok/s
Смотреть бенчмарки →

diffusiongemma-26B-A4B-it

google / diffusiongemma-26B-A4B-it

MoE4B active / 26B total
Gemmaimage-text-to-text2 benchmarks total
transformerssafetensorsdiffusion_gemmaimage-text-to-text
Смотреть бенчмарки →

Qwen2.5-0.5B

Qwen / Qwen2.5-0.5B

0M
Qwentext-generation2 benchmarks total
transformerssafetensorsqwen2text-generation
Смотреть бенчмарки →

NVIDIA-Nemotron-Nano-12B-v2-Base

nvidia / NVIDIA-Nemotron-Nano-12B-v2-Base

12B
text-generation2 benchmarks total
transformerssafetensorsnvidiapytorch
Смотреть бенчмарки →

Kimi-K2.5

moonshotai / Kimi-K2.5

1.1T
image-text-to-text2 benchmarks total
transformerssafetensorskimi_k25feature-extraction
Лучшее74.0 tok/s
Медиана74.0 tok/s
Мин.74.0 tok/s
Смотреть бенчмарки →

Llama-3.2-3B-Instruct

meta-llama / Llama-3.2-3B-Instruct

3B
Llamatext-generation2 benchmarks total
transformerssafetensorsllamatext-generation
Лучшее79.9 tok/s
Медиана65.4 tok/s
Мин.50.9 tok/s
Смотреть бенчмарки →

MiniMax-M2.1

MiniMaxAI / MiniMax-M2.1

229B
Minimaxtext-generation2 benchmarks total
transformerssafetensorsminimax_m2text-generation
Лучшее499 tok/s
Медиана416 tok/s
Мин.333 tok/s
Смотреть бенчмарки →

Qwen3.5-35B-A3B-4bit

mlx-community / Qwen3.5-35B-A3B-4bit

MoE3B active / 6B total
Qwenimage-text-to-text2 benchmarks total
transformerssafetensorsqwen3_5_moeimage-text-to-text
Лучшее140 tok/s
Медиана122 tok/s
Мин.105 tok/s
Смотреть бенчмарки →

Qwen3-VL-30B-A3B-Instruct

Qwen / Qwen3-VL-30B-A3B-Instruct

31B
Qwenimage-text-to-text2 benchmarks total
transformerssafetensorsqwen3_vl_moeimage-text-to-text
Лучшее56.6 tok/s
Медиана52.2 tok/s
Мин.47.7 tok/s
Смотреть бенчмарки →

Ministral-3-3B-Base-2512

mistralai / Ministral-3-3B-Base-2512

4B
Mistral2 benchmarks total
vllmsafetensorsmistral3mistral-common
Смотреть бенчмарки →

Llama-3.1-70B

meta-llama / Llama-3.1-70B

71B
Llamatext-generation2 benchmarks total
transformerssafetensorsllamatext-generation
Смотреть бенчмарки →

Ornith-1.0-397B

deepreinforce-ai / Ornith-1.0-397B

MoE397B
Qwentext-generation1 benchmarks total
transformerssafetensorsqwen3_5_moeimage-text-to-text
Смотреть бенчмарки →

MiniMax-M3

MiniMaxAI / MiniMax-M3

MoE427B
Minimaximage-text-to-text1 benchmarks total
transformerssafetensorsminimax_m3_vlimage-text-to-text
Смотреть бенчмарки →

Unlimited-OCR

baidu / Unlimited-OCR

MoE3B
image-text-to-text1 benchmarks total
transformerssafetensorsunlimited-ocrfeature-extraction
Лучшее365 tok/s
Медиана365 tok/s
Мин.365 tok/s
Смотреть бенчмарки →

Qwen3-1.7B-Base

Qwen / Qwen3-1.7B-Base

2B
Qwentext-generation1 benchmarks total
transformerssafetensorsqwen3text-generation
Смотреть бенчмарки →

gemma-4-26B-A4B-it-QAT-MLX-4bit

lmstudio-community / gemma-4-26B-A4B-it-QAT-MLX-4bit

MoE4B active / 5B total
Gemmaimage-text-to-text1 benchmarks total
transformerssafetensorsgemma4image-text-to-text
Лучшее65.3 tok/s
Медиана65.3 tok/s
Мин.65.3 tok/s
Смотреть бенчмарки →

granite-4.1-8b

ibm-granite / granite-4.1-8b

9B
1 benchmarks total
transformerssafetensorslanguagegranite-4.1
Смотреть бенчмарки →

Step-3.7-Flash-NVFP4

stepfun-ai / Step-3.7-Flash-NVFP4

MoE104B
Optimage-text-to-text1 benchmarks total
transformerssafetensorsstep3p7text-generation
Лучшее27.4 tok/s
Медиана27.4 tok/s
Мин.27.4 tok/s
Смотреть бенчмарки →

Qwable-3.6-35b

Mia-AiLab / Qwable-3.6-35b

35B
Qwen1 benchmarks total
transformersggufqwenqwen3
Лучшее54.1 tok/s
Медиана54.1 tok/s
Мин.54.1 tok/s
Смотреть бенчмарки →

Qwen2.5-3B

Qwen / Qwen2.5-3B

3B
Qwentext-generation1 benchmarks total
safetensorsqwen2text-generationconversational
Смотреть бенчмарки →

GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

HauhauCS / GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

20B
Gpt1 benchmarks total
ggufuncensoredabliteratedmxfp4
Лучшее66.8 tok/s
Медиана66.8 tok/s
Мин.66.8 tok/s
Смотреть бенчмарки →

UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

uncensoredai / UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

14B
Deepseek-R11 benchmarks total
safetensorsqwen2license:apache-2.0region:us
Лучшее27.0 tok/s
Медиана27.0 tok/s
Мин.27.0 tok/s
Смотреть бенчмарки →

Qwen3.5-9B-Red_Team

LuisPPB16 / Qwen3.5-9B-Red_Team

9B
Qwen1 benchmarks total
ggufqwen3_5llama.cppunsloth
Лучшее35.9 tok/s
Медиана35.9 tok/s
Мин.35.9 tok/s
Смотреть бенчмарки →

rwkv-7-world

BlinkDL / rwkv-7-world

Starcodertext-generation1 benchmarks total
pytorchtext-generationcausal-lmrwkv
Смотреть бенчмарки →

LFM2.5-350M-Base

LiquidAI / LFM2.5-350M-Base

0M
text-generation1 benchmarks total
transformerssafetensorslfm2text-generation
Смотреть бенчмарки →

MiniCPM3-4B

openbmb / MiniCPM3-4B

4B
text-generation1 benchmarks total
transformerspytorchminicpm3text-generation
Лучшее6.1 tok/s
Медиана6.1 tok/s
Мин.6.1 tok/s
Смотреть бенчмарки →

North-Mini-Code-1.0

CohereLabs / North-Mini-Code-1.0

30B
Coheretext-generation1 benchmarks total
transformerssafetensorscohere2_moetext-generation
Лучшее258 tok/s
Медиана258 tok/s
Мин.258 tok/s
Смотреть бенчмарки →

Qwen3.5-0.8B-Q8_0.gguf

Manojb / Qwen3.5-0.8B-Q8_0.gguf

1B
Qwen1 benchmarks total
ggufendpoints_compatibleregion:usconversational
Лучшее346 tok/s
Медиана346 tok/s
Мин.346 tok/s
Смотреть бенчмарки →

MiniCPM5-1B-GGUF

openbmb / MiniCPM5-1B-GGUF

1B
Llamatext-generation1 benchmarks total
transformersggufminicpmminicpm5
Лучшее126 tok/s
Медиана126 tok/s
Мин.126 tok/s
Смотреть бенчмарки →

Qwen3.6-35B-A3B-4bit-DWQ

mlx-community / Qwen3.6-35B-A3B-4bit-DWQ

35B
Qwentext-generation1 benchmarks total
mlxsafetensorsqwen3_5_moetext-generation
Лучшее78.9 tok/s
Медиана78.9 tok/s
Мин.78.9 tok/s
Смотреть бенчмарки →

MiMo-V2.5

XiaomiMiMo / MiMo-V2.5

311B
1 benchmarks total
safetensorsmimo_v2multimodalvision-language
Смотреть бенчмарки →

Qwen3.5-122B-A10B-GPTQ-Int4

Qwen / Qwen3.5-122B-A10B-GPTQ-Int4

125B
Qwenimage-text-to-text1 benchmarks total
transformerssafetensorsqwen3_5_moeimage-text-to-text
Лучшее49.1 tok/s
Медиана49.1 tok/s
Мин.49.1 tok/s
Смотреть бенчмарки →

Llama-2-7b

meta-llama / Llama-2-7b

7B
Llamatext-generation1 benchmarks total
facebookmetapytorchllama
Лучшее110 tok/s
Медиана110 tok/s
Мин.110 tok/s
Смотреть бенчмарки →

Qwen2.5-32B

Qwen / Qwen2.5-32B

33B
Qwentext-generation1 benchmarks total
safetensorsqwen2text-generationconversational
Смотреть бенчмарки →

Ternary-Bonsai-8B-unpacked

prism-ml / Ternary-Bonsai-8B-unpacked

8B
Qwen1 benchmarks total
safetensorsqwen3prismmlbonsai
Смотреть бенчмарки →

GLM-5

zai-org / GLM-5

MoE754B
text-generation1 benchmarks total
transformerssafetensorsglm_moe_dsatext-generation
Смотреть бенчмарки →

LFM2-24B-A2B

LiquidAI / LFM2-24B-A2B

24B
text-generation1 benchmarks total
transformerssafetensorsliquidlfm2
Лучшее161 tok/s
Медиана161 tok/s
Мин.161 tok/s
Смотреть бенчмарки →

DeepSeek-V4-Flash-2bit-DQ

mlx-community / DeepSeek-V4-Flash-2bit-DQ

284B
Deepseektext-generation1 benchmarks total
mlxsafetensorstext-generationen
Лучшее17.0 tok/s
Медиана17.0 tok/s
Мин.17.0 tok/s
Смотреть бенчмарки →

Qwen3-VL-2B-Instruct

Qwen / Qwen3-VL-2B-Instruct

2B
Qwenimage-text-to-text1 benchmarks total
transformerssafetensorsqwen3_vlimage-text-to-text
Лучшее27.9 tok/s
Медиана27.9 tok/s
Мин.27.9 tok/s
Смотреть бенчмарки →

Qwen3-30B-A3B-Instruct-2507

Qwen / Qwen3-30B-A3B-Instruct-2507

31B
Qwentext-generation1 benchmarks total
transformerssafetensorsqwen3_moetext-generation
Смотреть бенчмарки →

Gemopus-4-26B-A4B-it-GGUF

Jackrong / Gemopus-4-26B-A4B-it-GGUF

26B
Gemmatext-generation1 benchmarks total
ggufgemma4gemmainstruction-tuned
Лучшее94.5 tok/s
Медиана94.5 tok/s
Мин.94.5 tok/s
Смотреть бенчмарки →

Qwen2-VL-7B

Qwen / Qwen2-VL-7B

8B
Qwenimage-text-to-text
transformerssafetensorsqwen2_vlimage-text-to-text
Смотреть бенчмарки →

Qwen3.5-9B-NSC-ACE-SABER-GGUF

GestaltLabs / Qwen3.5-9B-NSC-ACE-SABER-GGUF

9B
Qwen
ggufqwen3_5nsc-acesaber
Смотреть бенчмарки →

LFM2-24B-A2B-GGUF

lmstudio-community / LFM2-24B-A2B-GGUF

24B
ggufendpoints_compatibleregion:usconversational
Смотреть бенчмарки →