शुरुआत करेंलीडरबोर्डDecode calculatorमॉडलReportsहार्डवेयरबेंचमार्कमार्केटप्लेसरेंटलProAPI दस्तावेज़
भाषा
Actual Computer — Every computer, one endpoint

मॉडल

242 model groups · 959 total

Qwen3.8-27B

Qwen / Qwen3.8-27B

Qwenimage-text-to-text132 स्पीड टेस्ट
27Bqwen3_5conversational
सर्वश्रेष्ठ435 tok/s
मीडियन49.0 tok/s
न्यूनतम4.4 tok/s
Eval score· 3 evalsBF16+
69.4%
स्पीड टेस्ट देखें →

Qwen3.6-35B-A3B

Qwen / Qwen3.6-35B-A3B

Qwenimage-text-to-text205 स्पीड टेस्ट
MoE3B active / 35B totalqwen3_5_moeconversational
सर्वश्रेष्ठ6.0k tok/s
मीडियन69.0 tok/s
न्यूनतम6.4 tok/s
Eval score· 2 evalsBF16+
91.6%
स्पीड टेस्ट देखें →

Qwen3.6-27B

Qwen / Qwen3.6-27B

Qwenimage-text-to-text179 स्पीड टेस्ट
27Bqwen3_5conversational
सर्वश्रेष्ठ439 tok/s
मीडियन43.7 tok/s
न्यूनतम1.6 tok/s
स्पीड टेस्ट देखें →

Qwen3.8-27B-MTP-GGUF

Jackrong / Qwen3.8-27B-MTP-GGUF

Qwenimage-text-to-text236 स्पीड टेस्ट
27Bllama.cppvisionmultimodal
सर्वश्रेष्ठ72.6 tok/s
मीडियन36.6 tok/s
न्यूनतम11.6 tok/s
स्पीड टेस्ट देखें →

Ornith-1.5-35B-A3B

ornith-ai / Ornith-1.5-35B-A3B

Qwentext-generation1 स्पीड टेस्ट
MoE3B active / 35B totalqwen3_5_moeimage-text-to-textconversational
सर्वश्रेष्ठ35.4 tok/s
मीडियन35.4 tok/s
न्यूनतम35.4 tok/s
स्पीड टेस्ट देखें →

gemma-4-26B-A4B

google / gemma-4-26B-A4B

Gemmaimage-text-to-text
MoE4B active / 26B totalgemma4
स्पीड टेस्ट देखें →

Qwen3.5-9B-Base

Qwen / Qwen3.5-9B-Base

Qwenimage-text-to-text
9Bqwen3_5conversational
स्पीड टेस्ट देखें →

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

nvidia / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

text-generation16 स्पीड टेस्ट
MoE3B active / 30B totalnemotron_hnvidianemotron-3.5
सर्वश्रेष्ठ7.2k tok/s
मीडियन140 tok/s
न्यूनतम49.8 tok/s
स्पीड टेस्ट देखें →

Ornith-1.5-35B-A3B-GGUF

ornith-ai / Ornith-1.5-35B-A3B-GGUF

text-generation129 स्पीड टेस्ट
MoE3B active / 35B totalconversational
सर्वश्रेष्ठ131 tok/s
मीडियन105 tok/s
न्यूनतम26.5 tok/s
स्पीड टेस्ट देखें →

Qwen3.8-Flash-Next

Qwen / Qwen3.8-Flash-Next

Qwenimage-text-to-text35 स्पीड टेस्ट
180Bqwen4_expconversational
सर्वश्रेष्ठ205 tok/s
मीडियन69.0 tok/s
न्यूनतम7.7 tok/s
Eval score· 2 evalsW4B
85.7%
स्पीड टेस्ट देखें →

MiniMax-M2.7

MiniMaxAI / MiniMax-M2.7

Minimaxtext-generation40 स्पीड टेस्ट
MoE229Bminimax_m2conversationalfp8
सर्वश्रेष्ठ496 tok/s
मीडियन32.2 tok/s
न्यूनतम0.5 tok/s
स्पीड टेस्ट देखें →

DeepSeek-V4-Flash-0731

deepseek-ai / DeepSeek-V4-Flash-0731

Deepseektext-generation73 स्पीड टेस्ट
MoE304Bdeepseek_v48-bitfp8
सर्वश्रेष्ठ404 tok/s
मीडियन84.8 tok/s
न्यूनतम19.0 tok/s
Eval score· 5 evalsFP8
90.4%
स्पीड टेस्ट देखें →

gemma-4-12B

google / gemma-4-12B

Gemmaany-to-any1 स्पीड टेस्ट
12Bgemma4_unifiedimage-text-to-text
सर्वश्रेष्ठ25.8 tok/s
मीडियन25.8 tok/s
न्यूनतम25.8 tok/s
स्पीड टेस्ट देखें →

granite-4.1-30b-base

ibm-granite / granite-4.1-30b-base

text-generation
30Bgranitelanguagegranite-4.1
स्पीड टेस्ट देखें →

gemma-4-E4B

google / gemma-4-E4B

Gemmaany-to-any3 स्पीड टेस्ट
4Bgemma4image-text-to-text
सर्वश्रेष्ठ71.2 tok/s
मीडियन70.5 tok/s
न्यूनतम70.5 tok/s
स्पीड टेस्ट देखें →

GLM-5.3-Flash

zai-org / GLM-5.3-Flash

image-text-to-text52 स्पीड टेस्ट
321Bglm5_nextconversationalen
सर्वश्रेष्ठ1.5k tok/s
मीडियन127 tok/s
न्यूनतम15.3 tok/s
Eval score· 8 evalsexl3+
73.4%
स्पीड टेस्ट देखें →

Qwen3.5-35B-A3B-Base

Qwen / Qwen3.5-35B-A3B-Base

Qwenimage-text-to-text
MoE3B active / 35B totalqwen3_5_moeconversational
स्पीड टेस्ट देखें →

Ornith-1.0-35B

ornith-ai / Ornith-1.0-35B

Qwentext-generation14 स्पीड टेस्ट
MoE35Bqwen3_5_moeimage-text-to-textconversational
सर्वश्रेष्ठ164 tok/s
मीडियन71.8 tok/s
न्यूनतम54.1 tok/s
स्पीड टेस्ट देखें →

NVIDIA-Nemotron-Nano-12B-v2-Base

nvidia / NVIDIA-Nemotron-Nano-12B-v2-Base

text-generation
12Bnvidiaenes
स्पीड टेस्ट देखें →

Qwen3-8B-Base

Qwen / Qwen3-8B-Base

Qwentext-generation
8Bqwen3conversational
स्पीड टेस्ट देखें →

Ornith-1.5-9B

ornith-ai / Ornith-1.5-9B

Qwentext-generation92 स्पीड टेस्ट
9Bqwen3_5image-text-to-textconversational
सर्वश्रेष्ठ3.3k tok/s
मीडियन73.3 tok/s
न्यूनतम9.2 tok/s
Eval score· 1 evalBF16
81.7%
स्पीड टेस्ट देखें →

Qwen3.5-27B

Qwen / Qwen3.5-27B

Qwenimage-text-to-text19 स्पीड टेस्ट
27Bqwen3_5conversational
सर्वश्रेष्ठ287 tok/s
मीडियन25.1 tok/s
न्यूनतम2.2 tok/s
स्पीड टेस्ट देखें →

GLM-5.2

zai-org / GLM-5.2

text-generation
MoE753Bglm_moe_dsaconversationalen
स्पीड टेस्ट देखें →

DeepSeek-V4-Flash

deepseek-ai / DeepSeek-V4-Flash

Deepseektext-generation38 स्पीड टेस्ट
MoE291Bdeepseek_v48-bitfp8
सर्वश्रेष्ठ262 tok/s
मीडियन28.5 tok/s
न्यूनतम7.0 tok/s
Eval score· 1 evalIQ3_XXS
94.8%
स्पीड टेस्ट देखें →

Laguna-S-2.1

poolside / Laguna-S-2.1

text-generation47 स्पीड टेस्ट
MoE118Blagunalaguna-s-2.1vllm
सर्वश्रेष्ठ127 tok/s
मीडियन41.9 tok/s
न्यूनतम15.1 tok/s
स्पीड टेस्ट देखें →

LFM2.5-8B-A1B-Base

LiquidAI / LFM2.5-8B-A1B-Base

text-generation
MoE1B active / 8B totallfm2_moeliquidlfm2.5
स्पीड टेस्ट देखें →

gemma-4-31B

google / gemma-4-31B

Gemmaimage-text-to-text
31Bgemma4
स्पीड टेस्ट देखें →

gpt-oss-20b

openai / gpt-oss-20b

Gpttext-generation54 स्पीड टेस्ट
MoE20Bgpt_ossvllmconversational
सर्वश्रेष्ठ991 tok/s
मीडियन107 tok/s
न्यूनतम12.0 tok/s
स्पीड टेस्ट देखें →

Qwen2.5-7B

Qwen / Qwen2.5-7B

Qwentext-generation2 स्पीड टेस्ट
7Bqwen2conversationalen
सर्वश्रेष्ठ1.4k tok/s
मीडियन1.4k tok/s
न्यूनतम1.4k tok/s
स्पीड टेस्ट देखें →

InternViT-300M-448px

OpenGVLab / InternViT-300M-448px

image-feature-extraction
0.3Bintern_vit_6bfeature-extraction
स्पीड टेस्ट देखें →

Muse-Glimmer-30B

meta-models / Muse-Glimmer-30B

image-text-to-text28 स्पीड टेस्ट
30Bmuse_glimmerconversational
सर्वश्रेष्ठ332 tok/s
मीडियन41.9 tok/s
न्यूनतम12.8 tok/s
स्पीड टेस्ट देखें →

Qwen3-0.6B-Base

Qwen / Qwen3-0.6B-Base

Qwentext-generation
0.6Bqwen3conversational
स्पीड टेस्ट देखें →

Phi-4-mini-reasoning

microsoft / Phi-4-mini-reasoning

Phitext-generation10 स्पीड टेस्ट
4Bphi3nlpmath
सर्वश्रेष्ठ162 tok/s
मीडियन97.4 tok/s
न्यूनतम32.9 tok/s
स्पीड टेस्ट देखें →

Ornith-1.5-9B-GGUF

ornith-ai / Ornith-1.5-9B-GGUF

text-generation52 स्पीड टेस्ट
9Bconversational
सर्वश्रेष्ठ92.0 tok/s
मीडियन41.7 tok/s
न्यूनतम32.3 tok/s
स्पीड टेस्ट देखें →

LFM2-350M

LiquidAI / LFM2-350M

text-generation39 स्पीड टेस्ट
350Mlfm2liquidedge
सर्वश्रेष्ठ637 tok/s
मीडियन232 tok/s
न्यूनतम142 tok/s
स्पीड टेस्ट देखें →

Qwen3-Coder-30B-A3B-Instruct

Qwen / Qwen3-Coder-30B-A3B-Instruct

Qwentext-generation29 स्पीड टेस्ट
MoE3B active / 30B totalqwen3_moeconversational
सर्वश्रेष्ठ136 tok/s
मीडियन80.5 tok/s
न्यूनतम14.4 tok/s
Eval score· 1 evalQ4_K_M
92.1%
स्पीड टेस्ट देखें →

Llama-3.2-3B-Instruct

meta-llama / Llama-3.2-3B-Instruct

Llamatext-generation50 स्पीड टेस्ट
3Bfacebookmetallama-3
सर्वश्रेष्ठ489 tok/s
मीडियन75.9 tok/s
न्यूनतम10.0 tok/s
स्पीड टेस्ट देखें →

Ornith-1.0-9B

ornith-ai / Ornith-1.0-9B

Qwentext-generation44 स्पीड टेस्ट
9Bqwen3_5image-text-to-textconversational
सर्वश्रेष्ठ77.5 tok/s
मीडियन25.7 tok/s
न्यूनतम3.8 tok/s
Eval score· 3 evalsQ4_K_M
56.0%
स्पीड टेस्ट देखें →

Qwen3-14B-Base

Qwen / Qwen3-14B-Base

Qwentext-generation
14Bqwen3conversational
स्पीड टेस्ट देखें →

Laguna-XS-2.1

poolside / Laguna-XS-2.1

text-generation6 स्पीड टेस्ट
MoE33Blagunalaguna-xs-2.1vllm
सर्वश्रेष्ठ296 tok/s
मीडियन106 tok/s
न्यूनतम72.5 tok/s
स्पीड टेस्ट देखें →

LFM2.5-1.2B-Base

LiquidAI / LFM2.5-1.2B-Base

text-generation
1.2Blfm2liquidlfm2.5
स्पीड टेस्ट देखें →

gemma-3-12b-pt

google / gemma-3-12b-pt

Gemmaimage-text-to-text
12Bgemma3
स्पीड टेस्ट देखें →

Qwen3.5-4B-Base

Qwen / Qwen3.5-4B-Base

Qwenimage-text-to-text
4Bqwen3_5conversational
स्पीड टेस्ट देखें →

gemma-4-E2B

google / gemma-4-E2B

Gemmaany-to-any
2Bgemma4image-text-to-text
स्पीड टेस्ट देखें →

DeepSeek-R1-Distill-Qwen-7B

deepseek-ai / DeepSeek-R1-Distill-Qwen-7B

Deepseek-R1text-generation28 स्पीड टेस्ट
7Bqwen2conversational
सर्वश्रेष्ठ144 tok/s
मीडियन63.6 tok/s
न्यूनतम12.8 tok/s
स्पीड टेस्ट देखें →

MiniCPM5-1B-GGUF

openbmb / MiniCPM5-1B-GGUF

Llamatext-generation37 स्पीड टेस्ट
1Bminicpmminicpm5long-context
सर्वश्रेष्ठ222 tok/s
मीडियन99.8 tok/s
न्यूनतम32.0 tok/s
Eval score· 3 evals
52.2%
स्पीड टेस्ट देखें →

Ornstein3.6-27B-MTP-NSC-ACE-SABER

GestaltLabs / Ornstein3.6-27B-MTP-NSC-ACE-SABER

Qwenimage-text-to-text
27Bqwen3_5qwen3.6mtp
स्पीड टेस्ट देखें →

AceReason-Nemotron-1.1-7B

nvidia / AceReason-Nemotron-1.1-7B

Qwentext-generation28 स्पीड टेस्ट
7Bqwen2nvidiareasoning
सर्वश्रेष्ठ79.8 tok/s
मीडियन63.6 tok/s
न्यूनतम12.8 tok/s
स्पीड टेस्ट देखें →

LFM2-8B-A1B

LiquidAI / LFM2-8B-A1B

text-generation24 स्पीड टेस्ट
MoE1B active / 8B totallfm2_moeliquidlfm2
सर्वश्रेष्ठ243 tok/s
मीडियन211 tok/s
न्यूनतम9.9 tok/s
स्पीड टेस्ट देखें →

phi-4

microsoft / phi-4

Phitext-generation3 स्पीड टेस्ट
15Bphi3nlpmath
सर्वश्रेष्ठ77.0 tok/s
मीडियन36.0 tok/s
न्यूनतम36.0 tok/s
स्पीड टेस्ट देखें →

Nex-N2-mini

nex-agi / Nex-N2-mini

Qwentext-generation9 स्पीड टेस्ट
MoE35Bqwen3_5_moeimage-text-to-textconversational
सर्वश्रेष्ठ107 tok/s
मीडियन104 tok/s
न्यूनतम40.5 tok/s
स्पीड टेस्ट देखें →

Mistral-Small-24B-Base-2501

mistralai / Mistral-Small-24B-Base-2501

Mistral
24Bvllmmistral-commonen
स्पीड टेस्ट देखें →

Qwen3.5-122B-A10B

Qwen / Qwen3.5-122B-A10B

Qwenimage-text-to-text15 स्पीड टेस्ट
MoE10B active / 122B totalqwen3_5_moeconversational
सर्वश्रेष्ठ50.1 tok/s
मीडियन26.4 tok/s
न्यूनतम3.2 tok/s
स्पीड टेस्ट देखें →

DeepSeek-R1-Distill-Qwen-14B

deepseek-ai / DeepSeek-R1-Distill-Qwen-14B

Deepseek-R1text-generation10 स्पीड टेस्ट
14Bqwen2conversational
सर्वश्रेष्ठ50.9 tok/s
मीडियन38.0 tok/s
न्यूनतम9.0 tok/s
स्पीड टेस्ट देखें →

LFM2.5-350M-Base

LiquidAI / LFM2.5-350M-Base

text-generation
350Mlfm2liquidlfm2.5
स्पीड टेस्ट देखें →

GLM-4.7-Flash

zai-org / GLM-4.7-Flash

text-generation9 स्पीड टेस्ट
MoE31Bglm4_moe_liteconversationalen
सर्वश्रेष्ठ212 tok/s
मीडियन93.3 tok/s
न्यूनतम17.2 tok/s
स्पीड टेस्ट देखें →

Ornith-1.0-9B-GGUF

ornith-ai / Ornith-1.0-9B-GGUF

text-generation32 स्पीड टेस्ट
9Bconversational
सर्वश्रेष्ठ88.1 tok/s
मीडियन34.9 tok/s
न्यूनतम11.0 tok/s
Eval score· 1 eval
89.4%
स्पीड टेस्ट देखें →

Nemotron-Cascade-2-30B-A3B

nvidia / Nemotron-Cascade-2-30B-A3B

text-generation16 स्पीड टेस्ट
MoE3B active / 30B totalnemotron_hnvidianemotron-cascade-2
सर्वश्रेष्ठ197 tok/s
मीडियन155 tok/s
न्यूनतम89.8 tok/s
स्पीड टेस्ट देखें →

Qwen3-1.7B-Base

Qwen / Qwen3-1.7B-Base

Qwentext-generation
1.7Bqwen3conversational
स्पीड टेस्ट देखें →

Meta-Llama-3-8B-Instruct

meta-llama / Meta-Llama-3-8B-Instruct

Llamatext-generation31 स्पीड टेस्ट
8Bfacebookmetallama-3
सर्वश्रेष्ठ148 tok/s
मीडियन48.4 tok/s
न्यूनतम13.6 tok/s
स्पीड टेस्ट देखें →

Ornith-1.0-35B-GGUF

ornith-ai / Ornith-1.0-35B-GGUF

text-generation31 स्पीड टेस्ट
35Bconversational
सर्वश्रेष्ठ310 tok/s
मीडियन60.6 tok/s
न्यूनतम27.4 tok/s
स्पीड टेस्ट देखें →

Qwen2.5-3B

Qwen / Qwen2.5-3B

Qwentext-generation
3Bqwen2conversationalen
स्पीड टेस्ट देखें →

Ministral-3-3B-Base-2512

mistralai / Ministral-3-3B-Base-2512

Mistral
3Bvllmmistral3mistral-common
स्पीड टेस्ट देखें →

Agents-A1

InternScience / Agents-A1

Qwentext-generation12 स्पीड टेस्ट
MoE35Bqwen3_5_moeimage-text-to-textmoe
सर्वश्रेष्ठ96.4 tok/s
मीडियन76.7 tok/s
न्यूनतम13.6 tok/s
Eval score· 1 eval
100.0%
स्पीड टेस्ट देखें →

gpt-oss-120b

openai / gpt-oss-120b

Gpttext-generation25 स्पीड टेस्ट
MoE120Bgpt_ossvllmconversational
सर्वश्रेष्ठ223 tok/s
मीडियन72.6 tok/s
न्यूनतम34.4 tok/s
Eval score· 2 evalsMXFP4
78.4%
स्पीड टेस्ट देखें →

LFM2.5-230M-Base

LiquidAI / LFM2.5-230M-Base

text-generation
230Mlfm2liquidlfm2.5
स्पीड टेस्ट देखें →

Qwen3.5-0.8B-Base

Qwen / Qwen3.5-0.8B-Base

Qwenimage-text-to-text1 स्पीड टेस्ट
0.8Bqwen3_5conversational
सर्वश्रेष्ठ2.7k tok/s
मीडियन2.7k tok/s
न्यूनतम2.7k tok/s
स्पीड टेस्ट देखें →

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

lmstudio-community / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

26 स्पीड टेस्ट
MoE3B active / 30B totalconversational
सर्वश्रेष्ठ203 tok/s
मीडियन36.4 tok/s
न्यूनतम14.4 tok/s
स्पीड टेस्ट देखें →

Trinity-Mini-Base-Pre-Anneal

arcee-ai / Trinity-Mini-Base-Pre-Anneal

Arceetext-generation
MoE26Bafmoeenes
स्पीड टेस्ट देखें →

reka-flash-3

RekaAI / reka-flash-3

Llama23 स्पीड टेस्ट
21B
सर्वश्रेष्ठ36.3 tok/s
मीडियन23.1 tok/s
न्यूनतम6.0 tok/s
स्पीड टेस्ट देखें →

Qwen2.5-14B

Qwen / Qwen2.5-14B

Qwentext-generation
14Bqwen2conversationalen
स्पीड टेस्ट देखें →

Qwen3-Coder-Next

Qwen / Qwen3-Coder-Next

Qwentext-generation19 स्पीड टेस्ट
MoE80Bqwen3_nextconversational
सर्वश्रेष्ठ80.8 tok/s
मीडियन55.8 tok/s
न्यूनतम47.0 tok/s
स्पीड टेस्ट देखें →

Qwen3-4B-Base

Qwen / Qwen3-4B-Base

Qwentext-generation
4Bqwen3conversational
स्पीड टेस्ट देखें →

GLM-5.3-Flash-BF16

zai-org / GLM-5.3-Flash-BF16

image-text-to-text
321Bglm5_nextconversationalen
स्पीड टेस्ट देखें →

Qwen2.5-32B

Qwen / Qwen2.5-32B

Qwentext-generation
32Bqwen2conversationalen
स्पीड टेस्ट देखें →

BTL-4

badtheorylabs / BTL-4

Qwentext-generation
MoE35Bqwen3_5_moeimage-text-to-textagentic
स्पीड टेस्ट देखें →

Hy-MT2-7B

tencent / Hy-MT2-7B

translation7 स्पीड टेस्ट
7Bhunyuan_v1_densetext-generationzh
सर्वश्रेष्ठ98.1 tok/s
मीडियन31.0 tok/s
न्यूनतम25.5 tok/s
Eval score· 3 evals
76.0%
स्पीड टेस्ट देखें →

DeepSeek-R1-Distill-Qwen-32B

deepseek-ai / DeepSeek-R1-Distill-Qwen-32B

Deepseek-R1text-generation4 स्पीड टेस्ट
32Bqwen2conversational
सर्वश्रेष्ठ23.3 tok/s
मीडियन22.3 tok/s
न्यूनतम21.4 tok/s
स्पीड टेस्ट देखें →

Nemotron-Cascade-14B-Thinking

nvidia / Nemotron-Cascade-14B-Thinking

Qwentext-generation18 स्पीड टेस्ट
14Bqwen3nvidianemotron-cascade
सर्वश्रेष्ठ51.9 tok/s
मीडियन34.2 tok/s
न्यूनतम6.2 tok/s
स्पीड टेस्ट देखें →

GLM-Z1-32B-0414

zai-org / GLM-Z1-32B-0414

text-generation17 स्पीड टेस्ट
32Bglm4conversationalzh
सर्वश्रेष्ठ22.5 tok/s
मीडियन16.4 tok/s
न्यूनतम5.7 tok/s
स्पीड टेस्ट देखें →

Olmo-3-1125-32B

allenai / Olmo-3-1125-32B

text-generation
32Bolmo3en
स्पीड टेस्ट देखें →

MiniCPM5-1B

openbmb / MiniCPM5-1B

Llamatext-generation16 स्पीड टेस्ट
1Bminicpmminicpm5long-context
सर्वश्रेष्ठ158 tok/s
मीडियन101 tok/s
न्यूनतम2.9 tok/s
Eval score· 2 evals
34.1%
स्पीड टेस्ट देखें →

North-Mini-Code-1.0

CohereLabs / North-Mini-Code-1.0

Coheretext-generation17 स्पीड टेस्ट
MoE30Bcohere2_moeconversationalchat
सर्वश्रेष्ठ258 tok/s
मीडियन102 tok/s
न्यूनतम38.7 tok/s
स्पीड टेस्ट देखें →

Llama-3.1-8B

meta-llama / Llama-3.1-8B

Llamatext-generation
8Bfacebookmetallama-3
स्पीड टेस्ट देखें →

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

nvidia / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

Opttext-generation16 स्पीड टेस्ट
MoE3B active / 30B totalnemotron_hnvidianemotron-3.5
सर्वश्रेष्ठ6.7k tok/s
मीडियन254 tok/s
न्यूनतम77.1 tok/s
Eval score· 3 evalsNVFP4
74.8%
स्पीड टेस्ट देखें →

Step-3.7-Flash

stepfun-ai / Step-3.7-Flash

image-text-to-text5 स्पीड टेस्ट
MoE201Bstep3p7vision-languagemultimodal
सर्वश्रेष्ठ31.0 tok/s
मीडियन30.8 tok/s
न्यूनतम30.7 tok/s
स्पीड टेस्ट देखें →

gemma-3-1b-pt

google / gemma-3-1b-pt

Gemmatext-generation
1Bgemma3_text
स्पीड टेस्ट देखें →

DeepSeek-V4.1-Flash

deepseek-ai / DeepSeek-V4.1-Flash

Deepseekimage-text-to-text14 स्पीड टेस्ट
763Bdeepseek_v41text-generationconversational
सर्वश्रेष्ठ352 tok/s
मीडियन74.0 tok/s
न्यूनतम31.7 tok/s
स्पीड टेस्ट देखें →

QUEST-30B-RL

osunlp / QUEST-30B-RL

Qwentext-generation
MoE30Bqwen3_moequestconversational
स्पीड टेस्ट देखें →

Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

nvidia / Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

any-to-any5 स्पीड टेस्ट
MoE3B active / 30B totalNemotronH_Nano_Omni_Reasoning_V3feature-extractionnvidia
सर्वश्रेष्ठ107 tok/s
मीडियन90.6 tok/s
न्यूनतम57.9 tok/s
Eval score· 1 eval
100.0%
स्पीड टेस्ट देखें →

Agents-A1-4B

InternScience / Agents-A1-4B

Qwentext-generation
4Bqwen3_5image-text-to-textvlm
स्पीड टेस्ट देखें →

InternViT-6B-224px

OpenGVLab / InternViT-6B-224px

image-feature-extraction
6Bintern_vit_6bfeature-extraction
स्पीड टेस्ट देखें →

Qwen3-30B-A3B-Base

Qwen / Qwen3-30B-A3B-Base

Qwentext-generation
MoE3B active / 30B totalqwen3_moeconversational
स्पीड टेस्ट देखें →

KAT-Coder-V2.5-Dev

Kwaipilot / KAT-Coder-V2.5-Dev

Qwentext-generation4 स्पीड टेस्ट
MoE35Bqwen3_5_moeimage-text-to-textcode
सर्वश्रेष्ठ75.9 tok/s
मीडियन75.0 tok/s
न्यूनतम66.3 tok/s
स्पीड टेस्ट देखें →

Mellum2-12B-A2.5B-Instruct

JetBrains / Mellum2-12B-A2.5B-Instruct

text-generation3 स्पीड टेस्ट
MoE2.5B active / 12B totalmellumconversationalen
सर्वश्रेष्ठ83.5 tok/s
मीडियन51.8 tok/s
न्यूनतम41.8 tok/s
स्पीड टेस्ट देखें →

Mistral-Medium-3.5-128B

mistralai / Mistral-Medium-3.5-128B

Mistral13 स्पीड टेस्ट
128Bmistral3vLLMen
सर्वश्रेष्ठ7.4 tok/s
मीडियन6.5 tok/s
न्यूनतम6.2 tok/s
स्पीड टेस्ट देखें →

Tess-4-35B-A3B

migtissera / Tess-4-35B-A3B

Qwen12 स्पीड टेस्ट
MoE3B active / 35B totalqwen3_5_moe
सर्वश्रेष्ठ155 tok/s
मीडियन140 tok/s
न्यूनतम33.1 tok/s
स्पीड टेस्ट देखें →

GLM-4.5-Air

zai-org / GLM-4.5-Air

text-generation9 स्पीड टेस्ट
MoE110Bglm4_moeconversationalen
सर्वश्रेष्ठ2.5k tok/s
मीडियन103 tok/s
न्यूनतम6.2 tok/s
स्पीड टेस्ट देखें →

Ling-3.0-tiny

inclusionAI / Ling-3.0-tiny

text-generation9 स्पीड टेस्ट
MoE8Bbailing_hybridconversational
सर्वश्रेष्ठ369 tok/s
मीडियन129 tok/s
न्यूनतम52.6 tok/s
स्पीड टेस्ट देखें →

GLM-Z1-Rumination-32B-0414

zai-org / GLM-Z1-Rumination-32B-0414

text-generation11 स्पीड टेस्ट
32Bglm4conversationalzh
सर्वश्रेष्ठ22.4 tok/s
मीडियन19.7 tok/s
न्यूनतम8.8 tok/s
स्पीड टेस्ट देखें →

MiniMax-M2.5

MiniMaxAI / MiniMax-M2.5

Minimaxtext-generation2 स्पीड टेस्ट
MoE229Bminimax_m2conversationalfp8
सर्वश्रेष्ठ504 tok/s
मीडियन419 tok/s
न्यूनतम334 tok/s
स्पीड टेस्ट देखें →

granite-4.0-h-micro

ibm-granite / granite-4.0-h-micro

text-generation11 स्पीड टेस्ट
MoE3Bgranitemoehybridlanguagegranite-4.0
सर्वश्रेष्ठ141 tok/s
मीडियन45.0 tok/s
न्यूनतम7.9 tok/s
Eval score· 3 evalsQ4_K_M
53.3%
स्पीड टेस्ट देखें →

Mistral-Small-3.1-24B-Base-2503

mistralai / Mistral-Small-3.1-24B-Base-2503

Mistral
24Bvllmmistral3mistral-common
स्पीड टेस्ट देखें →

Seed-OSS-36B-Instruct

ByteDance-Seed / Seed-OSS-36B-Instruct

text-generation
36Bseed_ossvllmconversational
स्पीड टेस्ट देखें →

Qwen3.6-27B-DFlash

z-lab / Qwen3.6-27B-DFlash

Qwentext-generation10 स्पीड टेस्ट
27Bqwen3feature-extractiondflash
सर्वश्रेष्ठ215 tok/s
मीडियन39.2 tok/s
न्यूनतम26.9 tok/s
स्पीड टेस्ट देखें →

NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

nvidia / NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

text-generation3 स्पीड टेस्ट
MoE3B active / 30B totalnemotron_hnvidiaconversational
सर्वश्रेष्ठ313 tok/s
मीडियन286 tok/s
न्यूनतम117 tok/s
स्पीड टेस्ट देखें →

Ling-3.0-flash

inclusionAI / Ling-3.0-flash

text-generation9 स्पीड टेस्ट
MoE127Bbailing_hybridconversational
सर्वश्रेष्ठ72.3 tok/s
मीडियन43.4 tok/s
न्यूनतम33.6 tok/s
स्पीड टेस्ट देखें →

Hunyuan-MT-7B

tencent / Hunyuan-MT-7B

translation9 स्पीड टेस्ट
7Bhunyuan_v1_densetext-generation
सर्वश्रेष्ठ98.1 tok/s
मीडियन74.3 tok/s
न्यूनतम28.5 tok/s
स्पीड टेस्ट देखें →

MiMo-V2.5

XiaomiMiMo / MiMo-V2.5

text-generation5 स्पीड टेस्ट
MoE311Bmimo_v2multimodalvision-language
सर्वश्रेष्ठ33.9 tok/s
मीडियन32.7 tok/s
न्यूनतम28.1 tok/s
स्पीड टेस्ट देखें →

Hy-MT2-30B-A3B

tencent / Hy-MT2-30B-A3B

translation
MoE3B active / 30B totalhy_v3text-generationzh
स्पीड टेस्ट देखें →

Llama-3.2-1B-Instruct

meta-llama / Llama-3.2-1B-Instruct

Llamatext-generation7 स्पीड टेस्ट
1Bfacebookmetallama-3
सर्वश्रेष्ठ448 tok/s
मीडियन184 tok/s
न्यूनतम68.2 tok/s
स्पीड टेस्ट देखें →

SmolLM2-135M

HuggingFaceTB / SmolLM2-135M

Llamatext-generation
135Men
स्पीड टेस्ट देखें →

internlm3-8b-instruct

internlm / internlm3-8b-instruct

Internlmtext-generation
8Binternlm3conversational
स्पीड टेस्ट देखें →

Nemotron-Cascade-8B

nvidia / Nemotron-Cascade-8B

Qwentext-generation
8Bqwen3nvidiaNemotron-Cascade
स्पीड टेस्ट देखें →

UI-TARS-7B-DPO

ByteDance-Seed / UI-TARS-7B-DPO

Qwenimage-text-to-text
7Bqwen2_vlmultimodalgui
स्पीड टेस्ट देखें →

EXAONE-3.5-7.8B-Instruct

LGAI-EXAONE / EXAONE-3.5-7.8B-Instruct

text-generation8 स्पीड टेस्ट
7.8Bexaonelg-aiexaone-3.5
सर्वश्रेष्ठ26.8 tok/s
मीडियन25.7 tok/s
न्यूनतम11.2 tok/s
स्पीड टेस्ट देखें →

Ling-2.6-flash

inclusionAI / Ling-2.6-flash

text-generation8 स्पीड टेस्ट
MoE107Bbailing_hybridconversationalen
सर्वश्रेष्ठ94.9 tok/s
मीडियन86.2 tok/s
न्यूनतम82.3 tok/s
स्पीड टेस्ट देखें →

Qwen2.5-72B

Qwen / Qwen2.5-72B

Qwentext-generation
72Bqwen2conversationalen
स्पीड टेस्ट देखें →

Spark-X2.5-4B-Base

XHToken / Spark-X2.5-4B-Base

text-generation
4Bspark2_5llmsparkx2_5
स्पीड टेस्ट देखें →

Tinystories-gpt-0.1-3m

segestic / Tinystories-gpt-0.1-3m

Gpttext-generation5 स्पीड टेस्ट
3Mgpt2en
सर्वश्रेष्ठ5.0k tok/s
मीडियन4.9k tok/s
न्यूनतम1.3k tok/s
स्पीड टेस्ट देखें →

Qwen3-30B-A3B-Instruct-2507

Qwen / Qwen3-30B-A3B-Instruct-2507

Qwentext-generation4 स्पीड टेस्ट
MoE3B active / 30B totalqwen3_moeconversational
सर्वश्रेष्ठ100 tok/s
मीडियन72.5 tok/s
न्यूनतम16.6 tok/s
स्पीड टेस्ट देखें →

Kimi-Linear-48B-A3B-Instruct

moonshotai / Kimi-Linear-48B-A3B-Instruct

text-generation7 स्पीड टेस्ट
MoE3B active / 48B totalkimi_linearconversational
सर्वश्रेष्ठ281 tok/s
मीडियन233 tok/s
न्यूनतम90.0 tok/s
स्पीड टेस्ट देखें →

rwkv-7-world

BlinkDL / rwkv-7-world

Starcodertext-generation
rwkvcausal-lmen
स्पीड टेस्ट देखें →

Qwen3.5-2B-Base

Qwen / Qwen3.5-2B-Base

Qwenimage-text-to-text
2Bqwen3_5conversational
स्पीड टेस्ट देखें →

Llama-3.1-70B

meta-llama / Llama-3.1-70B

Llamatext-generation
70Bfacebookmetallama-3
स्पीड टेस्ट देखें →

NVIDIA-Nemotron-3-Super-120B-A12B-BF16

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-BF16

text-generation
MoE12B active / 120B totalnemotron_hnvidianemotron-3
स्पीड टेस्ट देखें →

Hy3

tencent / Hy3

text-generation
MoE299Bhy_v3hunyuanhy3
स्पीड टेस्ट देखें →

Qwen2.5-0.5B

Qwen / Qwen2.5-0.5B

Qwentext-generation
0.5Bqwen2conversationalen
स्पीड टेस्ट देखें →

DeepSeek-Coder-V2-Lite-Instruct

deepseek-ai / DeepSeek-Coder-V2-Lite-Instruct

Deepseek-Codertext-generation6 स्पीड टेस्ट
MoE16Bdeepseek_v2conversational
सर्वश्रेष्ठ150 tok/s
मीडियन87.0 tok/s
न्यूनतम39.0 tok/s
स्पीड टेस्ट देखें →

Qwen3.8-Flash-Next-oQ4e-mtp

Jundot / Qwen3.8-Flash-Next-oQ4e-mtp

Qwen5 स्पीड टेस्ट
180Bmlxqwen4_expoq
सर्वश्रेष्ठ92.6 tok/s
मीडियन70.6 tok/s
न्यूनतम38.1 tok/s
स्पीड टेस्ट देखें →

glm-4-9b-chat

zai-org / glm-4-9b-chat

Chatglm
9Bglmthudmzh
स्पीड टेस्ट देखें →

SmolLM2-360M

HuggingFaceTB / SmolLM2-360M

Llamatext-generation
360Men
स्पीड टेस्ट देखें →

Qwen3-Coder-Next-FP8

Qwen / Qwen3-Coder-Next-FP8

Qwentext-generation5 स्पीड टेस्ट
MoE80Bqwen3_nextconversationalfp8
सर्वश्रेष्ठ190 tok/s
मीडियन152 tok/s
न्यूनतम112 tok/s
स्पीड टेस्ट देखें →

Llama-2-7b-hf

meta-llama / Llama-2-7b-hf

Llamatext-generation5 स्पीड टेस्ट
7Bfacebookmetallama-2
सर्वश्रेष्ठ202 tok/s
मीडियन50.4 tok/s
न्यूनतम19.1 tok/s
स्पीड टेस्ट देखें →

Qwen3-VL-8B-Instruct

Qwen / Qwen3-VL-8B-Instruct

Qwenimage-text-to-text3 स्पीड टेस्ट
8Bqwen3_vlconversational
सर्वश्रेष्ठ95.9 tok/s
मीडियन89.8 tok/s
न्यूनतम58.8 tok/s
स्पीड टेस्ट देखें →

Qwen2.5-1.5B

Qwen / Qwen2.5-1.5B

Qwentext-generation
1.5Bqwen2conversationalen
स्पीड टेस्ट देखें →

Qwen3-32B

Qwen / Qwen3-32B

Qwentext-generation5 स्पीड टेस्ट
32Bqwen3conversational
सर्वश्रेष्ठ79.3 tok/s
मीडियन22.8 tok/s
न्यूनतम3.2 tok/s
स्पीड टेस्ट देखें →

NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

Opttext-generation5 स्पीड टेस्ट
MoE12B active / 120B totalnemotron_hnvidianemotron-3
सर्वश्रेष्ठ262 tok/s
मीडियन175 tok/s
न्यूनतम49.6 tok/s
स्पीड टेस्ट देखें →

MiniCPM5-2B

openbmb / MiniCPM5-2B

Llamatext-generation4 स्पीड टेस्ट
2Bminicpmminicpm5long-context
सर्वश्रेष्ठ118 tok/s
मीडियन66.8 tok/s
न्यूनतम61.6 tok/s
स्पीड टेस्ट देखें →

Qwen3-235B-A22B

Qwen / Qwen3-235B-A22B

Qwentext-generation
MoE22B active / 235B totalqwen3_moeconversational
स्पीड टेस्ट देखें →

Spark-X2.5-1.7B-Base

XHToken / Spark-X2.5-1.7B-Base

text-generation
1.7Bspark2_5llmsparkx2_5
स्पीड टेस्ट देखें →

Qwen3-235B-A22B-Thinking-2507

Qwen / Qwen3-235B-A22B-Thinking-2507

Qwentext-generation4 स्पीड टेस्ट
MoE22B active / 235B totalqwen3_moeconversational
सर्वश्रेष्ठ17.5 tok/s
मीडियन15.8 tok/s
न्यूनतम13.0 tok/s
स्पीड टेस्ट देखें →

granite-4.1-8b-base

ibm-granite / granite-4.1-8b-base

text-generation
8Bgranitelanguagegranite-4.1
स्पीड टेस्ट देखें →

Qwen2.5-VL-7B-Instruct

Qwen / Qwen2.5-VL-7B-Instruct

Qwenimage-text-to-text
7Bqwen2_5_vlmultimodalconversational
स्पीड टेस्ट देखें →

NVIDIA-Nemotron-3-Nano-4B-FP8

nvidia / NVIDIA-Nemotron-3-Nano-4B-FP8

text-generation
4Bnemotron_hnvidiaconversational
स्पीड टेस्ट देखें →

DeepSeek-V4-Flash-DSpark

deepseek-ai / DeepSeek-V4-Flash-DSpark

Deepseektext-generation4 स्पीड टेस्ट
MoE165Bdeepseek_v48-bitfp8
सर्वश्रेष्ठ262 tok/s
मीडियन213 tok/s
न्यूनतम46.4 tok/s
स्पीड टेस्ट देखें →

gemma-3-4b-pt

google / gemma-3-4b-pt

Gemmaimage-text-to-text
4Bgemma3
स्पीड टेस्ट देखें →

gemma-3n-E4B

google / gemma-3n-E4B

Gemmaimage-text-to-text
4Bgemma3nautomatic-speech-recognitionautomatic-speech-translation
स्पीड टेस्ट देखें →

MiniMax-M2

MiniMaxAI / MiniMax-M2

Minimaxtext-generation2 स्पीड टेस्ट
MoE229Bminimax_m2conversationalfp8
सर्वश्रेष्ठ493 tok/s
मीडियन398 tok/s
न्यूनतम303 tok/s
स्पीड टेस्ट देखें →

GLM-5.1

zai-org / GLM-5.1

text-generation
MoE754Bglm_moe_dsaconversationalen
स्पीड टेस्ट देखें →

granite-4.1-30b

ibm-granite / granite-4.1-30b

text-generation4 स्पीड टेस्ट
30Bgranitelanguagegranite-4.1
सर्वश्रेष्ठ17.9 tok/s
मीडियन16.4 tok/s
न्यूनतम15.6 tok/s
स्पीड टेस्ट देखें →

Gemopus-4-26B-A4B-it

Jackrong / Gemopus-4-26B-A4B-it

Gemmatext-generation4 स्पीड टेस्ट
MoE4B active / 26B totalgemma4instruction-tunedreasoning
सर्वश्रेष्ठ64.3 tok/s
मीडियन55.0 tok/s
न्यूनतम45.7 tok/s
स्पीड टेस्ट देखें →

MiMo-V2.6-Flash-RL

XiaomiMiMo / MiMo-V2.6-Flash-RL

text-generation3 स्पीड टेस्ट
MoE311Bmimo_v2multimodalvision-language
सर्वश्रेष्ठ193 tok/s
मीडियन189 tok/s
न्यूनतम154 tok/s
स्पीड टेस्ट देखें →

gemma-3-27b-pt

google / gemma-3-27b-pt

Gemmaimage-text-to-text
27Bgemma3
स्पीड टेस्ट देखें →

Nex-N2.5-mini

nex-agi / Nex-N2.5-mini

Qwentext-generation
MoE35Bqwen3_5_moeimage-text-to-textconversational
स्पीड टेस्ट देखें →

LFM2.5-2.6B-Base

LiquidAI / LFM2.5-2.6B-Base

text-generation
2.6Blfm2liquidlfm2.5
स्पीड टेस्ट देखें →

Qwen3-VL-30B-A3B-Instruct

Qwen / Qwen3-VL-30B-A3B-Instruct

Qwenimage-text-to-text2 स्पीड टेस्ट
MoE3B active / 30B totalqwen3_vl_moeconversational
सर्वश्रेष्ठ56.6 tok/s
मीडियन52.2 tok/s
न्यूनतम47.7 tok/s
स्पीड टेस्ट देखें →

Falcon-H1-0.5B-Base

tiiuae / Falcon-H1-0.5B-Base

Falcontext-generation
0.5Bfalcon_h1en
स्पीड टेस्ट देखें →

functiongemma-270m-it

google / functiongemma-270m-it

Gemmatext-generation3 स्पीड टेस्ट
270Mgemma3_textgemma3google
सर्वश्रेष्ठ206 tok/s
मीडियन193 tok/s
न्यूनतम169 tok/s
स्पीड टेस्ट देखें →

Falcon-H1-Tiny-90M-Instruct

tiiuae / Falcon-H1-Tiny-90M-Instruct

Falcontext-generation3 स्पीड टेस्ट
90Mfalcon_h1edgeconversational
सर्वश्रेष्ठ495 tok/s
मीडियन425 tok/s
न्यूनतम338 tok/s
स्पीड टेस्ट देखें →

gemma-3-270m

google / gemma-3-270m

Gemmatext-generation
270Mgemma3_textgemma3google
स्पीड टेस्ट देखें →

Ornith-1.0-397B

ornith-ai / Ornith-1.0-397B

Qwentext-generation
MoE397Bqwen3_5_moeimage-text-to-textconversational
स्पीड टेस्ट देखें →

Mellum2-12B-A2.5B-Thinking

JetBrains / Mellum2-12B-A2.5B-Thinking

text-generation
MoE2.5B active / 12B totalmellumconversationalen
स्पीड टेस्ट देखें →

diffusiongemma-26B-A4B-it

google / diffusiongemma-26B-A4B-it

Gemmaimage-text-to-text1 स्पीड टेस्ट
MoE4B active / 26B totaldiffusion_gemmaconversational
सर्वश्रेष्ठ529 tok/s
मीडियन529 tok/s
न्यूनतम529 tok/s
स्पीड टेस्ट देखें →

MiniCPM3-4B

openbmb / MiniCPM3-4B

text-generation3 स्पीड टेस्ट
4Bminicpm3conversationalzh
सर्वश्रेष्ठ35.6 tok/s
मीडियन29.4 tok/s
न्यूनतम6.1 tok/s
Eval score· 2 evals
100.0%
स्पीड टेस्ट देखें →

Ternary-Bonsai-8B-unpacked

prism-ml / Ternary-Bonsai-8B-unpacked

Qwen
8Bqwen3prismmlbonsai
स्पीड टेस्ट देखें →

Llama-4-Scout-17B-16E

meta-llama / Llama-4-Scout-17B-16E

Llamaimage-text-to-text
MoE17B active / 109B totalllama4facebookmeta
स्पीड टेस्ट देखें →

DeepSeek-V4-Flash-Vision-Exp

deepseek-ai / DeepSeek-V4-Flash-Vision-Exp

Deepseekimage-text-to-text1 स्पीड टेस्ट
MoE305Bdeepseek_v4text-generation8-bit
सर्वश्रेष्ठ180 tok/s
मीडियन180 tok/s
न्यूनतम180 tok/s
स्पीड टेस्ट देखें →

Qwen3.8-27B-Uncensored-int4-AutoRound

johannrplaster / Qwen3.8-27B-Uncensored-int4-AutoRound

Qwenimage-text-to-text2 स्पीड टेस्ट
27Bqwen3_5vllmintel-xpu
सर्वश्रेष्ठ136 tok/s
मीडियन117 tok/s
न्यूनतम97.8 tok/s
स्पीड टेस्ट देखें →

stories-llama2-50k

delphi-suite / stories-llama2-50k

Llama2 स्पीड टेस्ट
delphien
सर्वश्रेष्ठ306.1k tok/s
मीडियन171.4k tok/s
न्यूनतम36.7k tok/s
स्पीड टेस्ट देखें →

LFM2-24B-A2B

LiquidAI / LFM2-24B-A2B

text-generation1 स्पीड टेस्ट
MoE2B active / 24B totallfm2_moeliquidlfm2
सर्वश्रेष्ठ161 tok/s
मीडियन161 tok/s
न्यूनतम161 tok/s
स्पीड टेस्ट देखें →

models-moved

ggml-org / models-moved

2 स्पीड टेस्ट
सर्वश्रेष्ठ16.7k tok/s
मीडियन10.6k tok/s
न्यूनतम4.4k tok/s
स्पीड टेस्ट देखें →

Qwen3.6-27b-ROCmFP4-CIRU-CHAOS-SPEED

jcbtc / Qwen3.6-27b-ROCmFP4-CIRU-CHAOS-SPEED

Qwentext-generation2 स्पीड टेस्ट
27B
सर्वश्रेष्ठ132 tok/s
मीडियन92.3 tok/s
न्यूनतम52.2 tok/s
Eval score· 1 evalROCmFP4
90.5%
स्पीड टेस्ट देखें →

MobileLLM-350M

facebook / MobileLLM-350M

text-generation2 स्पीड टेस्ट
350Mmobilellmfacebookmeta
सर्वश्रेष्ठ981 tok/s
मीडियन714 tok/s
न्यूनतम448 tok/s
स्पीड टेस्ट देखें →

MobileLLM-125M

facebook / MobileLLM-125M

text-generation2 स्पीड टेस्ट
125Mmobilellmfacebookmeta
सर्वश्रेष्ठ1.3k tok/s
मीडियन987 tok/s
न्यूनतम703 tok/s
स्पीड टेस्ट देखें →

OLMo-2-0425-1B

allenai / OLMo-2-0425-1B

text-generation
1Bolmo2en
स्पीड टेस्ट देखें →

LFM2-700M

LiquidAI / LFM2-700M

text-generation2 स्पीड टेस्ट
0.7Blfm2liquidedge
सर्वश्रेष्ठ114 tok/s
मीडियन92.1 tok/s
न्यूनतम70.3 tok/s
स्पीड टेस्ट देखें →

h2o-danube3-500m-chat

h2oai / h2o-danube3-500m-chat

Llamatext-generation2 स्पीड टेस्ट
0.5Bgptllmlarge language model
सर्वश्रेष्ठ163 tok/s
मीडियन134 tok/s
न्यूनतम105 tok/s
स्पीड टेस्ट देखें →

granite-4.0-1b-base

ibm-granite / granite-4.0-1b-base

text-generation
MoE1Bgranitemoehybridlanguagegranite-4.0
स्पीड टेस्ट देखें →

EXAONE-3.5-7.8B-Instruct-GGUF

LGAI-EXAONE / EXAONE-3.5-7.8B-Instruct-GGUF

text-generation2 स्पीड टेस्ट
7.8Blg-aiexaoneexaone-3.5
सर्वश्रेष्ठ27.2 tok/s
मीडियन27.2 tok/s
न्यूनतम27.2 tok/s
Eval score· 2 evals
78.3%
स्पीड टेस्ट देखें →

Phi-4-mini-instruct

microsoft / Phi-4-mini-instruct

Phitext-generation
4Bphi3nlpcode
स्पीड टेस्ट देखें →

Kimi-K2.5

moonshotai / Kimi-K2.5

image-text-to-text1 स्पीड टेस्ट
1Tkimi_k25feature-extractioncompressed-tensors
सर्वश्रेष्ठ74.0 tok/s
मीडियन74.0 tok/s
न्यूनतम74.0 tok/s
स्पीड टेस्ट देखें →

MiniMax-M2.1

MiniMaxAI / MiniMax-M2.1

Minimaxtext-generation2 स्पीड टेस्ट
MoE229Bminimax_m2conversationalfp8
सर्वश्रेष्ठ499 tok/s
मीडियन416 tok/s
न्यूनतम333 tok/s
स्पीड टेस्ट देखें →

Qwen3.5-35B-A3B-4bit

mlx-community / Qwen3.5-35B-A3B-4bit

Qwenimage-text-to-text2 स्पीड टेस्ट
MoE3B active / 35B totalqwen3_5_moemlxconversational
सर्वश्रेष्ठ140 tok/s
मीडियन122 tok/s
न्यूनतम105 tok/s
स्पीड टेस्ट देखें →

MiniCPM5-2B-GGUF

openbmb / MiniCPM5-2B-GGUF

Llamatext-generation1 स्पीड टेस्ट
2Bminicpmminicpm5long-context
सर्वश्रेष्ठ39.1 tok/s
मीडियन39.1 tok/s
न्यूनतम39.1 tok/s
स्पीड टेस्ट देखें →

Ling-3.0-tiny-GGUF

inclusionAI / Ling-3.0-tiny-GGUF

text-generation1 स्पीड टेस्ट
conversational
सर्वश्रेष्ठ244 tok/s
मीडियन244 tok/s
न्यूनतम244 tok/s
स्पीड टेस्ट देखें →

qwen-3.8-27b-abliterated

heterodoxin / qwen-3.8-27b-abliterated

Qwen1 स्पीड टेस्ट
27Bqwen3_5
सर्वश्रेष्ठ4.4 tok/s
मीडियन4.4 tok/s
न्यूनतम4.4 tok/s
स्पीड टेस्ट देखें →

Ternary-Bonsai-1.7B-unpacked

prism-ml / Ternary-Bonsai-1.7B-unpacked

Qwen
1.7Bqwen3prismmlbonsai
स्पीड टेस्ट देखें →

Ternary-Bonsai-2-27B-DFlash2-vllm

fraserprice / Ternary-Bonsai-2-27B-DFlash2-vllm

1 स्पीड टेस्ट
27B
सर्वश्रेष्ठ361 tok/s
मीडियन361 tok/s
न्यूनतम361 tok/s
स्पीड टेस्ट देखें →

GLM-5.3-BF16

zai-org / GLM-5.3-BF16

text-generation1 स्पीड टेस्ट
MoE753Bglm_moe_dsaconversationalen
सर्वश्रेष्ठ6843.6k tok/s
मीडियन6843.6k tok/s
न्यूनतम6843.6k tok/s
स्पीड टेस्ट देखें →

Ling-3.0-flash-int4

inclusionAI / Ling-3.0-flash-int4

text-generation1 स्पीड टेस्ट
MoE127Bbailing_hybridconversationalcompressed-tensors
सर्वश्रेष्ठ37.3 tok/s
मीडियन37.3 tok/s
न्यूनतम37.3 tok/s
स्पीड टेस्ट देखें →

Falcon3-7B-Base

tiiuae / Falcon3-7B-Base

Llamatext-generation
7Bfalcon3enfr
स्पीड टेस्ट देखें →

Ornith-1.5-35B-A3B-NVFP4

ornith-ai / Ornith-1.5-35B-A3B-NVFP4

Qwentext-generation1 स्पीड टेस्ट
MoE3B active / 35B totalqwen3_5_moeimage-text-to-textconversational
सर्वश्रेष्ठ259 tok/s
मीडियन259 tok/s
न्यूनतम259 tok/s
Eval score· 3 evalsNVFP4
70.9%
स्पीड टेस्ट देखें →

Qwen3-30B-A3B-Thinking-2507

Qwen / Qwen3-30B-A3B-Thinking-2507

Qwentext-generation
MoE3B active / 30B totalqwen3_moeconversational
स्पीड टेस्ट देखें →

bitnet-b1.58-2B-4T-bf16

microsoft / bitnet-b1.58-2B-4T-bf16

text-generation
2Bbitnetchatlarge-language-model
स्पीड टेस्ट देखें →

Ministral-3-14B-Base-2512

mistralai / Ministral-3-14B-Base-2512

Mistral
14Bvllmmistral3mistral-common
स्पीड टेस्ट देखें →

rnj-1-instruct-GGUF

EssentialAI / rnj-1-instruct-GGUF

1 स्पीड टेस्ट
conversational
सर्वश्रेष्ठ123 tok/s
मीडियन123 tok/s
न्यूनतम123 tok/s
स्पीड टेस्ट देखें →

Qwen3-4B-Thinking-2507

Qwen / Qwen3-4B-Thinking-2507

Qwentext-generation
4Bqwen3conversational
स्पीड टेस्ट देखें →

GLM-4.6V-Flash

zai-org / GLM-4.6V-Flash

image-text-to-text
10Bglm4vconversationalzh
स्पीड टेस्ट देखें →

gemma-3n-E4B-it-text-GGUF

lmstudio-community / gemma-3n-E4B-it-text-GGUF

Gemma1 स्पीड टेस्ट
4Bconversational
सर्वश्रेष्ठ135 tok/s
मीडियन135 tok/s
न्यूनतम135 tok/s
स्पीड टेस्ट देखें →

DeepSeek-R1-0528-Qwen3-8B

deepseek-ai / DeepSeek-R1-0528-Qwen3-8B

Deepseek-R1text-generation
8Bqwen3conversational
स्पीड टेस्ट देखें →

DeepSeek-Coder-V2-Lite-Instruct-FP8

RedHatAI / DeepSeek-Coder-V2-Lite-Instruct-FP8

Deepseek-Codertext-generation1 स्पीड टेस्ट
MoE16Bdeepseek_v2fp8vllm
सर्वश्रेष्ठ237 tok/s
मीडियन237 tok/s
न्यूनतम237 tok/s
स्पीड टेस्ट देखें →

Qwen3-Coder-30B-A3B-Instruct-FP8

Qwen / Qwen3-Coder-30B-A3B-Instruct-FP8

Qwentext-generation1 स्पीड टेस्ट
MoE3B active / 30B totalqwen3_moeconversationalfp8
सर्वश्रेष्ठ26.1 tok/s
मीडियन26.1 tok/s
न्यूनतम26.1 tok/s
स्पीड टेस्ट देखें →

Qwen3-Next-80B-A3B-Instruct

Qwen / Qwen3-Next-80B-A3B-Instruct

Qwentext-generation
MoE3B active / 80B totalqwen3_nextconversational
स्पीड टेस्ट देखें →

Kimi-K3

moonshotai / Kimi-K3

image-text-to-text
2.8Tkimi_k3feature-extractioncompressed-tensors
स्पीड टेस्ट देखें →

Inkling-Small

thinkingmachines / Inkling-Small

image-text-to-text
MoE266Binkling_mm_modelconversationalaudio-text-to-text
स्पीड टेस्ट देखें →

Qwen3.5-4B-Uncensored-HauhauCS-Aggressive

HauhauCS / Qwen3.5-4B-Uncensored-HauhauCS-Aggressive

Qwen1 स्पीड टेस्ट
4Buncensoredqwen3.5en
सर्वश्रेष्ठ82.9 tok/s
मीडियन82.9 tok/s
न्यूनतम82.9 tok/s
स्पीड टेस्ट देखें →

Harmonic-Hermes-9B-GGUF

DJLougen / Harmonic-Hermes-9B-GGUF

Qwen1 स्पीड टेस्ट
9Bhermesqwen3_5reasoning
सर्वश्रेष्ठ39.2 tok/s
मीडियन39.2 tok/s
न्यूनतम39.2 tok/s
स्पीड टेस्ट देखें →

Qwen3.5-27B-Uncensored-HauhauCS-Aggressive

HauhauCS / Qwen3.5-27B-Uncensored-HauhauCS-Aggressive

Qwen1 स्पीड टेस्ट
27Buncensoredqwen3.5en
सर्वश्रेष्ठ30.8 tok/s
मीडियन30.8 tok/s
न्यूनतम30.8 tok/s
Eval score· 5 evalsQ4_K_M
91.5%
स्पीड टेस्ट देखें →

Mistral-Nemo-Base-2407

mistralai / Mistral-Nemo-Base-2407

Mistral
12Bvllmmistral-commonen
स्पीड टेस्ट देखें →

Falcon-H1-Tiny-Tool-Calling-90M

tiiuae / Falcon-H1-Tiny-Tool-Calling-90M

Falcontext-generation1 स्पीड टेस्ट
90Mfalcon_h1edgeconversational
सर्वश्रेष्ठ434 tok/s
मीडियन434 tok/s
न्यूनतम434 tok/s
स्पीड टेस्ट देखें →

Falcon-H1-Tiny-Coder-90M

tiiuae / Falcon-H1-Tiny-Coder-90M

Falcontext-generation1 स्पीड टेस्ट
90Mfalcon_h1edge
सर्वश्रेष्ठ426 tok/s
मीडियन426 tok/s
न्यूनतम426 tok/s
स्पीड टेस्ट देखें →

TinyStories-33M

roneneldan / TinyStories-33M

Gpttext-generation1 स्पीड टेस्ट
33Mgpt_neo
सर्वश्रेष्ठ641 tok/s
मीडियन641 tok/s
न्यूनतम641 tok/s
स्पीड टेस्ट देखें →

tinystories-lay4-hs128-hd2-1M

ivnle / tinystories-lay4-hs128-hd2-1M

Llamatext-generation1 स्पीड टेस्ट
1Mconversational
सर्वश्रेष्ठ3.6k tok/s
मीडियन3.6k tok/s
न्यूनतम3.6k tok/s
स्पीड टेस्ट देखें →

qwen-3-14b-instruct-gguf

lm-kit / qwen-3-14b-instruct-gguf

Qwen1 स्पीड टेस्ट
14Bconversational
सर्वश्रेष्ठ38.2 tok/s
मीडियन38.2 tok/s
न्यूनतम38.2 tok/s
स्पीड टेस्ट देखें →

Gemmable-4-12B-MTP-GGUF

Mia-AiLab / Gemmable-4-12B-MTP-GGUF

Gemma1 स्पीड टेस्ट
12Bgemma-4gemmablereasoning
सर्वश्रेष्ठ71.2 tok/s
मीडियन71.2 tok/s
न्यूनतम71.2 tok/s
स्पीड टेस्ट देखें →

DeepSeek-Coder-V2-Lite-Instruct-GGUF

bartowski / DeepSeek-Coder-V2-Lite-Instruct-GGUF

Deepseek-Codertext-generation1 स्पीड टेस्ट
imatrixconversational
सर्वश्रेष्ठ57.1 tok/s
मीडियन57.1 tok/s
न्यूनतम57.1 tok/s
स्पीड टेस्ट देखें →

gemma-4-31B-v2-MLX-4bit

jdfelo / gemma-4-31B-v2-MLX-4bit

Gemmaimage-text-to-text1 स्पीड टेस्ट
31Bmlx-vlmgemma4mlx
सर्वश्रेष्ठ33.4 tok/s
मीडियन33.4 tok/s
न्यूनतम33.4 tok/s
स्पीड टेस्ट देखें →

MiniMax-M3

MiniMaxAI / MiniMax-M3

Minimaximage-text-to-text
MoE427Bminimax_m3_vlmultimodalmoe
स्पीड टेस्ट देखें →

Unlimited-OCR

baidu / Unlimited-OCR

image-text-to-text1 स्पीड टेस्ट
MoE3Bunlimited-ocrfeature-extractionbaidu
सर्वश्रेष्ठ365 tok/s
मीडियन365 tok/s
न्यूनतम365 tok/s
स्पीड टेस्ट देखें →

gemma-4-26B-A4B-it-QAT-MLX-4bit

lmstudio-community / gemma-4-26B-A4B-it-QAT-MLX-4bit

Gemmaimage-text-to-text1 स्पीड टेस्ट
MoE4B active / 26B totalgemma4mlxconversational
सर्वश्रेष्ठ65.3 tok/s
मीडियन65.3 tok/s
न्यूनतम65.3 tok/s
स्पीड टेस्ट देखें →

granite-4.1-8b

ibm-granite / granite-4.1-8b

text-generation
8Bgranitelanguagegranite-4.1
स्पीड टेस्ट देखें →

Step-3.7-Flash-NVFP4

stepfun-ai / Step-3.7-Flash-NVFP4

Optimage-text-to-text1 स्पीड टेस्ट
MoE104Bstep3p7vision-languagemultimodal
सर्वश्रेष्ठ27.4 tok/s
मीडियन27.4 tok/s
न्यूनतम27.4 tok/s
स्पीड टेस्ट देखें →

Qwable-3.6-35b

Mia-AiLab / Qwable-3.6-35b

Qwen1 स्पीड टेस्ट
35Bqwen3qwen3.6fable
सर्वश्रेष्ठ54.1 tok/s
मीडियन54.1 tok/s
न्यूनतम54.1 tok/s
स्पीड टेस्ट देखें →

GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

HauhauCS / GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

Gpt1 स्पीड टेस्ट
20Buncensoredabliteratedmxfp4
सर्वश्रेष्ठ66.8 tok/s
मीडियन66.8 tok/s
न्यूनतम66.8 tok/s
स्पीड टेस्ट देखें →

UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

uncensoredai / UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

Deepseek-R11 स्पीड टेस्ट
14Bqwen2
सर्वश्रेष्ठ27.0 tok/s
मीडियन27.0 tok/s
न्यूनतम27.0 tok/s
स्पीड टेस्ट देखें →

Qwen3.5-9B-Red_Team

LuisPPB16 / Qwen3.5-9B-Red_Team

Qwen1 स्पीड टेस्ट
9Bqwen3_5llama.cppunsloth
सर्वश्रेष्ठ35.9 tok/s
मीडियन35.9 tok/s
न्यूनतम35.9 tok/s
स्पीड टेस्ट देखें →

Qwen3.5-0.8B-Q8_0.gguf

Manojb / Qwen3.5-0.8B-Q8_0.gguf

Qwen1 स्पीड टेस्ट
0.8Bconversational
सर्वश्रेष्ठ346 tok/s
मीडियन346 tok/s
न्यूनतम346 tok/s
स्पीड टेस्ट देखें →

Qwen3.6-35B-A3B-4bit-DWQ

mlx-community / Qwen3.6-35B-A3B-4bit-DWQ

Qwentext-generation1 स्पीड टेस्ट
MoE3B active / 35B totalmlxqwen3_5_moeconversational
सर्वश्रेष्ठ78.9 tok/s
मीडियन78.9 tok/s
न्यूनतम78.9 tok/s
स्पीड टेस्ट देखें →

Qwen3.5-122B-A10B-GPTQ-Int4

Qwen / Qwen3.5-122B-A10B-GPTQ-Int4

Qwenimage-text-to-text1 स्पीड टेस्ट
MoE10B active / 122B totalqwen3_5_moeconversational4-bit
सर्वश्रेष्ठ49.1 tok/s
मीडियन49.1 tok/s
न्यूनतम49.1 tok/s
स्पीड टेस्ट देखें →

Llama-2-7b

meta-llama / Llama-2-7b

Llamatext-generation1 स्पीड टेस्ट
7Bfacebookmetallama-2
सर्वश्रेष्ठ110 tok/s
मीडियन110 tok/s
न्यूनतम110 tok/s
स्पीड टेस्ट देखें →

GLM-5

zai-org / GLM-5

text-generation
MoE754Bglm_moe_dsaconversationalen
स्पीड टेस्ट देखें →

DeepSeek-V4-Flash-2bit-DQ

mlx-community / DeepSeek-V4-Flash-2bit-DQ

Deepseektext-generation1 स्पीड टेस्ट
MoE284Bmlxdeepseek_v4conversational
सर्वश्रेष्ठ17.0 tok/s
मीडियन17.0 tok/s
न्यूनतम17.0 tok/s
स्पीड टेस्ट देखें →

Qwen3-VL-2B-Instruct

Qwen / Qwen3-VL-2B-Instruct

Qwenimage-text-to-text1 स्पीड टेस्ट
2Bqwen3_vlconversational
सर्वश्रेष्ठ27.9 tok/s
मीडियन27.9 tok/s
न्यूनतम27.9 tok/s
स्पीड टेस्ट देखें →

Gemopus-4-26B-A4B-it-GGUF

Jackrong / Gemopus-4-26B-A4B-it-GGUF

Llamaimage-text-to-text1 स्पीड टेस्ट
MoE4B active / 26B totalgemma4llama.cppvision
सर्वश्रेष्ठ94.5 tok/s
मीडियन94.5 tok/s
न्यूनतम94.5 tok/s
स्पीड टेस्ट देखें →

MiMo-V2.6-Flash-MOPD

XiaomiMiMo / MiMo-V2.6-Flash-MOPD

text-generation
MoE311Bmimo_v2multimodalvision-language
स्पीड टेस्ट देखें →

GLM-5.3

zai-org / GLM-5.3

text-generation
MoE753Bglm_moe_dsaconversationalen
स्पीड टेस्ट देखें →

Devstral-2-123B-Instruct-2512

mistralai / Devstral-2-123B-Instruct-2512

Mistral
123Bvllmministral3mistral-common
स्पीड टेस्ट देखें →

Kimi-K2.7-Code

moonshotai / Kimi-K2.7-Code

image-text-to-text
1Tkimi_k25feature-extractioncompressed-tensors
स्पीड टेस्ट देखें →

Qwen2-VL-7B

Qwen / Qwen2-VL-7B

Qwenimage-text-to-text
7Bqwen2_vlmultimodalconversational
स्पीड टेस्ट देखें →

Qwen3.5-9B-NSC-ACE-SABER-GGUF

GestaltLabs / Qwen3.5-9B-NSC-ACE-SABER-GGUF

Qwen
9Bqwen3_5nsc-acesaber
स्पीड टेस्ट देखें →

LFM2-24B-A2B-GGUF

lmstudio-community / LFM2-24B-A2B-GGUF

MoE2B active / 24B totalconversational
स्पीड टेस्ट देखें →