시작하기리더보드Decode calculator모델Reports하드웨어벤치마크마켓플레이스렌탈ProAPI 문서
언어
Actual Computer — Every computer, one endpoint

모델

모델 그룹 242개 · 총 959개

Qwen3.8-27B

Qwen / Qwen3.8-27B

Qwenimage-text-to-text속도 테스트 132개
27Bqwen3_5conversational
최고435 tok/s
중앙값49.0 tok/s
최소4.4 tok/s
Eval score· 3 evalsBF16+
69.4%
속도 테스트 보기 →

Qwen3.6-35B-A3B

Qwen / Qwen3.6-35B-A3B

Qwenimage-text-to-text속도 테스트 205개
MoE3B 활성 / 35B 전체qwen3_5_moeconversational
최고6.0k tok/s
중앙값69.0 tok/s
최소6.4 tok/s
Eval score· 2 evalsBF16+
91.6%
속도 테스트 보기 →

Qwen3.6-27B

Qwen / Qwen3.6-27B

Qwenimage-text-to-text속도 테스트 179개
27Bqwen3_5conversational
최고439 tok/s
중앙값43.7 tok/s
최소1.6 tok/s
속도 테스트 보기 →

Qwen3.8-27B-MTP-GGUF

Jackrong / Qwen3.8-27B-MTP-GGUF

Qwenimage-text-to-text속도 테스트 236개
27Bllama.cppvisionmultimodal
최고72.6 tok/s
중앙값36.6 tok/s
최소11.6 tok/s
속도 테스트 보기 →

Ornith-1.5-35B-A3B

ornith-ai / Ornith-1.5-35B-A3B

Qwentext-generation속도 테스트 1개
MoE3B 활성 / 35B 전체qwen3_5_moeimage-text-to-textconversational
최고35.4 tok/s
중앙값35.4 tok/s
최소35.4 tok/s
속도 테스트 보기 →

gemma-4-26B-A4B

google / gemma-4-26B-A4B

Gemmaimage-text-to-text
MoE4B 활성 / 26B 전체gemma4
속도 테스트 보기 →

Qwen3.5-9B-Base

Qwen / Qwen3.5-9B-Base

Qwenimage-text-to-text
9Bqwen3_5conversational
속도 테스트 보기 →

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

nvidia / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

text-generation속도 테스트 16개
MoE3B 활성 / 30B 전체nemotron_hnvidianemotron-3.5
최고7.2k tok/s
중앙값140 tok/s
최소49.8 tok/s
속도 테스트 보기 →

Ornith-1.5-35B-A3B-GGUF

ornith-ai / Ornith-1.5-35B-A3B-GGUF

text-generation속도 테스트 129개
MoE3B 활성 / 35B 전체conversational
최고131 tok/s
중앙값105 tok/s
최소26.5 tok/s
속도 테스트 보기 →

Qwen3.8-Flash-Next

Qwen / Qwen3.8-Flash-Next

Qwenimage-text-to-text속도 테스트 35개
180Bqwen4_expconversational
최고205 tok/s
중앙값69.0 tok/s
최소7.7 tok/s
Eval score· 2 evalsW4B
85.7%
속도 테스트 보기 →

MiniMax-M2.7

MiniMaxAI / MiniMax-M2.7

Minimaxtext-generation속도 테스트 40개
MoE229Bminimax_m2conversationalfp8
최고496 tok/s
중앙값32.2 tok/s
최소0.5 tok/s
속도 테스트 보기 →

DeepSeek-V4-Flash-0731

deepseek-ai / DeepSeek-V4-Flash-0731

Deepseektext-generation속도 테스트 73개
MoE304Bdeepseek_v48-bitfp8
최고404 tok/s
중앙값84.8 tok/s
최소19.0 tok/s
Eval score· 5 evalsFP8
90.4%
속도 테스트 보기 →

gemma-4-12B

google / gemma-4-12B

Gemmaany-to-any속도 테스트 1개
12Bgemma4_unifiedimage-text-to-text
최고25.8 tok/s
중앙값25.8 tok/s
최소25.8 tok/s
속도 테스트 보기 →

granite-4.1-30b-base

ibm-granite / granite-4.1-30b-base

text-generation
30Bgranitelanguagegranite-4.1
속도 테스트 보기 →

gemma-4-E4B

google / gemma-4-E4B

Gemmaany-to-any속도 테스트 3개
4Bgemma4image-text-to-text
최고71.2 tok/s
중앙값70.5 tok/s
최소70.5 tok/s
속도 테스트 보기 →

GLM-5.3-Flash

zai-org / GLM-5.3-Flash

image-text-to-text속도 테스트 52개
321Bglm5_nextconversationalen
최고1.5k tok/s
중앙값127 tok/s
최소15.3 tok/s
Eval score· 8 evalsexl3+
73.4%
속도 테스트 보기 →

Qwen3.5-35B-A3B-Base

Qwen / Qwen3.5-35B-A3B-Base

Qwenimage-text-to-text
MoE3B 활성 / 35B 전체qwen3_5_moeconversational
속도 테스트 보기 →

Ornith-1.0-35B

ornith-ai / Ornith-1.0-35B

Qwentext-generation속도 테스트 14개
MoE35Bqwen3_5_moeimage-text-to-textconversational
최고164 tok/s
중앙값71.8 tok/s
최소54.1 tok/s
속도 테스트 보기 →

NVIDIA-Nemotron-Nano-12B-v2-Base

nvidia / NVIDIA-Nemotron-Nano-12B-v2-Base

text-generation
12Bnvidiaenes
속도 테스트 보기 →

Qwen3-8B-Base

Qwen / Qwen3-8B-Base

Qwentext-generation
8Bqwen3conversational
속도 테스트 보기 →

Ornith-1.5-9B

ornith-ai / Ornith-1.5-9B

Qwentext-generation속도 테스트 92개
9Bqwen3_5image-text-to-textconversational
최고3.3k tok/s
중앙값73.3 tok/s
최소9.2 tok/s
Eval score· 1 evalBF16
81.7%
속도 테스트 보기 →

Qwen3.5-27B

Qwen / Qwen3.5-27B

Qwenimage-text-to-text속도 테스트 19개
27Bqwen3_5conversational
최고287 tok/s
중앙값25.1 tok/s
최소2.2 tok/s
속도 테스트 보기 →

GLM-5.2

zai-org / GLM-5.2

text-generation
MoE753Bglm_moe_dsaconversationalen
속도 테스트 보기 →

DeepSeek-V4-Flash

deepseek-ai / DeepSeek-V4-Flash

Deepseektext-generation속도 테스트 38개
MoE291Bdeepseek_v48-bitfp8
최고262 tok/s
중앙값28.5 tok/s
최소7.0 tok/s
Eval score· 1 evalIQ3_XXS
94.8%
속도 테스트 보기 →

Laguna-S-2.1

poolside / Laguna-S-2.1

text-generation속도 테스트 47개
MoE118Blagunalaguna-s-2.1vllm
최고127 tok/s
중앙값41.9 tok/s
최소15.1 tok/s
속도 테스트 보기 →

LFM2.5-8B-A1B-Base

LiquidAI / LFM2.5-8B-A1B-Base

text-generation
MoE1B 활성 / 8B 전체lfm2_moeliquidlfm2.5
속도 테스트 보기 →

gemma-4-31B

google / gemma-4-31B

Gemmaimage-text-to-text
31Bgemma4
속도 테스트 보기 →

gpt-oss-20b

openai / gpt-oss-20b

Gpttext-generation속도 테스트 54개
MoE20Bgpt_ossvllmconversational
최고991 tok/s
중앙값107 tok/s
최소12.0 tok/s
속도 테스트 보기 →

Qwen2.5-7B

Qwen / Qwen2.5-7B

Qwentext-generation속도 테스트 2개
7Bqwen2conversationalen
최고1.4k tok/s
중앙값1.4k tok/s
최소1.4k tok/s
속도 테스트 보기 →

InternViT-300M-448px

OpenGVLab / InternViT-300M-448px

image-feature-extraction
0.3Bintern_vit_6bfeature-extraction
속도 테스트 보기 →

Muse-Glimmer-30B

meta-models / Muse-Glimmer-30B

image-text-to-text속도 테스트 28개
30Bmuse_glimmerconversational
최고332 tok/s
중앙값41.9 tok/s
최소12.8 tok/s
속도 테스트 보기 →

Qwen3-0.6B-Base

Qwen / Qwen3-0.6B-Base

Qwentext-generation
0.6Bqwen3conversational
속도 테스트 보기 →

Phi-4-mini-reasoning

microsoft / Phi-4-mini-reasoning

Phitext-generation속도 테스트 10개
4Bphi3nlpmath
최고162 tok/s
중앙값97.4 tok/s
최소32.9 tok/s
속도 테스트 보기 →

Ornith-1.5-9B-GGUF

ornith-ai / Ornith-1.5-9B-GGUF

text-generation속도 테스트 52개
9Bconversational
최고92.0 tok/s
중앙값41.7 tok/s
최소32.3 tok/s
속도 테스트 보기 →

LFM2-350M

LiquidAI / LFM2-350M

text-generation속도 테스트 39개
350Mlfm2liquidedge
최고637 tok/s
중앙값232 tok/s
최소142 tok/s
속도 테스트 보기 →

Qwen3-Coder-30B-A3B-Instruct

Qwen / Qwen3-Coder-30B-A3B-Instruct

Qwentext-generation속도 테스트 29개
MoE3B 활성 / 30B 전체qwen3_moeconversational
최고136 tok/s
중앙값80.5 tok/s
최소14.4 tok/s
Eval score· 1 evalQ4_K_M
92.1%
속도 테스트 보기 →

Llama-3.2-3B-Instruct

meta-llama / Llama-3.2-3B-Instruct

Llamatext-generation속도 테스트 50개
3Bfacebookmetallama-3
최고489 tok/s
중앙값75.9 tok/s
최소10.0 tok/s
속도 테스트 보기 →

Ornith-1.0-9B

ornith-ai / Ornith-1.0-9B

Qwentext-generation속도 테스트 44개
9Bqwen3_5image-text-to-textconversational
최고77.5 tok/s
중앙값25.7 tok/s
최소3.8 tok/s
Eval score· 3 evalsQ4_K_M
56.0%
속도 테스트 보기 →

Qwen3-14B-Base

Qwen / Qwen3-14B-Base

Qwentext-generation
14Bqwen3conversational
속도 테스트 보기 →

Laguna-XS-2.1

poolside / Laguna-XS-2.1

text-generation속도 테스트 6개
MoE33Blagunalaguna-xs-2.1vllm
최고296 tok/s
중앙값106 tok/s
최소72.5 tok/s
속도 테스트 보기 →

LFM2.5-1.2B-Base

LiquidAI / LFM2.5-1.2B-Base

text-generation
1.2Blfm2liquidlfm2.5
속도 테스트 보기 →

gemma-3-12b-pt

google / gemma-3-12b-pt

Gemmaimage-text-to-text
12Bgemma3
속도 테스트 보기 →

Qwen3.5-4B-Base

Qwen / Qwen3.5-4B-Base

Qwenimage-text-to-text
4Bqwen3_5conversational
속도 테스트 보기 →

gemma-4-E2B

google / gemma-4-E2B

Gemmaany-to-any
2Bgemma4image-text-to-text
속도 테스트 보기 →

DeepSeek-R1-Distill-Qwen-7B

deepseek-ai / DeepSeek-R1-Distill-Qwen-7B

Deepseek-R1text-generation속도 테스트 28개
7Bqwen2conversational
최고144 tok/s
중앙값63.6 tok/s
최소12.8 tok/s
속도 테스트 보기 →

MiniCPM5-1B-GGUF

openbmb / MiniCPM5-1B-GGUF

Llamatext-generation속도 테스트 37개
1Bminicpmminicpm5long-context
최고222 tok/s
중앙값99.8 tok/s
최소32.0 tok/s
Eval score· 3 evals
52.2%
속도 테스트 보기 →

Ornstein3.6-27B-MTP-NSC-ACE-SABER

GestaltLabs / Ornstein3.6-27B-MTP-NSC-ACE-SABER

Qwenimage-text-to-text
27Bqwen3_5qwen3.6mtp
속도 테스트 보기 →

AceReason-Nemotron-1.1-7B

nvidia / AceReason-Nemotron-1.1-7B

Qwentext-generation속도 테스트 28개
7Bqwen2nvidiareasoning
최고79.8 tok/s
중앙값63.6 tok/s
최소12.8 tok/s
속도 테스트 보기 →

LFM2-8B-A1B

LiquidAI / LFM2-8B-A1B

text-generation속도 테스트 24개
MoE1B 활성 / 8B 전체lfm2_moeliquidlfm2
최고243 tok/s
중앙값211 tok/s
최소9.9 tok/s
속도 테스트 보기 →

phi-4

microsoft / phi-4

Phitext-generation속도 테스트 3개
15Bphi3nlpmath
최고77.0 tok/s
중앙값36.0 tok/s
최소36.0 tok/s
속도 테스트 보기 →

Nex-N2-mini

nex-agi / Nex-N2-mini

Qwentext-generation속도 테스트 9개
MoE35Bqwen3_5_moeimage-text-to-textconversational
최고107 tok/s
중앙값104 tok/s
최소40.5 tok/s
속도 테스트 보기 →

Mistral-Small-24B-Base-2501

mistralai / Mistral-Small-24B-Base-2501

Mistral
24Bvllmmistral-commonen
속도 테스트 보기 →

Qwen3.5-122B-A10B

Qwen / Qwen3.5-122B-A10B

Qwenimage-text-to-text속도 테스트 15개
MoE10B 활성 / 122B 전체qwen3_5_moeconversational
최고50.1 tok/s
중앙값26.4 tok/s
최소3.2 tok/s
속도 테스트 보기 →

DeepSeek-R1-Distill-Qwen-14B

deepseek-ai / DeepSeek-R1-Distill-Qwen-14B

Deepseek-R1text-generation속도 테스트 10개
14Bqwen2conversational
최고50.9 tok/s
중앙값38.0 tok/s
최소9.0 tok/s
속도 테스트 보기 →

LFM2.5-350M-Base

LiquidAI / LFM2.5-350M-Base

text-generation
350Mlfm2liquidlfm2.5
속도 테스트 보기 →

GLM-4.7-Flash

zai-org / GLM-4.7-Flash

text-generation속도 테스트 9개
MoE31Bglm4_moe_liteconversationalen
최고212 tok/s
중앙값93.3 tok/s
최소17.2 tok/s
속도 테스트 보기 →

Ornith-1.0-9B-GGUF

ornith-ai / Ornith-1.0-9B-GGUF

text-generation속도 테스트 32개
9Bconversational
최고88.1 tok/s
중앙값34.9 tok/s
최소11.0 tok/s
Eval score· 1 eval
89.4%
속도 테스트 보기 →

Nemotron-Cascade-2-30B-A3B

nvidia / Nemotron-Cascade-2-30B-A3B

text-generation속도 테스트 16개
MoE3B 활성 / 30B 전체nemotron_hnvidianemotron-cascade-2
최고197 tok/s
중앙값155 tok/s
최소89.8 tok/s
속도 테스트 보기 →

Qwen3-1.7B-Base

Qwen / Qwen3-1.7B-Base

Qwentext-generation
1.7Bqwen3conversational
속도 테스트 보기 →

Meta-Llama-3-8B-Instruct

meta-llama / Meta-Llama-3-8B-Instruct

Llamatext-generation속도 테스트 31개
8Bfacebookmetallama-3
최고148 tok/s
중앙값48.4 tok/s
최소13.6 tok/s
속도 테스트 보기 →

Ornith-1.0-35B-GGUF

ornith-ai / Ornith-1.0-35B-GGUF

text-generation속도 테스트 31개
35Bconversational
최고310 tok/s
중앙값60.6 tok/s
최소27.4 tok/s
속도 테스트 보기 →

Qwen2.5-3B

Qwen / Qwen2.5-3B

Qwentext-generation
3Bqwen2conversationalen
속도 테스트 보기 →

Ministral-3-3B-Base-2512

mistralai / Ministral-3-3B-Base-2512

Mistral
3Bvllmmistral3mistral-common
속도 테스트 보기 →

Agents-A1

InternScience / Agents-A1

Qwentext-generation속도 테스트 12개
MoE35Bqwen3_5_moeimage-text-to-textmoe
최고96.4 tok/s
중앙값76.7 tok/s
최소13.6 tok/s
Eval score· 1 eval
100.0%
속도 테스트 보기 →

gpt-oss-120b

openai / gpt-oss-120b

Gpttext-generation속도 테스트 25개
MoE120Bgpt_ossvllmconversational
최고223 tok/s
중앙값72.6 tok/s
최소34.4 tok/s
Eval score· 2 evalsMXFP4
78.4%
속도 테스트 보기 →

LFM2.5-230M-Base

LiquidAI / LFM2.5-230M-Base

text-generation
230Mlfm2liquidlfm2.5
속도 테스트 보기 →

Qwen3.5-0.8B-Base

Qwen / Qwen3.5-0.8B-Base

Qwenimage-text-to-text속도 테스트 1개
0.8Bqwen3_5conversational
최고2.7k tok/s
중앙값2.7k tok/s
최소2.7k tok/s
속도 테스트 보기 →

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

lmstudio-community / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

속도 테스트 26개
MoE3B 활성 / 30B 전체conversational
최고203 tok/s
중앙값36.4 tok/s
최소14.4 tok/s
속도 테스트 보기 →

Trinity-Mini-Base-Pre-Anneal

arcee-ai / Trinity-Mini-Base-Pre-Anneal

Arceetext-generation
MoE26Bafmoeenes
속도 테스트 보기 →

reka-flash-3

RekaAI / reka-flash-3

Llama속도 테스트 23개
21B
최고36.3 tok/s
중앙값23.1 tok/s
최소6.0 tok/s
속도 테스트 보기 →

Qwen2.5-14B

Qwen / Qwen2.5-14B

Qwentext-generation
14Bqwen2conversationalen
속도 테스트 보기 →

Qwen3-Coder-Next

Qwen / Qwen3-Coder-Next

Qwentext-generation속도 테스트 19개
MoE80Bqwen3_nextconversational
최고80.8 tok/s
중앙값55.8 tok/s
최소47.0 tok/s
속도 테스트 보기 →

Qwen3-4B-Base

Qwen / Qwen3-4B-Base

Qwentext-generation
4Bqwen3conversational
속도 테스트 보기 →

GLM-5.3-Flash-BF16

zai-org / GLM-5.3-Flash-BF16

image-text-to-text
321Bglm5_nextconversationalen
속도 테스트 보기 →

Qwen2.5-32B

Qwen / Qwen2.5-32B

Qwentext-generation
32Bqwen2conversationalen
속도 테스트 보기 →

BTL-4

badtheorylabs / BTL-4

Qwentext-generation
MoE35Bqwen3_5_moeimage-text-to-textagentic
속도 테스트 보기 →

Hy-MT2-7B

tencent / Hy-MT2-7B

translation속도 테스트 7개
7Bhunyuan_v1_densetext-generationzh
최고98.1 tok/s
중앙값31.0 tok/s
최소25.5 tok/s
Eval score· 3 evals
76.0%
속도 테스트 보기 →

DeepSeek-R1-Distill-Qwen-32B

deepseek-ai / DeepSeek-R1-Distill-Qwen-32B

Deepseek-R1text-generation속도 테스트 4개
32Bqwen2conversational
최고23.3 tok/s
중앙값22.3 tok/s
최소21.4 tok/s
속도 테스트 보기 →

Nemotron-Cascade-14B-Thinking

nvidia / Nemotron-Cascade-14B-Thinking

Qwentext-generation속도 테스트 18개
14Bqwen3nvidianemotron-cascade
최고51.9 tok/s
중앙값34.2 tok/s
최소6.2 tok/s
속도 테스트 보기 →

GLM-Z1-32B-0414

zai-org / GLM-Z1-32B-0414

text-generation속도 테스트 17개
32Bglm4conversationalzh
최고22.5 tok/s
중앙값16.4 tok/s
최소5.7 tok/s
속도 테스트 보기 →

Olmo-3-1125-32B

allenai / Olmo-3-1125-32B

text-generation
32Bolmo3en
속도 테스트 보기 →

MiniCPM5-1B

openbmb / MiniCPM5-1B

Llamatext-generation속도 테스트 16개
1Bminicpmminicpm5long-context
최고158 tok/s
중앙값101 tok/s
최소2.9 tok/s
Eval score· 2 evals
34.1%
속도 테스트 보기 →

North-Mini-Code-1.0

CohereLabs / North-Mini-Code-1.0

Coheretext-generation속도 테스트 17개
MoE30Bcohere2_moeconversationalchat
최고258 tok/s
중앙값102 tok/s
최소38.7 tok/s
속도 테스트 보기 →

Llama-3.1-8B

meta-llama / Llama-3.1-8B

Llamatext-generation
8Bfacebookmetallama-3
속도 테스트 보기 →

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

nvidia / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

Opttext-generation속도 테스트 16개
MoE3B 활성 / 30B 전체nemotron_hnvidianemotron-3.5
최고6.7k tok/s
중앙값254 tok/s
최소77.1 tok/s
Eval score· 3 evalsNVFP4
74.8%
속도 테스트 보기 →

Step-3.7-Flash

stepfun-ai / Step-3.7-Flash

image-text-to-text속도 테스트 5개
MoE201Bstep3p7vision-languagemultimodal
최고31.0 tok/s
중앙값30.8 tok/s
최소30.7 tok/s
속도 테스트 보기 →

gemma-3-1b-pt

google / gemma-3-1b-pt

Gemmatext-generation
1Bgemma3_text
속도 테스트 보기 →

DeepSeek-V4.1-Flash

deepseek-ai / DeepSeek-V4.1-Flash

Deepseekimage-text-to-text속도 테스트 14개
763Bdeepseek_v41text-generationconversational
최고352 tok/s
중앙값74.0 tok/s
최소31.7 tok/s
속도 테스트 보기 →

QUEST-30B-RL

osunlp / QUEST-30B-RL

Qwentext-generation
MoE30Bqwen3_moequestconversational
속도 테스트 보기 →

Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

nvidia / Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

any-to-any속도 테스트 5개
MoE3B 활성 / 30B 전체NemotronH_Nano_Omni_Reasoning_V3feature-extractionnvidia
최고107 tok/s
중앙값90.6 tok/s
최소57.9 tok/s
Eval score· 1 eval
100.0%
속도 테스트 보기 →

Agents-A1-4B

InternScience / Agents-A1-4B

Qwentext-generation
4Bqwen3_5image-text-to-textvlm
속도 테스트 보기 →

InternViT-6B-224px

OpenGVLab / InternViT-6B-224px

image-feature-extraction
6Bintern_vit_6bfeature-extraction
속도 테스트 보기 →

Qwen3-30B-A3B-Base

Qwen / Qwen3-30B-A3B-Base

Qwentext-generation
MoE3B 활성 / 30B 전체qwen3_moeconversational
속도 테스트 보기 →

KAT-Coder-V2.5-Dev

Kwaipilot / KAT-Coder-V2.5-Dev

Qwentext-generation속도 테스트 4개
MoE35Bqwen3_5_moeimage-text-to-textcode
최고75.9 tok/s
중앙값75.0 tok/s
최소66.3 tok/s
속도 테스트 보기 →

Mellum2-12B-A2.5B-Instruct

JetBrains / Mellum2-12B-A2.5B-Instruct

text-generation속도 테스트 3개
MoE2.5B 활성 / 12B 전체mellumconversationalen
최고83.5 tok/s
중앙값51.8 tok/s
최소41.8 tok/s
속도 테스트 보기 →

Mistral-Medium-3.5-128B

mistralai / Mistral-Medium-3.5-128B

Mistral속도 테스트 13개
128Bmistral3vLLMen
최고7.4 tok/s
중앙값6.5 tok/s
최소6.2 tok/s
속도 테스트 보기 →

Tess-4-35B-A3B

migtissera / Tess-4-35B-A3B

Qwen속도 테스트 12개
MoE3B 활성 / 35B 전체qwen3_5_moe
최고155 tok/s
중앙값140 tok/s
최소33.1 tok/s
속도 테스트 보기 →

GLM-4.5-Air

zai-org / GLM-4.5-Air

text-generation속도 테스트 9개
MoE110Bglm4_moeconversationalen
최고2.5k tok/s
중앙값103 tok/s
최소6.2 tok/s
속도 테스트 보기 →

Ling-3.0-tiny

inclusionAI / Ling-3.0-tiny

text-generation속도 테스트 9개
MoE8Bbailing_hybridconversational
최고369 tok/s
중앙값129 tok/s
최소52.6 tok/s
속도 테스트 보기 →

GLM-Z1-Rumination-32B-0414

zai-org / GLM-Z1-Rumination-32B-0414

text-generation속도 테스트 11개
32Bglm4conversationalzh
최고22.4 tok/s
중앙값19.7 tok/s
최소8.8 tok/s
속도 테스트 보기 →

MiniMax-M2.5

MiniMaxAI / MiniMax-M2.5

Minimaxtext-generation속도 테스트 2개
MoE229Bminimax_m2conversationalfp8
최고504 tok/s
중앙값419 tok/s
최소334 tok/s
속도 테스트 보기 →

granite-4.0-h-micro

ibm-granite / granite-4.0-h-micro

text-generation속도 테스트 11개
MoE3Bgranitemoehybridlanguagegranite-4.0
최고141 tok/s
중앙값45.0 tok/s
최소7.9 tok/s
Eval score· 3 evalsQ4_K_M
53.3%
속도 테스트 보기 →

Mistral-Small-3.1-24B-Base-2503

mistralai / Mistral-Small-3.1-24B-Base-2503

Mistral
24Bvllmmistral3mistral-common
속도 테스트 보기 →

Seed-OSS-36B-Instruct

ByteDance-Seed / Seed-OSS-36B-Instruct

text-generation
36Bseed_ossvllmconversational
속도 테스트 보기 →

Qwen3.6-27B-DFlash

z-lab / Qwen3.6-27B-DFlash

Qwentext-generation속도 테스트 10개
27Bqwen3feature-extractiondflash
최고215 tok/s
중앙값39.2 tok/s
최소26.9 tok/s
속도 테스트 보기 →

NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

nvidia / NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

text-generation속도 테스트 3개
MoE3B 활성 / 30B 전체nemotron_hnvidiaconversational
최고313 tok/s
중앙값286 tok/s
최소117 tok/s
속도 테스트 보기 →

Ling-3.0-flash

inclusionAI / Ling-3.0-flash

text-generation속도 테스트 9개
MoE127Bbailing_hybridconversational
최고72.3 tok/s
중앙값43.4 tok/s
최소33.6 tok/s
속도 테스트 보기 →

Hunyuan-MT-7B

tencent / Hunyuan-MT-7B

translation속도 테스트 9개
7Bhunyuan_v1_densetext-generation
최고98.1 tok/s
중앙값74.3 tok/s
최소28.5 tok/s
속도 테스트 보기 →

MiMo-V2.5

XiaomiMiMo / MiMo-V2.5

text-generation속도 테스트 5개
MoE311Bmimo_v2multimodalvision-language
최고33.9 tok/s
중앙값32.7 tok/s
최소28.1 tok/s
속도 테스트 보기 →

Hy-MT2-30B-A3B

tencent / Hy-MT2-30B-A3B

translation
MoE3B 활성 / 30B 전체hy_v3text-generationzh
속도 테스트 보기 →

Llama-3.2-1B-Instruct

meta-llama / Llama-3.2-1B-Instruct

Llamatext-generation속도 테스트 7개
1Bfacebookmetallama-3
최고448 tok/s
중앙값184 tok/s
최소68.2 tok/s
속도 테스트 보기 →

SmolLM2-135M

HuggingFaceTB / SmolLM2-135M

Llamatext-generation
135Men
속도 테스트 보기 →

internlm3-8b-instruct

internlm / internlm3-8b-instruct

Internlmtext-generation
8Binternlm3conversational
속도 테스트 보기 →

Nemotron-Cascade-8B

nvidia / Nemotron-Cascade-8B

Qwentext-generation
8Bqwen3nvidiaNemotron-Cascade
속도 테스트 보기 →

UI-TARS-7B-DPO

ByteDance-Seed / UI-TARS-7B-DPO

Qwenimage-text-to-text
7Bqwen2_vlmultimodalgui
속도 테스트 보기 →

EXAONE-3.5-7.8B-Instruct

LGAI-EXAONE / EXAONE-3.5-7.8B-Instruct

text-generation속도 테스트 8개
7.8Bexaonelg-aiexaone-3.5
최고26.8 tok/s
중앙값25.7 tok/s
최소11.2 tok/s
속도 테스트 보기 →

Ling-2.6-flash

inclusionAI / Ling-2.6-flash

text-generation속도 테스트 8개
MoE107Bbailing_hybridconversationalen
최고94.9 tok/s
중앙값86.2 tok/s
최소82.3 tok/s
속도 테스트 보기 →

Qwen2.5-72B

Qwen / Qwen2.5-72B

Qwentext-generation
72Bqwen2conversationalen
속도 테스트 보기 →

Spark-X2.5-4B-Base

XHToken / Spark-X2.5-4B-Base

text-generation
4Bspark2_5llmsparkx2_5
속도 테스트 보기 →

Tinystories-gpt-0.1-3m

segestic / Tinystories-gpt-0.1-3m

Gpttext-generation속도 테스트 5개
3Mgpt2en
최고5.0k tok/s
중앙값4.9k tok/s
최소1.3k tok/s
속도 테스트 보기 →

Qwen3-30B-A3B-Instruct-2507

Qwen / Qwen3-30B-A3B-Instruct-2507

Qwentext-generation속도 테스트 4개
MoE3B 활성 / 30B 전체qwen3_moeconversational
최고100 tok/s
중앙값72.5 tok/s
최소16.6 tok/s
속도 테스트 보기 →

Kimi-Linear-48B-A3B-Instruct

moonshotai / Kimi-Linear-48B-A3B-Instruct

text-generation속도 테스트 7개
MoE3B 활성 / 48B 전체kimi_linearconversational
최고281 tok/s
중앙값233 tok/s
최소90.0 tok/s
속도 테스트 보기 →

rwkv-7-world

BlinkDL / rwkv-7-world

Starcodertext-generation
rwkvcausal-lmen
속도 테스트 보기 →

Qwen3.5-2B-Base

Qwen / Qwen3.5-2B-Base

Qwenimage-text-to-text
2Bqwen3_5conversational
속도 테스트 보기 →

Llama-3.1-70B

meta-llama / Llama-3.1-70B

Llamatext-generation
70Bfacebookmetallama-3
속도 테스트 보기 →

NVIDIA-Nemotron-3-Super-120B-A12B-BF16

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-BF16

text-generation
MoE12B 활성 / 120B 전체nemotron_hnvidianemotron-3
속도 테스트 보기 →

Hy3

tencent / Hy3

text-generation
MoE299Bhy_v3hunyuanhy3
속도 테스트 보기 →

Qwen2.5-0.5B

Qwen / Qwen2.5-0.5B

Qwentext-generation
0.5Bqwen2conversationalen
속도 테스트 보기 →

DeepSeek-Coder-V2-Lite-Instruct

deepseek-ai / DeepSeek-Coder-V2-Lite-Instruct

Deepseek-Codertext-generation속도 테스트 6개
MoE16Bdeepseek_v2conversational
최고150 tok/s
중앙값87.0 tok/s
최소39.0 tok/s
속도 테스트 보기 →

Qwen3.8-Flash-Next-oQ4e-mtp

Jundot / Qwen3.8-Flash-Next-oQ4e-mtp

Qwen속도 테스트 5개
180Bmlxqwen4_expoq
최고92.6 tok/s
중앙값70.6 tok/s
최소38.1 tok/s
속도 테스트 보기 →

glm-4-9b-chat

zai-org / glm-4-9b-chat

Chatglm
9Bglmthudmzh
속도 테스트 보기 →

SmolLM2-360M

HuggingFaceTB / SmolLM2-360M

Llamatext-generation
360Men
속도 테스트 보기 →

Qwen3-Coder-Next-FP8

Qwen / Qwen3-Coder-Next-FP8

Qwentext-generation속도 테스트 5개
MoE80Bqwen3_nextconversationalfp8
최고190 tok/s
중앙값152 tok/s
최소112 tok/s
속도 테스트 보기 →

Llama-2-7b-hf

meta-llama / Llama-2-7b-hf

Llamatext-generation속도 테스트 5개
7Bfacebookmetallama-2
최고202 tok/s
중앙값50.4 tok/s
최소19.1 tok/s
속도 테스트 보기 →

Qwen3-VL-8B-Instruct

Qwen / Qwen3-VL-8B-Instruct

Qwenimage-text-to-text속도 테스트 3개
8Bqwen3_vlconversational
최고95.9 tok/s
중앙값89.8 tok/s
최소58.8 tok/s
속도 테스트 보기 →

Qwen2.5-1.5B

Qwen / Qwen2.5-1.5B

Qwentext-generation
1.5Bqwen2conversationalen
속도 테스트 보기 →

Qwen3-32B

Qwen / Qwen3-32B

Qwentext-generation속도 테스트 5개
32Bqwen3conversational
최고79.3 tok/s
중앙값22.8 tok/s
최소3.2 tok/s
속도 테스트 보기 →

NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

Opttext-generation속도 테스트 5개
MoE12B 활성 / 120B 전체nemotron_hnvidianemotron-3
최고262 tok/s
중앙값175 tok/s
최소49.6 tok/s
속도 테스트 보기 →

MiniCPM5-2B

openbmb / MiniCPM5-2B

Llamatext-generation속도 테스트 4개
2Bminicpmminicpm5long-context
최고118 tok/s
중앙값66.8 tok/s
최소61.6 tok/s
속도 테스트 보기 →

Qwen3-235B-A22B

Qwen / Qwen3-235B-A22B

Qwentext-generation
MoE22B 활성 / 235B 전체qwen3_moeconversational
속도 테스트 보기 →

Spark-X2.5-1.7B-Base

XHToken / Spark-X2.5-1.7B-Base

text-generation
1.7Bspark2_5llmsparkx2_5
속도 테스트 보기 →

Qwen3-235B-A22B-Thinking-2507

Qwen / Qwen3-235B-A22B-Thinking-2507

Qwentext-generation속도 테스트 4개
MoE22B 활성 / 235B 전체qwen3_moeconversational
최고17.5 tok/s
중앙값15.8 tok/s
최소13.0 tok/s
속도 테스트 보기 →

granite-4.1-8b-base

ibm-granite / granite-4.1-8b-base

text-generation
8Bgranitelanguagegranite-4.1
속도 테스트 보기 →

Qwen2.5-VL-7B-Instruct

Qwen / Qwen2.5-VL-7B-Instruct

Qwenimage-text-to-text
7Bqwen2_5_vlmultimodalconversational
속도 테스트 보기 →

NVIDIA-Nemotron-3-Nano-4B-FP8

nvidia / NVIDIA-Nemotron-3-Nano-4B-FP8

text-generation
4Bnemotron_hnvidiaconversational
속도 테스트 보기 →

DeepSeek-V4-Flash-DSpark

deepseek-ai / DeepSeek-V4-Flash-DSpark

Deepseektext-generation속도 테스트 4개
MoE165Bdeepseek_v48-bitfp8
최고262 tok/s
중앙값213 tok/s
최소46.4 tok/s
속도 테스트 보기 →

gemma-3-4b-pt

google / gemma-3-4b-pt

Gemmaimage-text-to-text
4Bgemma3
속도 테스트 보기 →

gemma-3n-E4B

google / gemma-3n-E4B

Gemmaimage-text-to-text
4Bgemma3nautomatic-speech-recognitionautomatic-speech-translation
속도 테스트 보기 →

MiniMax-M2

MiniMaxAI / MiniMax-M2

Minimaxtext-generation속도 테스트 2개
MoE229Bminimax_m2conversationalfp8
최고493 tok/s
중앙값398 tok/s
최소303 tok/s
속도 테스트 보기 →

GLM-5.1

zai-org / GLM-5.1

text-generation
MoE754Bglm_moe_dsaconversationalen
속도 테스트 보기 →

granite-4.1-30b

ibm-granite / granite-4.1-30b

text-generation속도 테스트 4개
30Bgranitelanguagegranite-4.1
최고17.9 tok/s
중앙값16.4 tok/s
최소15.6 tok/s
속도 테스트 보기 →

Gemopus-4-26B-A4B-it

Jackrong / Gemopus-4-26B-A4B-it

Gemmatext-generation속도 테스트 4개
MoE4B 활성 / 26B 전체gemma4instruction-tunedreasoning
최고64.3 tok/s
중앙값55.0 tok/s
최소45.7 tok/s
속도 테스트 보기 →

MiMo-V2.6-Flash-RL

XiaomiMiMo / MiMo-V2.6-Flash-RL

text-generation속도 테스트 3개
MoE311Bmimo_v2multimodalvision-language
최고193 tok/s
중앙값189 tok/s
최소154 tok/s
속도 테스트 보기 →

gemma-3-27b-pt

google / gemma-3-27b-pt

Gemmaimage-text-to-text
27Bgemma3
속도 테스트 보기 →

Nex-N2.5-mini

nex-agi / Nex-N2.5-mini

Qwentext-generation
MoE35Bqwen3_5_moeimage-text-to-textconversational
속도 테스트 보기 →

LFM2.5-2.6B-Base

LiquidAI / LFM2.5-2.6B-Base

text-generation
2.6Blfm2liquidlfm2.5
속도 테스트 보기 →

Qwen3-VL-30B-A3B-Instruct

Qwen / Qwen3-VL-30B-A3B-Instruct

Qwenimage-text-to-text속도 테스트 2개
MoE3B 활성 / 30B 전체qwen3_vl_moeconversational
최고56.6 tok/s
중앙값52.2 tok/s
최소47.7 tok/s
속도 테스트 보기 →

Falcon-H1-0.5B-Base

tiiuae / Falcon-H1-0.5B-Base

Falcontext-generation
0.5Bfalcon_h1en
속도 테스트 보기 →

functiongemma-270m-it

google / functiongemma-270m-it

Gemmatext-generation속도 테스트 3개
270Mgemma3_textgemma3google
최고206 tok/s
중앙값193 tok/s
최소169 tok/s
속도 테스트 보기 →

Falcon-H1-Tiny-90M-Instruct

tiiuae / Falcon-H1-Tiny-90M-Instruct

Falcontext-generation속도 테스트 3개
90Mfalcon_h1edgeconversational
최고495 tok/s
중앙값425 tok/s
최소338 tok/s
속도 테스트 보기 →

gemma-3-270m

google / gemma-3-270m

Gemmatext-generation
270Mgemma3_textgemma3google
속도 테스트 보기 →

Ornith-1.0-397B

ornith-ai / Ornith-1.0-397B

Qwentext-generation
MoE397Bqwen3_5_moeimage-text-to-textconversational
속도 테스트 보기 →

Mellum2-12B-A2.5B-Thinking

JetBrains / Mellum2-12B-A2.5B-Thinking

text-generation
MoE2.5B 활성 / 12B 전체mellumconversationalen
속도 테스트 보기 →

diffusiongemma-26B-A4B-it

google / diffusiongemma-26B-A4B-it

Gemmaimage-text-to-text속도 테스트 1개
MoE4B 활성 / 26B 전체diffusion_gemmaconversational
최고529 tok/s
중앙값529 tok/s
최소529 tok/s
속도 테스트 보기 →

MiniCPM3-4B

openbmb / MiniCPM3-4B

text-generation속도 테스트 3개
4Bminicpm3conversationalzh
최고35.6 tok/s
중앙값29.4 tok/s
최소6.1 tok/s
Eval score· 2 evals
100.0%
속도 테스트 보기 →

Ternary-Bonsai-8B-unpacked

prism-ml / Ternary-Bonsai-8B-unpacked

Qwen
8Bqwen3prismmlbonsai
속도 테스트 보기 →

Llama-4-Scout-17B-16E

meta-llama / Llama-4-Scout-17B-16E

Llamaimage-text-to-text
MoE17B 활성 / 109B 전체llama4facebookmeta
속도 테스트 보기 →

DeepSeek-V4-Flash-Vision-Exp

deepseek-ai / DeepSeek-V4-Flash-Vision-Exp

Deepseekimage-text-to-text속도 테스트 1개
MoE305Bdeepseek_v4text-generation8-bit
최고180 tok/s
중앙값180 tok/s
최소180 tok/s
속도 테스트 보기 →

Qwen3.8-27B-Uncensored-int4-AutoRound

johannrplaster / Qwen3.8-27B-Uncensored-int4-AutoRound

Qwenimage-text-to-text속도 테스트 2개
27Bqwen3_5vllmintel-xpu
최고136 tok/s
중앙값117 tok/s
최소97.8 tok/s
속도 테스트 보기 →

stories-llama2-50k

delphi-suite / stories-llama2-50k

Llama속도 테스트 2개
delphien
최고306.1k tok/s
중앙값171.4k tok/s
최소36.7k tok/s
속도 테스트 보기 →

LFM2-24B-A2B

LiquidAI / LFM2-24B-A2B

text-generation속도 테스트 1개
MoE2B 활성 / 24B 전체lfm2_moeliquidlfm2
최고161 tok/s
중앙값161 tok/s
최소161 tok/s
속도 테스트 보기 →

models-moved

ggml-org / models-moved

속도 테스트 2개
최고16.7k tok/s
중앙값10.6k tok/s
최소4.4k tok/s
속도 테스트 보기 →

Qwen3.6-27b-ROCmFP4-CIRU-CHAOS-SPEED

jcbtc / Qwen3.6-27b-ROCmFP4-CIRU-CHAOS-SPEED

Qwentext-generation속도 테스트 2개
27B
최고132 tok/s
중앙값92.3 tok/s
최소52.2 tok/s
Eval score· 1 evalROCmFP4
90.5%
속도 테스트 보기 →

MobileLLM-350M

facebook / MobileLLM-350M

text-generation속도 테스트 2개
350Mmobilellmfacebookmeta
최고981 tok/s
중앙값714 tok/s
최소448 tok/s
속도 테스트 보기 →

MobileLLM-125M

facebook / MobileLLM-125M

text-generation속도 테스트 2개
125Mmobilellmfacebookmeta
최고1.3k tok/s
중앙값987 tok/s
최소703 tok/s
속도 테스트 보기 →

OLMo-2-0425-1B

allenai / OLMo-2-0425-1B

text-generation
1Bolmo2en
속도 테스트 보기 →

LFM2-700M

LiquidAI / LFM2-700M

text-generation속도 테스트 2개
0.7Blfm2liquidedge
최고114 tok/s
중앙값92.1 tok/s
최소70.3 tok/s
속도 테스트 보기 →

h2o-danube3-500m-chat

h2oai / h2o-danube3-500m-chat

Llamatext-generation속도 테스트 2개
0.5Bgptllmlarge language model
최고163 tok/s
중앙값134 tok/s
최소105 tok/s
속도 테스트 보기 →

granite-4.0-1b-base

ibm-granite / granite-4.0-1b-base

text-generation
MoE1Bgranitemoehybridlanguagegranite-4.0
속도 테스트 보기 →

EXAONE-3.5-7.8B-Instruct-GGUF

LGAI-EXAONE / EXAONE-3.5-7.8B-Instruct-GGUF

text-generation속도 테스트 2개
7.8Blg-aiexaoneexaone-3.5
최고27.2 tok/s
중앙값27.2 tok/s
최소27.2 tok/s
Eval score· 2 evals
78.3%
속도 테스트 보기 →

Phi-4-mini-instruct

microsoft / Phi-4-mini-instruct

Phitext-generation
4Bphi3nlpcode
속도 테스트 보기 →

Kimi-K2.5

moonshotai / Kimi-K2.5

image-text-to-text속도 테스트 1개
1Tkimi_k25feature-extractioncompressed-tensors
최고74.0 tok/s
중앙값74.0 tok/s
최소74.0 tok/s
속도 테스트 보기 →

MiniMax-M2.1

MiniMaxAI / MiniMax-M2.1

Minimaxtext-generation속도 테스트 2개
MoE229Bminimax_m2conversationalfp8
최고499 tok/s
중앙값416 tok/s
최소333 tok/s
속도 테스트 보기 →

Qwen3.5-35B-A3B-4bit

mlx-community / Qwen3.5-35B-A3B-4bit

Qwenimage-text-to-text속도 테스트 2개
MoE3B 활성 / 35B 전체qwen3_5_moemlxconversational
최고140 tok/s
중앙값122 tok/s
최소105 tok/s
속도 테스트 보기 →

MiniCPM5-2B-GGUF

openbmb / MiniCPM5-2B-GGUF

Llamatext-generation속도 테스트 1개
2Bminicpmminicpm5long-context
최고39.1 tok/s
중앙값39.1 tok/s
최소39.1 tok/s
속도 테스트 보기 →

Ling-3.0-tiny-GGUF

inclusionAI / Ling-3.0-tiny-GGUF

text-generation속도 테스트 1개
conversational
최고244 tok/s
중앙값244 tok/s
최소244 tok/s
속도 테스트 보기 →

qwen-3.8-27b-abliterated

heterodoxin / qwen-3.8-27b-abliterated

Qwen속도 테스트 1개
27Bqwen3_5
최고4.4 tok/s
중앙값4.4 tok/s
최소4.4 tok/s
속도 테스트 보기 →

Ternary-Bonsai-1.7B-unpacked

prism-ml / Ternary-Bonsai-1.7B-unpacked

Qwen
1.7Bqwen3prismmlbonsai
속도 테스트 보기 →

Ternary-Bonsai-2-27B-DFlash2-vllm

fraserprice / Ternary-Bonsai-2-27B-DFlash2-vllm

속도 테스트 1개
27B
최고361 tok/s
중앙값361 tok/s
최소361 tok/s
속도 테스트 보기 →

GLM-5.3-BF16

zai-org / GLM-5.3-BF16

text-generation속도 테스트 1개
MoE753Bglm_moe_dsaconversationalen
최고6843.6k tok/s
중앙값6843.6k tok/s
최소6843.6k tok/s
속도 테스트 보기 →

Ling-3.0-flash-int4

inclusionAI / Ling-3.0-flash-int4

text-generation속도 테스트 1개
MoE127Bbailing_hybridconversationalcompressed-tensors
최고37.3 tok/s
중앙값37.3 tok/s
최소37.3 tok/s
속도 테스트 보기 →

Falcon3-7B-Base

tiiuae / Falcon3-7B-Base

Llamatext-generation
7Bfalcon3enfr
속도 테스트 보기 →

Ornith-1.5-35B-A3B-NVFP4

ornith-ai / Ornith-1.5-35B-A3B-NVFP4

Qwentext-generation속도 테스트 1개
MoE3B 활성 / 35B 전체qwen3_5_moeimage-text-to-textconversational
최고259 tok/s
중앙값259 tok/s
최소259 tok/s
Eval score· 3 evalsNVFP4
70.9%
속도 테스트 보기 →

Qwen3-30B-A3B-Thinking-2507

Qwen / Qwen3-30B-A3B-Thinking-2507

Qwentext-generation
MoE3B 활성 / 30B 전체qwen3_moeconversational
속도 테스트 보기 →

bitnet-b1.58-2B-4T-bf16

microsoft / bitnet-b1.58-2B-4T-bf16

text-generation
2Bbitnetchatlarge-language-model
속도 테스트 보기 →

Ministral-3-14B-Base-2512

mistralai / Ministral-3-14B-Base-2512

Mistral
14Bvllmmistral3mistral-common
속도 테스트 보기 →

rnj-1-instruct-GGUF

EssentialAI / rnj-1-instruct-GGUF

속도 테스트 1개
conversational
최고123 tok/s
중앙값123 tok/s
최소123 tok/s
속도 테스트 보기 →

Qwen3-4B-Thinking-2507

Qwen / Qwen3-4B-Thinking-2507

Qwentext-generation
4Bqwen3conversational
속도 테스트 보기 →

GLM-4.6V-Flash

zai-org / GLM-4.6V-Flash

image-text-to-text
10Bglm4vconversationalzh
속도 테스트 보기 →

gemma-3n-E4B-it-text-GGUF

lmstudio-community / gemma-3n-E4B-it-text-GGUF

Gemma속도 테스트 1개
4Bconversational
최고135 tok/s
중앙값135 tok/s
최소135 tok/s
속도 테스트 보기 →

DeepSeek-R1-0528-Qwen3-8B

deepseek-ai / DeepSeek-R1-0528-Qwen3-8B

Deepseek-R1text-generation
8Bqwen3conversational
속도 테스트 보기 →

DeepSeek-Coder-V2-Lite-Instruct-FP8

RedHatAI / DeepSeek-Coder-V2-Lite-Instruct-FP8

Deepseek-Codertext-generation속도 테스트 1개
MoE16Bdeepseek_v2fp8vllm
최고237 tok/s
중앙값237 tok/s
최소237 tok/s
속도 테스트 보기 →

Qwen3-Coder-30B-A3B-Instruct-FP8

Qwen / Qwen3-Coder-30B-A3B-Instruct-FP8

Qwentext-generation속도 테스트 1개
MoE3B 활성 / 30B 전체qwen3_moeconversationalfp8
최고26.1 tok/s
중앙값26.1 tok/s
최소26.1 tok/s
속도 테스트 보기 →

Qwen3-Next-80B-A3B-Instruct

Qwen / Qwen3-Next-80B-A3B-Instruct

Qwentext-generation
MoE3B 활성 / 80B 전체qwen3_nextconversational
속도 테스트 보기 →

Kimi-K3

moonshotai / Kimi-K3

image-text-to-text
2.8Tkimi_k3feature-extractioncompressed-tensors
속도 테스트 보기 →

Inkling-Small

thinkingmachines / Inkling-Small

image-text-to-text
MoE266Binkling_mm_modelconversationalaudio-text-to-text
속도 테스트 보기 →

Qwen3.5-4B-Uncensored-HauhauCS-Aggressive

HauhauCS / Qwen3.5-4B-Uncensored-HauhauCS-Aggressive

Qwen속도 테스트 1개
4Buncensoredqwen3.5en
최고82.9 tok/s
중앙값82.9 tok/s
최소82.9 tok/s
속도 테스트 보기 →

Harmonic-Hermes-9B-GGUF

DJLougen / Harmonic-Hermes-9B-GGUF

Qwen속도 테스트 1개
9Bhermesqwen3_5reasoning
최고39.2 tok/s
중앙값39.2 tok/s
최소39.2 tok/s
속도 테스트 보기 →

Qwen3.5-27B-Uncensored-HauhauCS-Aggressive

HauhauCS / Qwen3.5-27B-Uncensored-HauhauCS-Aggressive

Qwen속도 테스트 1개
27Buncensoredqwen3.5en
최고30.8 tok/s
중앙값30.8 tok/s
최소30.8 tok/s
Eval score· 5 evalsQ4_K_M
91.5%
속도 테스트 보기 →

Mistral-Nemo-Base-2407

mistralai / Mistral-Nemo-Base-2407

Mistral
12Bvllmmistral-commonen
속도 테스트 보기 →

Falcon-H1-Tiny-Tool-Calling-90M

tiiuae / Falcon-H1-Tiny-Tool-Calling-90M

Falcontext-generation속도 테스트 1개
90Mfalcon_h1edgeconversational
최고434 tok/s
중앙값434 tok/s
최소434 tok/s
속도 테스트 보기 →

Falcon-H1-Tiny-Coder-90M

tiiuae / Falcon-H1-Tiny-Coder-90M

Falcontext-generation속도 테스트 1개
90Mfalcon_h1edge
최고426 tok/s
중앙값426 tok/s
최소426 tok/s
속도 테스트 보기 →

TinyStories-33M

roneneldan / TinyStories-33M

Gpttext-generation속도 테스트 1개
33Mgpt_neo
최고641 tok/s
중앙값641 tok/s
최소641 tok/s
속도 테스트 보기 →

tinystories-lay4-hs128-hd2-1M

ivnle / tinystories-lay4-hs128-hd2-1M

Llamatext-generation속도 테스트 1개
1Mconversational
최고3.6k tok/s
중앙값3.6k tok/s
최소3.6k tok/s
속도 테스트 보기 →

qwen-3-14b-instruct-gguf

lm-kit / qwen-3-14b-instruct-gguf

Qwen속도 테스트 1개
14Bconversational
최고38.2 tok/s
중앙값38.2 tok/s
최소38.2 tok/s
속도 테스트 보기 →

Gemmable-4-12B-MTP-GGUF

Mia-AiLab / Gemmable-4-12B-MTP-GGUF

Gemma속도 테스트 1개
12Bgemma-4gemmablereasoning
최고71.2 tok/s
중앙값71.2 tok/s
최소71.2 tok/s
속도 테스트 보기 →

DeepSeek-Coder-V2-Lite-Instruct-GGUF

bartowski / DeepSeek-Coder-V2-Lite-Instruct-GGUF

Deepseek-Codertext-generation속도 테스트 1개
imatrixconversational
최고57.1 tok/s
중앙값57.1 tok/s
최소57.1 tok/s
속도 테스트 보기 →

gemma-4-31B-v2-MLX-4bit

jdfelo / gemma-4-31B-v2-MLX-4bit

Gemmaimage-text-to-text속도 테스트 1개
31Bmlx-vlmgemma4mlx
최고33.4 tok/s
중앙값33.4 tok/s
최소33.4 tok/s
속도 테스트 보기 →

MiniMax-M3

MiniMaxAI / MiniMax-M3

Minimaximage-text-to-text
MoE427Bminimax_m3_vlmultimodalmoe
속도 테스트 보기 →

Unlimited-OCR

baidu / Unlimited-OCR

image-text-to-text속도 테스트 1개
MoE3Bunlimited-ocrfeature-extractionbaidu
최고365 tok/s
중앙값365 tok/s
최소365 tok/s
속도 테스트 보기 →

gemma-4-26B-A4B-it-QAT-MLX-4bit

lmstudio-community / gemma-4-26B-A4B-it-QAT-MLX-4bit

Gemmaimage-text-to-text속도 테스트 1개
MoE4B 활성 / 26B 전체gemma4mlxconversational
최고65.3 tok/s
중앙값65.3 tok/s
최소65.3 tok/s
속도 테스트 보기 →

granite-4.1-8b

ibm-granite / granite-4.1-8b

text-generation
8Bgranitelanguagegranite-4.1
속도 테스트 보기 →

Step-3.7-Flash-NVFP4

stepfun-ai / Step-3.7-Flash-NVFP4

Optimage-text-to-text속도 테스트 1개
MoE104Bstep3p7vision-languagemultimodal
최고27.4 tok/s
중앙값27.4 tok/s
최소27.4 tok/s
속도 테스트 보기 →

Qwable-3.6-35b

Mia-AiLab / Qwable-3.6-35b

Qwen속도 테스트 1개
35Bqwen3qwen3.6fable
최고54.1 tok/s
중앙값54.1 tok/s
최소54.1 tok/s
속도 테스트 보기 →

GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

HauhauCS / GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

Gpt속도 테스트 1개
20Buncensoredabliteratedmxfp4
최고66.8 tok/s
중앙값66.8 tok/s
최소66.8 tok/s
속도 테스트 보기 →

UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

uncensoredai / UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

Deepseek-R1속도 테스트 1개
14Bqwen2
최고27.0 tok/s
중앙값27.0 tok/s
최소27.0 tok/s
속도 테스트 보기 →

Qwen3.5-9B-Red_Team

LuisPPB16 / Qwen3.5-9B-Red_Team

Qwen속도 테스트 1개
9Bqwen3_5llama.cppunsloth
최고35.9 tok/s
중앙값35.9 tok/s
최소35.9 tok/s
속도 테스트 보기 →

Qwen3.5-0.8B-Q8_0.gguf

Manojb / Qwen3.5-0.8B-Q8_0.gguf

Qwen속도 테스트 1개
0.8Bconversational
최고346 tok/s
중앙값346 tok/s
최소346 tok/s
속도 테스트 보기 →

Qwen3.6-35B-A3B-4bit-DWQ

mlx-community / Qwen3.6-35B-A3B-4bit-DWQ

Qwentext-generation속도 테스트 1개
MoE3B 활성 / 35B 전체mlxqwen3_5_moeconversational
최고78.9 tok/s
중앙값78.9 tok/s
최소78.9 tok/s
속도 테스트 보기 →

Qwen3.5-122B-A10B-GPTQ-Int4

Qwen / Qwen3.5-122B-A10B-GPTQ-Int4

Qwenimage-text-to-text속도 테스트 1개
MoE10B 활성 / 122B 전체qwen3_5_moeconversational4-bit
최고49.1 tok/s
중앙값49.1 tok/s
최소49.1 tok/s
속도 테스트 보기 →

Llama-2-7b

meta-llama / Llama-2-7b

Llamatext-generation속도 테스트 1개
7Bfacebookmetallama-2
최고110 tok/s
중앙값110 tok/s
최소110 tok/s
속도 테스트 보기 →

GLM-5

zai-org / GLM-5

text-generation
MoE754Bglm_moe_dsaconversationalen
속도 테스트 보기 →

DeepSeek-V4-Flash-2bit-DQ

mlx-community / DeepSeek-V4-Flash-2bit-DQ

Deepseektext-generation속도 테스트 1개
MoE284Bmlxdeepseek_v4conversational
최고17.0 tok/s
중앙값17.0 tok/s
최소17.0 tok/s
속도 테스트 보기 →

Qwen3-VL-2B-Instruct

Qwen / Qwen3-VL-2B-Instruct

Qwenimage-text-to-text속도 테스트 1개
2Bqwen3_vlconversational
최고27.9 tok/s
중앙값27.9 tok/s
최소27.9 tok/s
속도 테스트 보기 →

Gemopus-4-26B-A4B-it-GGUF

Jackrong / Gemopus-4-26B-A4B-it-GGUF

Llamaimage-text-to-text속도 테스트 1개
MoE4B 활성 / 26B 전체gemma4llama.cppvision
최고94.5 tok/s
중앙값94.5 tok/s
최소94.5 tok/s
속도 테스트 보기 →

MiMo-V2.6-Flash-MOPD

XiaomiMiMo / MiMo-V2.6-Flash-MOPD

text-generation
MoE311Bmimo_v2multimodalvision-language
속도 테스트 보기 →

GLM-5.3

zai-org / GLM-5.3

text-generation
MoE753Bglm_moe_dsaconversationalen
속도 테스트 보기 →

Devstral-2-123B-Instruct-2512

mistralai / Devstral-2-123B-Instruct-2512

Mistral
123Bvllmministral3mistral-common
속도 테스트 보기 →

Kimi-K2.7-Code

moonshotai / Kimi-K2.7-Code

image-text-to-text
1Tkimi_k25feature-extractioncompressed-tensors
속도 테스트 보기 →

Qwen2-VL-7B

Qwen / Qwen2-VL-7B

Qwenimage-text-to-text
7Bqwen2_vlmultimodalconversational
속도 테스트 보기 →

Qwen3.5-9B-NSC-ACE-SABER-GGUF

GestaltLabs / Qwen3.5-9B-NSC-ACE-SABER-GGUF

Qwen
9Bqwen3_5nsc-acesaber
속도 테스트 보기 →

LFM2-24B-A2B-GGUF

lmstudio-community / LFM2-24B-A2B-GGUF

MoE2B 활성 / 24B 전체conversational
속도 테스트 보기 →