Mô hình

Qwenimage-text-to-text205 lượt kiểm tra tốc độ

Qwen3.6-35B-A3B

Qwen / Qwen3.6-35B-A3B

MoE3B active / 35B totalqwen3_5_moeconversational

Tốt nhất6.0k tok/s

Trung vị69.0 tok/s

Tối thiểu6.4 tok/s

Eval score· 2 evalsBF16+

91.6%

Qwenimage-text-to-text179 lượt kiểm tra tốc độ

Qwen3.6-27B

Qwen / Qwen3.6-27B

27Bqwen3_5conversational

Tốt nhất439 tok/s

Trung vị43.7 tok/s

Tối thiểu1.6 tok/s

Qwenimage-text-to-text236 lượt kiểm tra tốc độ

Qwen3.8-27B-MTP-GGUF

Jackrong / Qwen3.8-27B-MTP-GGUF

27Bllama.cppvisionmultimodal

Tốt nhất72.6 tok/s

Trung vị36.6 tok/s

Tối thiểu11.6 tok/s

Ornith-1.5-35B-A3B

ornith-ai / Ornith-1.5-35B-A3B

MoE3B active / 35B totalqwen3_5_moeimage-text-to-textconversational

Tốt nhất35.4 tok/s

Trung vị35.4 tok/s

Tối thiểu35.4 tok/s

gemma-4-26B-A4B

google / gemma-4-26B-A4B

MoE4B active / 26B totalgemma4

Qwen3.5-9B-Base

Qwen / Qwen3.5-9B-Base

9Bqwen3_5conversational

text-generation16 lượt kiểm tra tốc độ

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

nvidia / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

MoE3B active / 30B totalnemotron_hnvidianemotron-3.5

Tốt nhất7.2k tok/s

Trung vị140 tok/s

Tối thiểu49.8 tok/s

text-generation129 lượt kiểm tra tốc độ

Ornith-1.5-35B-A3B-GGUF

ornith-ai / Ornith-1.5-35B-A3B-GGUF

MoE3B active / 35B totalconversational

Tốt nhất131 tok/s

Trung vị105 tok/s

Tối thiểu26.5 tok/s

Qwenimage-text-to-text35 lượt kiểm tra tốc độ

Qwen3.8-Flash-Next

Qwen / Qwen3.8-Flash-Next

180Bqwen4_expconversational

Tốt nhất205 tok/s

Trung vị69.0 tok/s

Tối thiểu7.7 tok/s

Eval score· 2 evalsW4B

85.7%

Minimaxtext-generation40 lượt kiểm tra tốc độ

MiniMax-M2.7

MiniMaxAI / MiniMax-M2.7

Tốt nhất496 tok/s

Trung vị32.2 tok/s

Tối thiểu0.5 tok/s

Deepseektext-generation73 lượt kiểm tra tốc độ

DeepSeek-V4-Flash-0731

deepseek-ai / DeepSeek-V4-Flash-0731

MoE304Bdeepseek_v48-bitfp8

Tốt nhất404 tok/s

Trung vị84.8 tok/s

Tối thiểu19.0 tok/s

Eval score· 5 evalsFP8

90.4%

Gemmaany-to-any1 lượt kiểm tra tốc độ

gemma-4-12B

google / gemma-4-12B

12Bgemma4_unifiedimage-text-to-text

Tốt nhất25.8 tok/s

Trung vị25.8 tok/s

Tối thiểu25.8 tok/s

granite-4.1-30b-base

ibm-granite / granite-4.1-30b-base

30Bgranitelanguagegranite-4.1

Gemmaany-to-any3 lượt kiểm tra tốc độ

gemma-4-E4B

google / gemma-4-E4B

4Bgemma4image-text-to-text

Tốt nhất71.2 tok/s

Trung vị70.5 tok/s

Tối thiểu70.5 tok/s

image-text-to-text52 lượt kiểm tra tốc độ

GLM-5.3-Flash

zai-org / GLM-5.3-Flash

321Bglm5_nextconversationalen

Tốt nhất1.5k tok/s

Trung vị127 tok/s

Tối thiểu15.3 tok/s

Eval score· 8 evalsexl3+

73.4%

Qwen3.5-35B-A3B-Base

Qwen / Qwen3.5-35B-A3B-Base

MoE3B active / 35B totalqwen3_5_moeconversational

Qwentext-generation14 lượt kiểm tra tốc độ

Ornith-1.0-35B

ornith-ai / Ornith-1.0-35B

MoE35Bqwen3_5_moeimage-text-to-textconversational

Tốt nhất164 tok/s

Trung vị71.8 tok/s

Tối thiểu54.1 tok/s

NVIDIA-Nemotron-Nano-12B-v2-Base

nvidia / NVIDIA-Nemotron-Nano-12B-v2-Base

12Bnvidiaenes

Qwen3-8B-Base

Qwen / Qwen3-8B-Base

8Bqwen3conversational

Qwentext-generation92 lượt kiểm tra tốc độ

Ornith-1.5-9B

ornith-ai / Ornith-1.5-9B

9Bqwen3_5image-text-to-textconversational

Tốt nhất3.3k tok/s

Trung vị73.3 tok/s

Tối thiểu9.2 tok/s

Eval score· 1 evalBF16

81.7%

Qwenimage-text-to-text19 lượt kiểm tra tốc độ

Qwen3.5-27B

Qwen / Qwen3.5-27B

27Bqwen3_5conversational

Tốt nhất287 tok/s

Trung vị25.1 tok/s

Tối thiểu2.2 tok/s

GLM-5.2

zai-org / GLM-5.2

MoE753Bglm_moe_dsaconversationalen

Deepseektext-generation38 lượt kiểm tra tốc độ

DeepSeek-V4-Flash

deepseek-ai / DeepSeek-V4-Flash

MoE291Bdeepseek_v48-bitfp8

Tốt nhất262 tok/s

Trung vị28.5 tok/s

Tối thiểu7.0 tok/s

Eval score· 1 evalIQ3_XXS

94.8%

text-generation47 lượt kiểm tra tốc độ

Laguna-S-2.1

poolside / Laguna-S-2.1

MoE118Blagunalaguna-s-2.1vllm

Tốt nhất127 tok/s

Trung vị41.9 tok/s

Tối thiểu15.1 tok/s

LFM2.5-8B-A1B-Base

LiquidAI / LFM2.5-8B-A1B-Base

MoE1B active / 8B totallfm2_moeliquidlfm2.5

gemma-4-31B

google / gemma-4-31B

31Bgemma4

Gpttext-generation54 lượt kiểm tra tốc độ

gpt-oss-20b

openai / gpt-oss-20b

MoE20Bgpt_ossvllmconversational

Tốt nhất991 tok/s

Trung vị107 tok/s

Tối thiểu12.0 tok/s

Qwentext-generation2 lượt kiểm tra tốc độ

Qwen2.5-7B

Qwen / Qwen2.5-7B

7Bqwen2conversationalen

Tốt nhất1.4k tok/s

Trung vị1.4k tok/s

Tối thiểu1.4k tok/s

0.3Bintern_vit_6bfeature-extraction

InternViT-300M-448px

OpenGVLab / InternViT-300M-448px

image-feature-extraction

image-text-to-text28 lượt kiểm tra tốc độ

Muse-Glimmer-30B

meta-models / Muse-Glimmer-30B

30Bmuse_glimmerconversational

Tốt nhất332 tok/s

Trung vị41.9 tok/s

Tối thiểu12.8 tok/s

Qwen3-0.6B-Base

Qwen / Qwen3-0.6B-Base

0.6Bqwen3conversational

Phitext-generation10 lượt kiểm tra tốc độ

Phi-4-mini-reasoning

microsoft / Phi-4-mini-reasoning

text-generation52 lượt kiểm tra tốc độ

Ornith-1.5-9B-GGUF

ornith-ai / Ornith-1.5-9B-GGUF

text-generation39 lượt kiểm tra tốc độ

LFM2-350M

LiquidAI / LFM2-350M

Qwentext-generation29 lượt kiểm tra tốc độ

Qwen3-Coder-30B-A3B-Instruct

Qwen / Qwen3-Coder-30B-A3B-Instruct

Tốt nhất136 tok/s

Trung vị80.5 tok/s

Tối thiểu14.4 tok/s

Eval score· 1 evalQ4_K_M

92.1%

Llamatext-generation50 lượt kiểm tra tốc độ

Llama-3.2-3B-Instruct

meta-llama / Llama-3.2-3B-Instruct

3Bfacebookmetallama-3

Tốt nhất489 tok/s

Trung vị75.9 tok/s

Tối thiểu10.0 tok/s

Qwentext-generation44 lượt kiểm tra tốc độ

Ornith-1.0-9B

ornith-ai / Ornith-1.0-9B

9Bqwen3_5image-text-to-textconversational

Tốt nhất77.5 tok/s

Trung vị25.7 tok/s

Tối thiểu3.8 tok/s

Eval score· 3 evalsQ4_K_M

56.0%

Qwen3-14B-Base

Qwen / Qwen3-14B-Base

14Bqwen3conversational

text-generation6 lượt kiểm tra tốc độ

Laguna-XS-2.1

poolside / Laguna-XS-2.1

MoE33Blagunalaguna-xs-2.1vllm

Tốt nhất296 tok/s

Trung vị106 tok/s

Tối thiểu72.5 tok/s

LFM2.5-1.2B-Base

LiquidAI / LFM2.5-1.2B-Base

1.2Blfm2liquidlfm2.5

gemma-3-12b-pt

google / gemma-3-12b-pt

12Bgemma3

Qwen3.5-4B-Base

Qwen / Qwen3.5-4B-Base

4Bqwen3_5conversational

2Bgemma4image-text-to-text

gemma-4-E2B

google / gemma-4-E2B

Gemmaany-to-any

Deepseek-R1text-generation28 lượt kiểm tra tốc độ

DeepSeek-R1-Distill-Qwen-7B

deepseek-ai / DeepSeek-R1-Distill-Qwen-7B

7Bqwen2conversational

Tốt nhất144 tok/s

Trung vị63.6 tok/s

Tối thiểu12.8 tok/s

Llamatext-generation37 lượt kiểm tra tốc độ

MiniCPM5-1B-GGUF

openbmb / MiniCPM5-1B-GGUF

1Bminicpmminicpm5long-context

Ornstein3.6-27B-MTP-NSC-ACE-SABER

GestaltLabs / Ornstein3.6-27B-MTP-NSC-ACE-SABER

27Bqwen3_5qwen3.6mtp

Qwentext-generation28 lượt kiểm tra tốc độ

AceReason-Nemotron-1.1-7B

nvidia / AceReason-Nemotron-1.1-7B

7Bqwen2nvidiareasoning

Tốt nhất79.8 tok/s

Trung vị63.6 tok/s

Tối thiểu12.8 tok/s

text-generation24 lượt kiểm tra tốc độ

LFM2-8B-A1B

LiquidAI / LFM2-8B-A1B

MoE1B active / 8B totallfm2_moeliquidlfm2

Tốt nhất243 tok/s

Trung vị211 tok/s

Tối thiểu9.9 tok/s

Phitext-generation3 lượt kiểm tra tốc độ

phi-4

microsoft / phi-4

Qwentext-generation9 lượt kiểm tra tốc độ

Nex-N2-mini

nex-agi / Nex-N2-mini

MoE35Bqwen3_5_moeimage-text-to-textconversational

Tốt nhất107 tok/s

Trung vị104 tok/s

Tối thiểu40.5 tok/s

Mistral-Small-24B-Base-2501

mistralai / Mistral-Small-24B-Base-2501

24Bvllmmistral-commonen

Qwenimage-text-to-text15 lượt kiểm tra tốc độ

Qwen3.5-122B-A10B

Qwen / Qwen3.5-122B-A10B

MoE10B active / 122B totalqwen3_5_moeconversational

Tốt nhất50.1 tok/s

Trung vị26.4 tok/s

Tối thiểu3.2 tok/s

Deepseek-R1text-generation10 lượt kiểm tra tốc độ

DeepSeek-R1-Distill-Qwen-14B

deepseek-ai / DeepSeek-R1-Distill-Qwen-14B

14Bqwen2conversational

Tốt nhất50.9 tok/s

Trung vị38.0 tok/s

Tối thiểu9.0 tok/s

LFM2.5-350M-Base

LiquidAI / LFM2.5-350M-Base

350Mlfm2liquidlfm2.5

GLM-4.7-Flash

zai-org / GLM-4.7-Flash

MoE31Bglm4_moe_liteconversationalen

Tốt nhất212 tok/s

Trung vị93.3 tok/s

Tối thiểu17.2 tok/s

text-generation32 lượt kiểm tra tốc độ

Ornith-1.0-9B-GGUF

ornith-ai / Ornith-1.0-9B-GGUF

text-generation16 lượt kiểm tra tốc độ

Nemotron-Cascade-2-30B-A3B

nvidia / Nemotron-Cascade-2-30B-A3B

MoE3B active / 30B totalnemotron_hnvidianemotron-cascade-2

Tốt nhất197 tok/s

Trung vị155 tok/s

Tối thiểu89.8 tok/s

Qwen3-1.7B-Base

Qwen / Qwen3-1.7B-Base

1.7Bqwen3conversational

Llamatext-generation31 lượt kiểm tra tốc độ

Meta-Llama-3-8B-Instruct

meta-llama / Meta-Llama-3-8B-Instruct

8Bfacebookmetallama-3

Tốt nhất148 tok/s

Trung vị48.4 tok/s

Tối thiểu13.6 tok/s

text-generation31 lượt kiểm tra tốc độ

Ornith-1.0-35B-GGUF

ornith-ai / Ornith-1.0-35B-GGUF

Qwen2.5-3B

Qwen / Qwen2.5-3B

3Bqwen2conversationalen

Ministral-3-3B-Base-2512

mistralai / Ministral-3-3B-Base-2512

3Bvllmmistral3mistral-common

Qwentext-generation12 lượt kiểm tra tốc độ

Agents-A1

InternScience / Agents-A1

MoE35Bqwen3_5_moeimage-text-to-textmoe

Gpttext-generation25 lượt kiểm tra tốc độ

gpt-oss-120b

openai / gpt-oss-120b

MoE120Bgpt_ossvllmconversational

Tốt nhất223 tok/s

Trung vị72.6 tok/s

Tối thiểu34.4 tok/s

Eval score· 2 evalsMXFP4

78.4%

LFM2.5-230M-Base

LiquidAI / LFM2.5-230M-Base

230Mlfm2liquidlfm2.5

Qwenimage-text-to-text1 lượt kiểm tra tốc độ

Qwen3.5-0.8B-Base

Qwen / Qwen3.5-0.8B-Base

0.8Bqwen3_5conversational

Tốt nhất2.7k tok/s

Trung vị2.7k tok/s

Tối thiểu2.7k tok/s

MoE3B active / 30B totalconversational

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

lmstudio-community / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

26 lượt kiểm tra tốc độ

Tốt nhất203 tok/s

Trung vị36.4 tok/s

Tối thiểu14.4 tok/s

Trinity-Mini-Base-Pre-Anneal

arcee-ai / Trinity-Mini-Base-Pre-Anneal

Arceetext-generation

MoE26Bafmoeenes

Llama23 lượt kiểm tra tốc độ

reka-flash-3

RekaAI / reka-flash-3

Qwen2.5-14B

Qwen / Qwen2.5-14B

14Bqwen2conversationalen

Qwentext-generation19 lượt kiểm tra tốc độ

Qwen3-Coder-Next

Qwen / Qwen3-Coder-Next

MoE80Bqwen3_nextconversational

Tốt nhất80.8 tok/s

Trung vị55.8 tok/s

Tối thiểu47.0 tok/s

Qwen3-4B-Base

Qwen / Qwen3-4B-Base

4Bqwen3conversational

GLM-5.3-Flash-BF16

zai-org / GLM-5.3-Flash-BF16

321Bglm5_nextconversationalen

Qwen2.5-32B

Qwen / Qwen2.5-32B

32Bqwen2conversationalen

BTL-4

badtheorylabs / BTL-4

MoE35Bqwen3_5_moeimage-text-to-textagentic

translation7 lượt kiểm tra tốc độ

Hy-MT2-7B

tencent / Hy-MT2-7B

7Bhunyuan_v1_densetext-generationzh

Deepseek-R1text-generation4 lượt kiểm tra tốc độ

DeepSeek-R1-Distill-Qwen-32B

deepseek-ai / DeepSeek-R1-Distill-Qwen-32B

32Bqwen2conversational

Tốt nhất23.3 tok/s

Trung vị22.3 tok/s

Tối thiểu21.4 tok/s

Qwentext-generation18 lượt kiểm tra tốc độ

Nemotron-Cascade-14B-Thinking

nvidia / Nemotron-Cascade-14B-Thinking

14Bqwen3nvidianemotron-cascade

Tốt nhất51.9 tok/s

Trung vị34.2 tok/s

Tối thiểu6.2 tok/s

text-generation17 lượt kiểm tra tốc độ

GLM-Z1-32B-0414

zai-org / GLM-Z1-32B-0414

32Bglm4conversationalzh

Tốt nhất22.5 tok/s

Trung vị16.4 tok/s

Tối thiểu5.7 tok/s

Olmo-3-1125-32B

allenai / Olmo-3-1125-32B

32Bolmo3en

Llamatext-generation16 lượt kiểm tra tốc độ

MiniCPM5-1B

openbmb / MiniCPM5-1B

1Bminicpmminicpm5long-context

Coheretext-generation17 lượt kiểm tra tốc độ

North-Mini-Code-1.0

CohereLabs / North-Mini-Code-1.0

MoE30Bcohere2_moeconversationalchat

Tốt nhất258 tok/s

Trung vị102 tok/s

Tối thiểu38.7 tok/s

Llama-3.1-8B

meta-llama / Llama-3.1-8B

8Bfacebookmetallama-3

Opttext-generation16 lượt kiểm tra tốc độ

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

nvidia / NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

MoE3B active / 30B totalnemotron_hnvidianemotron-3.5

Tốt nhất6.7k tok/s

Trung vị254 tok/s

Tối thiểu77.1 tok/s

Eval score· 3 evalsNVFP4

74.8%

image-text-to-text5 lượt kiểm tra tốc độ

Step-3.7-Flash

stepfun-ai / Step-3.7-Flash

MoE201Bstep3p7vision-languagemultimodal

Tốt nhất31.0 tok/s

Trung vị30.8 tok/s

Tối thiểu30.7 tok/s

gemma-3-1b-pt

google / gemma-3-1b-pt

Gemmatext-generation

1Bgemma3_text

Deepseekimage-text-to-text14 lượt kiểm tra tốc độ

DeepSeek-V4.1-Flash

deepseek-ai / DeepSeek-V4.1-Flash

763Bdeepseek_v41text-generationconversational

Tốt nhất352 tok/s

Trung vị74.0 tok/s

Tối thiểu31.7 tok/s

QUEST-30B-RL

osunlp / QUEST-30B-RL

MoE30Bqwen3_moequestconversational

any-to-any5 lượt kiểm tra tốc độ

Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

nvidia / Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

MoE3B active / 30B totalNemotronH_Nano_Omni_Reasoning_V3feature-extractionnvidia

Agents-A1-4B

InternScience / Agents-A1-4B

4Bqwen3_5image-text-to-textvlm

6Bintern_vit_6bfeature-extraction

InternViT-6B-224px

OpenGVLab / InternViT-6B-224px

image-feature-extraction

Qwen3-30B-A3B-Base

Qwen / Qwen3-30B-A3B-Base

Qwentext-generation4 lượt kiểm tra tốc độ

KAT-Coder-V2.5-Dev

Kwaipilot / KAT-Coder-V2.5-Dev

MoE35Bqwen3_5_moeimage-text-to-textcode

Tốt nhất75.9 tok/s

Trung vị75.0 tok/s

Tối thiểu66.3 tok/s

Mellum2-12B-A2.5B-Instruct

JetBrains / Mellum2-12B-A2.5B-Instruct

MoE2.5B active / 12B totalmellumconversationalen

Tốt nhất83.5 tok/s

Trung vị51.8 tok/s

Tối thiểu41.8 tok/s

Mistral13 lượt kiểm tra tốc độ

Mistral-Medium-3.5-128B

mistralai / Mistral-Medium-3.5-128B

Qwen12 lượt kiểm tra tốc độ

Tess-4-35B-A3B

migtissera / Tess-4-35B-A3B

MoE3B active / 35B totalqwen3_5_moe

Tốt nhất155 tok/s

Trung vị140 tok/s

Tối thiểu33.1 tok/s

GLM-4.5-Air

zai-org / GLM-4.5-Air

MoE110Bglm4_moeconversationalen

Tốt nhất2.5k tok/s

Trung vị103 tok/s

Tối thiểu6.2 tok/s

Ling-3.0-tiny

inclusionAI / Ling-3.0-tiny

MoE8Bbailing_hybridconversational

Tốt nhất369 tok/s

Trung vị129 tok/s

Tối thiểu52.6 tok/s

text-generation11 lượt kiểm tra tốc độ

GLM-Z1-Rumination-32B-0414

zai-org / GLM-Z1-Rumination-32B-0414

32Bglm4conversationalzh

Tốt nhất22.4 tok/s

Trung vị19.7 tok/s

Tối thiểu8.8 tok/s

Minimaxtext-generation2 lượt kiểm tra tốc độ

MiniMax-M2.5

MiniMaxAI / MiniMax-M2.5

Tốt nhất504 tok/s

Trung vị419 tok/s

Tối thiểu334 tok/s

text-generation11 lượt kiểm tra tốc độ

granite-4.0-h-micro

ibm-granite / granite-4.0-h-micro

MoE3Bgranitemoehybridlanguagegranite-4.0

Tốt nhất141 tok/s

Trung vị45.0 tok/s

Tối thiểu7.9 tok/s

Eval score· 3 evalsQ4_K_M

53.3%

Mistral-Small-3.1-24B-Base-2503

mistralai / Mistral-Small-3.1-24B-Base-2503

24Bvllmmistral3mistral-common

Seed-OSS-36B-Instruct

ByteDance-Seed / Seed-OSS-36B-Instruct

36Bseed_ossvllmconversational

Qwentext-generation10 lượt kiểm tra tốc độ

Qwen3.6-27B-DFlash

z-lab / Qwen3.6-27B-DFlash

27Bqwen3feature-extractiondflash

Tốt nhất215 tok/s

Trung vị39.2 tok/s

Tối thiểu26.9 tok/s

NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

nvidia / NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

MoE3B active / 30B totalnemotron_hnvidiaconversational

Tốt nhất313 tok/s

Trung vị286 tok/s

Tối thiểu117 tok/s

Ling-3.0-flash

inclusionAI / Ling-3.0-flash

MoE127Bbailing_hybridconversational

Tốt nhất72.3 tok/s

Trung vị43.4 tok/s

Tối thiểu33.6 tok/s

translation9 lượt kiểm tra tốc độ

Hunyuan-MT-7B

tencent / Hunyuan-MT-7B

7Bhunyuan_v1_densetext-generation

Tốt nhất98.1 tok/s

Trung vị74.3 tok/s

Tối thiểu28.5 tok/s

text-generation5 lượt kiểm tra tốc độ

MiMo-V2.5

XiaomiMiMo / MiMo-V2.5

MoE311Bmimo_v2multimodalvision-language

Tốt nhất33.9 tok/s

Trung vị32.7 tok/s

Tối thiểu28.1 tok/s

MoE3B active / 30B totalhy_v3text-generationzh

Hy-MT2-30B-A3B

tencent / Hy-MT2-30B-A3B

translation

Llamatext-generation7 lượt kiểm tra tốc độ

Llama-3.2-1B-Instruct

meta-llama / Llama-3.2-1B-Instruct

1Bfacebookmetallama-3

Tốt nhất448 tok/s

Trung vị184 tok/s

Tối thiểu68.2 tok/s

SmolLM2-135M

HuggingFaceTB / SmolLM2-135M

135Men

8Binternlm3conversational

internlm3-8b-instruct

internlm / internlm3-8b-instruct

Internlmtext-generation

Nemotron-Cascade-8B

nvidia / Nemotron-Cascade-8B

8Bqwen3nvidiaNemotron-Cascade

UI-TARS-7B-DPO

ByteDance-Seed / UI-TARS-7B-DPO

7Bqwen2_vlmultimodalgui

text-generation8 lượt kiểm tra tốc độ

EXAONE-3.5-7.8B-Instruct

LGAI-EXAONE / EXAONE-3.5-7.8B-Instruct

7.8Bexaonelg-aiexaone-3.5

Tốt nhất26.8 tok/s

Trung vị25.7 tok/s

Tối thiểu11.2 tok/s

text-generation8 lượt kiểm tra tốc độ

Ling-2.6-flash

inclusionAI / Ling-2.6-flash

MoE107Bbailing_hybridconversationalen

Tốt nhất94.9 tok/s

Trung vị86.2 tok/s

Tối thiểu82.3 tok/s

Qwen2.5-72B

Qwen / Qwen2.5-72B

72Bqwen2conversationalen

Spark-X2.5-4B-Base

XHToken / Spark-X2.5-4B-Base

4Bspark2_5llmsparkx2_5

Gpttext-generation5 lượt kiểm tra tốc độ

Tinystories-gpt-0.1-3m

segestic / Tinystories-gpt-0.1-3m

Qwentext-generation4 lượt kiểm tra tốc độ

Qwen3-30B-A3B-Instruct-2507

Qwen / Qwen3-30B-A3B-Instruct-2507

Tốt nhất100 tok/s

Trung vị72.5 tok/s

Tối thiểu16.6 tok/s

text-generation7 lượt kiểm tra tốc độ

Kimi-Linear-48B-A3B-Instruct

moonshotai / Kimi-Linear-48B-A3B-Instruct

MoE3B active / 48B totalkimi_linearconversational

Tốt nhất281 tok/s

Trung vị233 tok/s

Tối thiểu90.0 tok/s

rwkv-7-world

BlinkDL / rwkv-7-world

Starcodertext-generation

rwkvcausal-lmen

Qwen3.5-2B-Base

Qwen / Qwen3.5-2B-Base

2Bqwen3_5conversational

Llama-3.1-70B

meta-llama / Llama-3.1-70B

70Bfacebookmetallama-3

NVIDIA-Nemotron-3-Super-120B-A12B-BF16

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-BF16

MoE12B active / 120B totalnemotron_hnvidianemotron-3

Hy3

tencent / Hy3

MoE299Bhy_v3hunyuanhy3

Qwen2.5-0.5B

Qwen / Qwen2.5-0.5B

0.5Bqwen2conversationalen

Deepseek-Codertext-generation6 lượt kiểm tra tốc độ

DeepSeek-Coder-V2-Lite-Instruct

deepseek-ai / DeepSeek-Coder-V2-Lite-Instruct

MoE16Bdeepseek_v2conversational

Tốt nhất150 tok/s

Trung vị87.0 tok/s

Tối thiểu39.0 tok/s

Qwen5 lượt kiểm tra tốc độ

Qwen3.8-Flash-Next-oQ4e-mtp

Jundot / Qwen3.8-Flash-Next-oQ4e-mtp

glm-4-9b-chat

zai-org / glm-4-9b-chat

Chatglm

9Bglmthudmzh

SmolLM2-360M

HuggingFaceTB / SmolLM2-360M

360Men

Qwentext-generation5 lượt kiểm tra tốc độ

Qwen3-Coder-Next-FP8

Qwen / Qwen3-Coder-Next-FP8

MoE80Bqwen3_nextconversationalfp8

Tốt nhất190 tok/s

Trung vị152 tok/s

Tối thiểu112 tok/s

Llamatext-generation5 lượt kiểm tra tốc độ

Llama-2-7b-hf

meta-llama / Llama-2-7b-hf

7Bfacebookmetallama-2

Tốt nhất202 tok/s

Trung vị50.4 tok/s

Tối thiểu19.1 tok/s

Qwenimage-text-to-text3 lượt kiểm tra tốc độ

Qwen3-VL-8B-Instruct

Qwen / Qwen3-VL-8B-Instruct

8Bqwen3_vlconversational

Tốt nhất95.9 tok/s

Trung vị89.8 tok/s

Tối thiểu58.8 tok/s

Qwen2.5-1.5B

Qwen / Qwen2.5-1.5B

1.5Bqwen2conversationalen

Qwentext-generation5 lượt kiểm tra tốc độ

Qwen3-32B

Qwen / Qwen3-32B

32Bqwen3conversational

Tốt nhất79.3 tok/s

Trung vị22.8 tok/s

Tối thiểu3.2 tok/s

Opttext-generation5 lượt kiểm tra tốc độ

NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

nvidia / NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4

MoE12B active / 120B totalnemotron_hnvidianemotron-3

Tốt nhất262 tok/s

Trung vị175 tok/s

Tối thiểu49.6 tok/s

Llamatext-generation4 lượt kiểm tra tốc độ

MiniCPM5-2B

openbmb / MiniCPM5-2B

2Bminicpmminicpm5long-context

Tốt nhất118 tok/s

Trung vị66.8 tok/s

Tối thiểu61.6 tok/s

Qwen3-235B-A22B

Qwen / Qwen3-235B-A22B

MoE22B active / 235B totalqwen3_moeconversational

Spark-X2.5-1.7B-Base

XHToken / Spark-X2.5-1.7B-Base

1.7Bspark2_5llmsparkx2_5

Qwentext-generation4 lượt kiểm tra tốc độ

Qwen3-235B-A22B-Thinking-2507

Qwen / Qwen3-235B-A22B-Thinking-2507

MoE22B active / 235B totalqwen3_moeconversational

Tốt nhất17.5 tok/s

Trung vị15.8 tok/s

Tối thiểu13.0 tok/s

granite-4.1-8b-base

ibm-granite / granite-4.1-8b-base

8Bgranitelanguagegranite-4.1

Qwen2.5-VL-7B-Instruct

Qwen / Qwen2.5-VL-7B-Instruct

7Bqwen2_5_vlmultimodalconversational

NVIDIA-Nemotron-3-Nano-4B-FP8

nvidia / NVIDIA-Nemotron-3-Nano-4B-FP8

4Bnemotron_hnvidiaconversational

Deepseektext-generation4 lượt kiểm tra tốc độ

DeepSeek-V4-Flash-DSpark

deepseek-ai / DeepSeek-V4-Flash-DSpark

MoE165Bdeepseek_v48-bitfp8

Tốt nhất262 tok/s

Trung vị213 tok/s

Tối thiểu46.4 tok/s

gemma-3-4b-pt

google / gemma-3-4b-pt

4Bgemma3

gemma-3n-E4B

google / gemma-3n-E4B

4Bgemma3nautomatic-speech-recognitionautomatic-speech-translation

Minimaxtext-generation2 lượt kiểm tra tốc độ

MiniMax-M2

MiniMaxAI / MiniMax-M2

Tốt nhất493 tok/s

Trung vị398 tok/s

Tối thiểu303 tok/s

GLM-5.1

zai-org / GLM-5.1

MoE754Bglm_moe_dsaconversationalen

text-generation4 lượt kiểm tra tốc độ

granite-4.1-30b

ibm-granite / granite-4.1-30b

30Bgranitelanguagegranite-4.1

Tốt nhất17.9 tok/s

Trung vị16.4 tok/s

Tối thiểu15.6 tok/s

Gemmatext-generation4 lượt kiểm tra tốc độ

Gemopus-4-26B-A4B-it

Jackrong / Gemopus-4-26B-A4B-it

MoE4B active / 26B totalgemma4instruction-tunedreasoning

Tốt nhất64.3 tok/s

Trung vị55.0 tok/s

Tối thiểu45.7 tok/s

MiMo-V2.6-Flash-RL

XiaomiMiMo / MiMo-V2.6-Flash-RL

MoE311Bmimo_v2multimodalvision-language

Tốt nhất193 tok/s

Trung vị189 tok/s

Tối thiểu154 tok/s

gemma-3-27b-pt

google / gemma-3-27b-pt

27Bgemma3

Nex-N2.5-mini

nex-agi / Nex-N2.5-mini

MoE35Bqwen3_5_moeimage-text-to-textconversational

LFM2.5-2.6B-Base

LiquidAI / LFM2.5-2.6B-Base

2.6Blfm2liquidlfm2.5

Qwenimage-text-to-text2 lượt kiểm tra tốc độ

Qwen3-VL-30B-A3B-Instruct

Qwen / Qwen3-VL-30B-A3B-Instruct

MoE3B active / 30B totalqwen3_vl_moeconversational

Tốt nhất56.6 tok/s

Trung vị52.2 tok/s

Tối thiểu47.7 tok/s

Falcon-H1-0.5B-Base

tiiuae / Falcon-H1-0.5B-Base

Falcontext-generation

0.5Bfalcon_h1en

Gemmatext-generation3 lượt kiểm tra tốc độ

functiongemma-270m-it

google / functiongemma-270m-it

270Mgemma3_textgemma3google

Tốt nhất206 tok/s

Trung vị193 tok/s

Tối thiểu169 tok/s

Falcontext-generation3 lượt kiểm tra tốc độ

Falcon-H1-Tiny-90M-Instruct

tiiuae / Falcon-H1-Tiny-90M-Instruct

90Mfalcon_h1edgeconversational

Tốt nhất495 tok/s

Trung vị425 tok/s

Tối thiểu338 tok/s

270Mgemma3_textgemma3google

gemma-3-270m

google / gemma-3-270m

Gemmatext-generation

Ornith-1.0-397B

ornith-ai / Ornith-1.0-397B

MoE397Bqwen3_5_moeimage-text-to-textconversational

Mellum2-12B-A2.5B-Thinking

JetBrains / Mellum2-12B-A2.5B-Thinking

MoE2.5B active / 12B totalmellumconversationalen

Gemmaimage-text-to-text1 lượt kiểm tra tốc độ

diffusiongemma-26B-A4B-it

google / diffusiongemma-26B-A4B-it

MoE4B active / 26B totaldiffusion_gemmaconversational

Tốt nhất529 tok/s

Trung vị529 tok/s

Tối thiểu529 tok/s

MiniCPM3-4B

openbmb / MiniCPM3-4B

4Bminicpm3conversationalzh

Ternary-Bonsai-8B-unpacked

prism-ml / Ternary-Bonsai-8B-unpacked

Qwen

8Bqwen3prismmlbonsai

MoE17B active / 109B totalllama4facebookmeta

Llama-4-Scout-17B-16E

meta-llama / Llama-4-Scout-17B-16E

Llamaimage-text-to-text

Deepseekimage-text-to-text1 lượt kiểm tra tốc độ

DeepSeek-V4-Flash-Vision-Exp

deepseek-ai / DeepSeek-V4-Flash-Vision-Exp

MoE305Bdeepseek_v4text-generation8-bit

Tốt nhất180 tok/s

Trung vị180 tok/s

Tối thiểu180 tok/s

Qwenimage-text-to-text2 lượt kiểm tra tốc độ

Qwen3.8-27B-Uncensored-int4-AutoRound

johannrplaster / Qwen3.8-27B-Uncensored-int4-AutoRound

27Bqwen3_5vllmintel-xpu

Tốt nhất136 tok/s

Trung vị117 tok/s

Tối thiểu97.8 tok/s

Llama2 lượt kiểm tra tốc độ

stories-llama2-50k

delphi-suite / stories-llama2-50k

LFM2-24B-A2B

LiquidAI / LFM2-24B-A2B

MoE2B active / 24B totallfm2_moeliquidlfm2

Tốt nhất161 tok/s

Trung vị161 tok/s

Tối thiểu161 tok/s

models-moved

ggml-org / models-moved

2 lượt kiểm tra tốc độ

Tốt nhất16.7k tok/s

Trung vị10.6k tok/s

Tối thiểu4.4k tok/s

Qwentext-generation2 lượt kiểm tra tốc độ

Qwen3.6-27b-ROCmFP4-CIRU-CHAOS-SPEED

jcbtc / Qwen3.6-27b-ROCmFP4-CIRU-CHAOS-SPEED

Eval score· 1 evalROCmFP4

90.5%

MobileLLM-350M

facebook / MobileLLM-350M

350Mmobilellmfacebookmeta

Tốt nhất981 tok/s

Trung vị714 tok/s

Tối thiểu448 tok/s

MobileLLM-125M

facebook / MobileLLM-125M

125Mmobilellmfacebookmeta

Tốt nhất1.3k tok/s

Trung vị987 tok/s

Tối thiểu703 tok/s

OLMo-2-0425-1B

allenai / OLMo-2-0425-1B

1Bolmo2en

LFM2-700M

LiquidAI / LFM2-700M

Llamatext-generation2 lượt kiểm tra tốc độ

h2o-danube3-500m-chat

h2oai / h2o-danube3-500m-chat

0.5Bgptllmlarge language model

Tốt nhất163 tok/s

Trung vị134 tok/s

Tối thiểu105 tok/s

granite-4.0-1b-base

ibm-granite / granite-4.0-1b-base

MoE1Bgranitemoehybridlanguagegranite-4.0

EXAONE-3.5-7.8B-Instruct-GGUF

LGAI-EXAONE / EXAONE-3.5-7.8B-Instruct-GGUF

7.8Blg-aiexaoneexaone-3.5

Phi-4-mini-instruct

microsoft / Phi-4-mini-instruct

Phitext-generation

4Bphi3nlpcode

image-text-to-text1 lượt kiểm tra tốc độ

Kimi-K2.5

moonshotai / Kimi-K2.5

1Tkimi_k25feature-extractioncompressed-tensors

Tốt nhất74.0 tok/s

Trung vị74.0 tok/s

Tối thiểu74.0 tok/s

Minimaxtext-generation2 lượt kiểm tra tốc độ

MiniMax-M2.1

MiniMaxAI / MiniMax-M2.1

Tốt nhất499 tok/s

Trung vị416 tok/s

Tối thiểu333 tok/s

Qwenimage-text-to-text2 lượt kiểm tra tốc độ

Qwen3.5-35B-A3B-4bit

mlx-community / Qwen3.5-35B-A3B-4bit

MoE3B active / 35B totalqwen3_5_moemlxconversational

Tốt nhất140 tok/s

Trung vị122 tok/s

Tối thiểu105 tok/s

Llamatext-generation1 lượt kiểm tra tốc độ

MiniCPM5-2B-GGUF

openbmb / MiniCPM5-2B-GGUF

2Bminicpmminicpm5long-context

Tốt nhất39.1 tok/s

Trung vị39.1 tok/s

Tối thiểu39.1 tok/s

Ling-3.0-tiny-GGUF

inclusionAI / Ling-3.0-tiny-GGUF

qwen-3.8-27b-abliterated

heterodoxin / qwen-3.8-27b-abliterated

Ternary-Bonsai-1.7B-unpacked

prism-ml / Ternary-Bonsai-1.7B-unpacked

Qwen

1.7Bqwen3prismmlbonsai

Ternary-Bonsai-2-27B-DFlash2-vllm

fraserprice / Ternary-Bonsai-2-27B-DFlash2-vllm

1 lượt kiểm tra tốc độ

GLM-5.3-BF16

zai-org / GLM-5.3-BF16

MoE753Bglm_moe_dsaconversationalen

Tốt nhất6843.6k tok/s

Trung vị6843.6k tok/s

Tối thiểu6843.6k tok/s

Ling-3.0-flash-int4

inclusionAI / Ling-3.0-flash-int4

MoE127Bbailing_hybridconversationalcompressed-tensors

Tốt nhất37.3 tok/s

Trung vị37.3 tok/s

Tối thiểu37.3 tok/s

Falcon3-7B-Base

tiiuae / Falcon3-7B-Base

7Bfalcon3enfr

Ornith-1.5-35B-A3B-NVFP4

ornith-ai / Ornith-1.5-35B-A3B-NVFP4

MoE3B active / 35B totalqwen3_5_moeimage-text-to-textconversational

Tốt nhất259 tok/s

Trung vị259 tok/s

Tối thiểu259 tok/s

Eval score· 3 evalsNVFP4

70.9%

Qwen3-30B-A3B-Thinking-2507

Qwen / Qwen3-30B-A3B-Thinking-2507

bitnet-b1.58-2B-4T-bf16

microsoft / bitnet-b1.58-2B-4T-bf16

2Bbitnetchatlarge-language-model

Ministral-3-14B-Base-2512

mistralai / Ministral-3-14B-Base-2512

14Bvllmmistral3mistral-common

rnj-1-instruct-GGUF

EssentialAI / rnj-1-instruct-GGUF

1 lượt kiểm tra tốc độ

Qwen3-4B-Thinking-2507

Qwen / Qwen3-4B-Thinking-2507

4Bqwen3conversational

GLM-4.6V-Flash

zai-org / GLM-4.6V-Flash

10Bglm4vconversationalzh

Gemma1 lượt kiểm tra tốc độ

gemma-3n-E4B-it-text-GGUF

lmstudio-community / gemma-3n-E4B-it-text-GGUF

Deepseek-R1text-generation

DeepSeek-R1-0528-Qwen3-8B

deepseek-ai / DeepSeek-R1-0528-Qwen3-8B

8Bqwen3conversational

Deepseek-Codertext-generation1 lượt kiểm tra tốc độ

DeepSeek-Coder-V2-Lite-Instruct-FP8

RedHatAI / DeepSeek-Coder-V2-Lite-Instruct-FP8

MoE16Bdeepseek_v2fp8vllm

Tốt nhất237 tok/s

Trung vị237 tok/s

Tối thiểu237 tok/s

Qwen3-Coder-30B-A3B-Instruct-FP8

Qwen / Qwen3-Coder-30B-A3B-Instruct-FP8

MoE3B active / 30B totalqwen3_moeconversationalfp8

Tốt nhất26.1 tok/s

Trung vị26.1 tok/s

Tối thiểu26.1 tok/s

Qwen3-Next-80B-A3B-Instruct

Qwen / Qwen3-Next-80B-A3B-Instruct

MoE3B active / 80B totalqwen3_nextconversational

Kimi-K3

moonshotai / Kimi-K3

2.8Tkimi_k3feature-extractioncompressed-tensors

Inkling-Small

thinkingmachines / Inkling-Small

MoE266Binkling_mm_modelconversationalaudio-text-to-text

Qwen3.5-4B-Uncensored-HauhauCS-Aggressive

HauhauCS / Qwen3.5-4B-Uncensored-HauhauCS-Aggressive

4Buncensoredqwen3.5en

Tốt nhất82.9 tok/s

Trung vị82.9 tok/s

Tối thiểu82.9 tok/s

Harmonic-Hermes-9B-GGUF

DJLougen / Harmonic-Hermes-9B-GGUF

9Bhermesqwen3_5reasoning

Tốt nhất39.2 tok/s

Trung vị39.2 tok/s

Tối thiểu39.2 tok/s

Qwen3.5-27B-Uncensored-HauhauCS-Aggressive

HauhauCS / Qwen3.5-27B-Uncensored-HauhauCS-Aggressive

Eval score· 5 evalsQ4_K_M

27Buncensoredqwen3.5en

Tốt nhất30.8 tok/s

Trung vị30.8 tok/s

Tối thiểu30.8 tok/s

91.5%

Mistral-Nemo-Base-2407

mistralai / Mistral-Nemo-Base-2407

12Bvllmmistral-commonen

Falcontext-generation1 lượt kiểm tra tốc độ

Falcon-H1-Tiny-Tool-Calling-90M

tiiuae / Falcon-H1-Tiny-Tool-Calling-90M

90Mfalcon_h1edgeconversational

Tốt nhất434 tok/s

Trung vị434 tok/s

Tối thiểu434 tok/s

Falcontext-generation1 lượt kiểm tra tốc độ

Falcon-H1-Tiny-Coder-90M

tiiuae / Falcon-H1-Tiny-Coder-90M

Gpttext-generation1 lượt kiểm tra tốc độ

TinyStories-33M

roneneldan / TinyStories-33M

Llamatext-generation1 lượt kiểm tra tốc độ

tinystories-lay4-hs128-hd2-1M

ivnle / tinystories-lay4-hs128-hd2-1M

qwen-3-14b-instruct-gguf

lm-kit / qwen-3-14b-instruct-gguf

Gemma1 lượt kiểm tra tốc độ

Gemmable-4-12B-MTP-GGUF

Mia-AiLab / Gemmable-4-12B-MTP-GGUF

12Bgemma-4gemmablereasoning

Tốt nhất71.2 tok/s

Trung vị71.2 tok/s

Tối thiểu71.2 tok/s

Deepseek-Codertext-generation1 lượt kiểm tra tốc độ

DeepSeek-Coder-V2-Lite-Instruct-GGUF

bartowski / DeepSeek-Coder-V2-Lite-Instruct-GGUF

imatrixconversational

Tốt nhất57.1 tok/s

Trung vị57.1 tok/s

Tối thiểu57.1 tok/s

Gemmaimage-text-to-text1 lượt kiểm tra tốc độ

gemma-4-31B-v2-MLX-4bit

jdfelo / gemma-4-31B-v2-MLX-4bit

Minimaximage-text-to-text

MiniMax-M3

MiniMaxAI / MiniMax-M3

MoE427Bminimax_m3_vlmultimodalmoe

image-text-to-text1 lượt kiểm tra tốc độ

Unlimited-OCR

baidu / Unlimited-OCR

MoE3Bunlimited-ocrfeature-extractionbaidu

Tốt nhất365 tok/s

Trung vị365 tok/s

Tối thiểu365 tok/s

Gemmaimage-text-to-text1 lượt kiểm tra tốc độ

gemma-4-26B-A4B-it-QAT-MLX-4bit

lmstudio-community / gemma-4-26B-A4B-it-QAT-MLX-4bit

MoE4B active / 26B totalgemma4mlxconversational

Tốt nhất65.3 tok/s

Trung vị65.3 tok/s

Tối thiểu65.3 tok/s

granite-4.1-8b

ibm-granite / granite-4.1-8b

8Bgranitelanguagegranite-4.1

Optimage-text-to-text1 lượt kiểm tra tốc độ

Step-3.7-Flash-NVFP4

stepfun-ai / Step-3.7-Flash-NVFP4

MoE104Bstep3p7vision-languagemultimodal

Tốt nhất27.4 tok/s

Trung vị27.4 tok/s

Tối thiểu27.4 tok/s

Qwable-3.6-35b

Mia-AiLab / Qwable-3.6-35b

Gpt1 lượt kiểm tra tốc độ

GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

HauhauCS / GPT-OSS-20B-Uncensored-HauhauCS-Aggressive

20Buncensoredabliteratedmxfp4

Tốt nhất66.8 tok/s

Trung vị66.8 tok/s

Tối thiểu66.8 tok/s

Deepseek-R11 lượt kiểm tra tốc độ

UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

uncensoredai / UncensoredLM-DeepSeek-R1-Distill-Qwen-14B

Qwen3.5-9B-Red_Team

LuisPPB16 / Qwen3.5-9B-Red_Team

9Bqwen3_5llama.cppunsloth

Tốt nhất35.9 tok/s

Trung vị35.9 tok/s

Tối thiểu35.9 tok/s

Qwen3.5-0.8B-Q8_0.gguf

Manojb / Qwen3.5-0.8B-Q8_0.gguf

Qwen3.6-35B-A3B-4bit-DWQ

mlx-community / Qwen3.6-35B-A3B-4bit-DWQ

MoE3B active / 35B totalmlxqwen3_5_moeconversational

Tốt nhất78.9 tok/s

Trung vị78.9 tok/s

Tối thiểu78.9 tok/s

Qwenimage-text-to-text1 lượt kiểm tra tốc độ

Qwen3.5-122B-A10B-GPTQ-Int4

Qwen / Qwen3.5-122B-A10B-GPTQ-Int4

MoE10B active / 122B totalqwen3_5_moeconversational4-bit

Tốt nhất49.1 tok/s

Trung vị49.1 tok/s

Tối thiểu49.1 tok/s

Llamatext-generation1 lượt kiểm tra tốc độ

Llama-2-7b

meta-llama / Llama-2-7b

7Bfacebookmetallama-2

Tốt nhất110 tok/s

Trung vị110 tok/s

Tối thiểu110 tok/s

GLM-5

zai-org / GLM-5

MoE754Bglm_moe_dsaconversationalen

Deepseektext-generation1 lượt kiểm tra tốc độ

DeepSeek-V4-Flash-2bit-DQ

mlx-community / DeepSeek-V4-Flash-2bit-DQ

MoE284Bmlxdeepseek_v4conversational

Tốt nhất17.0 tok/s

Trung vị17.0 tok/s

Tối thiểu17.0 tok/s

Qwenimage-text-to-text1 lượt kiểm tra tốc độ

Qwen3-VL-2B-Instruct

Qwen / Qwen3-VL-2B-Instruct

2Bqwen3_vlconversational

Tốt nhất27.9 tok/s

Trung vị27.9 tok/s

Tối thiểu27.9 tok/s

Llamaimage-text-to-text1 lượt kiểm tra tốc độ

Gemopus-4-26B-A4B-it-GGUF

Jackrong / Gemopus-4-26B-A4B-it-GGUF

MoE4B active / 26B totalgemma4llama.cppvision

Tốt nhất94.5 tok/s

Trung vị94.5 tok/s

Tối thiểu94.5 tok/s

MiMo-V2.6-Flash-MOPD

XiaomiMiMo / MiMo-V2.6-Flash-MOPD

MoE311Bmimo_v2multimodalvision-language

GLM-5.3

zai-org / GLM-5.3

MoE753Bglm_moe_dsaconversationalen

Devstral-2-123B-Instruct-2512

mistralai / Devstral-2-123B-Instruct-2512

123Bvllmministral3mistral-common

Kimi-K2.7-Code

moonshotai / Kimi-K2.7-Code

1Tkimi_k25feature-extractioncompressed-tensors

Qwen2-VL-7B

Qwen / Qwen2-VL-7B

7Bqwen2_vlmultimodalconversational

Qwen3.5-9B-NSC-ACE-SABER-GGUF

GestaltLabs / Qwen3.5-9B-NSC-ACE-SABER-GGUF

Qwen

9Bqwen3_5nsc-acesaber

MoE2B active / 24B totalconversational

LFM2-24B-A2B-GGUF

lmstudio-community / LFM2-24B-A2B-GGUF