概覽模型排行榜硬體市集評測訓練租用ProAPI文件
語言
Lucebox Hub campaign banner

概覽

涵蓋所有已核准基準測試執行的全站統計資料。

392 近 30 天
1,478執行次數
57 近 30 天
142貢獻者
293已測試模型
70硬體配置
51tok/s吞吐量中位數
2,665tok/s尖峰吞吐量

基準測試活躍度

每月通過的執行次數
1,478近 12 個月
7月8月9月10月11月12月1月2月3月4月5月6月

最快硬體

H200 SXM · 496 tok/s
H200 SXM496 tok/s
H200 NVL333 tok/s
RTX A5000261 tok/s
RTX 3060 Ti225 tok/s
RTX 5070 Ti221 tok/s
RTX A6000131 tok/s
RTX 3090 Ti119 tok/s
Strix Halo Radeon 8060S105 tok/s
RTX 5090102 tok/s
RTX 5060 Ti101 tok/s

各引擎吞吐量

hipfire · 155 tok/s
hipfire155 tok/s
SGLang88 tok/s
lmstudio85 tok/s
mlx83 tok/s
ollama69 tok/s
vllm66 tok/s
llama.cpp46 tok/s

最常測試的硬體

Intel Arc Pro B70 · 236
Intel Arc Pro B70236
Ryzen AI Max 395205
Radeon AI Pro R9700163
RTX 3090141
RTX 306072
GB10 Grace Blackwell71
RX 7900 XTX58
RTX 509053
RTX PRO 6000 Blackwell40
RTX 308037
M5 Max29
GTX 1080 Ti27

最常測試的模型

Qwen3.6-35B-A3B · 92
Qwen3.6-35B-A3B92
Qwen3.6-27B83
MiniMax-M2.7-int4-AutoRound60
gemma-4-26B-A4B-it-GGUF52
Qwen3.6-27B45
MiniMax-M2.740
Ornstein3.6-27B-MTP-NSC-ACE-SABER-GGUF33
Qwen3.6-27B-MTP-GGUF32
Qwen3.6-27B-GGUF31
Qwen3.5-9B27
gemma-4-31B-it22
Qwen3.6-27B-int4-AutoRound20

最熱門的量化格式

Q4_K_M · 410
Q4_K_M410
Q8_0115
Q4_072
NVFP467
INT4 AutoRound W4A1665
Q4_K_XL52
fp843
UD-Q4_K_XL40
Q5_K_M39
MQ436

最熱門的模型大小

15–35B · 692
<1B4
1–4B56
4–8B89
8–15B200
15–35B692
35–70B243
70–140B90
140B+75
Unknown29

最熱門的推論引擎

llama.cpp · 985
llama.cpp985
vllm296
ollama89
hipfire41
mlx39
SGLang15
lmstudio13

上下文長度

≤2K · 586
≤2K586
4K145
8K153
16K40
32K143
64K59
128K+352

硬體類別

Discrete GPU · 1,042
Discrete GPU1,042
Unified memory421
CPU only15

架構組成

Dense · 1,178
Dense1,178
Mixture-of-Experts300

頂尖貢獻者

steveseguin · 211
steveseguin211
1337Hero143
gdwallasign94
crown90
AngkorAI67
Skiipy45
schuttdev39
basecampbernie34
gkraker0432
snnn29