NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — 481.4 tok/s on H100 · 80 GB | LocalMaxxing

เริ่มต้นใช้งาน ลีดเดอร์บอร์ด Decode calculator โมเดล Organizations Reports ฮาร์ดแวร์เบนช์มาร์ก ตลาดซื้อขาย เช่า Pro เอกสาร API

ภาษา

Observed performance

Run snapshot

All runs matching the filters below.

Fastest run

Median speed

Memory ceiling

Slowest run

Measured runs

Community leaderboard

Speed test results

Compare real runs across hardware, engines, contexts, and quantizations.

ส่งผลทดสอบความเร็ว

Observed performance

Run snapshot

All runs matching the filters below.

Fastest run

Median speed

Memory ceiling

Slowest run

Measured runs

#	ฮาร์ดแวร์	Engine	ความลึก	tok/s out	Prefill	tok/s total	TTFT ms	VRAM GB

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — 481.4 tok/s on H100 · 80 GB | LocalMaxxing