Show HN: Llmspeed – اختبر سرعة تشغيل نموذج LLM محلي قبل شراء العتاد
Llmspeed هي أداة مصممة لمساعدة المستخدمين على تقييم أداء نماذج اللغة المحلية (LLMs) على تكوينات عتاد مختلفة قبل الشراء. ومن خلال اختيار مجموعات محددة من العتاد والنماذج، يمكن للمستخدمين تجربة السرعة التقديرية للنموذج في الوقت الفعلي.
على سبيل المثال، يمكن لتكوين يستخدم NVIDIA RTX 4090 مع نموذج Llama 3.1 أن يحقق سرعات تتراوح بين 80 إلى 139 رمزًا في الثانية، مع زمن الوصول إلى الرمز الأول (TTFT) يبلغ حوالي 0.3 ثانية. تستند هذه القياسات إلى معايير المجتمع والمواصفات.
خيارات العتاد
يمكن للمستخدمين تصفح مجموعة متنوعة من خيارات العتاد المتاحة على Llmspeed، بما في ذلك:
- NVIDIA RTX 3090 24GB
- AMD Ryzen AI Max+ 395 128GB (Strix Halo)
- NVIDIA RTX 5090 32GB
- NVIDIA RTX 4090 24GB
- Mac Studio M5 Ultra 512GB
- MacBook Pro M5 Max 128GB
- NVIDIA RTX 5060 Ti 16GB
- NVIDIA DGX Spark 128GB
- NVIDIA RTX PRO 6000 96GB
- Mac Studio M3 Ultra 512GB
- AMD RX 7900 XTX 24GB
- NVIDIA RTX 3060 12GB
- Mac Studio M4 Max 128GB
- NVIDIA RTX 5070 Ti 16GB
- AMD RX 9070 XT 16GB
- Intel Arc Pro B70 32GB
- Mac Mini M4 Pro 64GB
- AMD Radeon AI PRO R9700 32GB
- NVIDIA RTX 5080 16GB
- MacBook Pro M5 Pro 48GB
- AMD RX 7900 XT 20GB
- NVIDIA RTX 4070 Ti Super 16GB
- MacBook M4 Pro 24GB
- NVIDIA RTX 4070 12GB
- MacBook M3 Max 48GB
- CPU-only (Ryzen 9 9950X, 96GB DDR5)
- MacBook M2 Pro 16GB
- H100 80GB (cloud)
- A100 80GB (cloud)
- H200 141GB (cloud)
خيارات النماذج
يمكن للمستخدمين أيضًا استكشاف النماذج المختلفة المتاحة على Llmspeed، بما في ذلك:
- Qwen 3.6/3.8 27B
- GLM-5.3 Flash
- GPT-OSS 20B
- Gemma 4 26B A4B
- Qwen 3.5/3.6 35B A3B
- Ornith 1.5 35B A3B
- DeepSeek V4 Flash
- GPT-OSS 120B
- Gemma 4 31B
- Llama 3.1 8B
- Qwen 3.5 9B
- DeepSeek R1 Distill 14B
- Ornith 1.5 9B
- Muse Glimmer 30B
- Qwen3 30B A3B
تستند تقديرات الأداء إلى مطالبات قصيرة على أجهزة فردية، مع أرقام مقاسة مصدرها معايير المجتمع وتوقعات مستمدة من إعدادات مماثلة. Llmspeed مفتوحة المصدر ومتاحة على GitHub.
رابط ذو صلة: news.ycombinator.com
المصدر: Hacker News