Ollama
🥇#1Açık modelleri macOS, Linux veya Windows'ta tek komutla kurup yerel REST API olarak sunma.
Baseten
🥈#2Özel eğitilmiş modelleri otomatik ölçeklenen bulutta barındırma.
Hyperbolic
🥉#3Merkeziyetsiz donanımlarda düşük maliyetli ve sansürsüz LLM çıkarımı.
Together AI
#4Açık modelleri bulutta yüksek hız ve düşük maliyetle çalıştırma.
vLLM
#5Kurum içi GPU sunucularında PagedAttention algoritmasıyla yüksek eşzamanlı ve düşük gecikmeli API sunma.
ExLlamaV2
#6Modern NVIDIA ekran kartlarında açık modelleri ultra yüksek hız ve düşük VRAM kullanımıyla çalıştırma.
Baidu Yiyan
#7Kurumsal süreç otomasyonu ve sektör odaklı çözümler.
SearXNG
#8Kullanıcıyı profillemeyen ve yerel LLM'lere canlı, gizli web arama sonuçları sağlayan açık motor.
llama.cpp
#9Tüketici sınıfı donanımlarda ve CPU üzerinde açık modelleri en hafif ve hızlı çalıştıran çekirdek.
Belge Veri Çıkarıcı
#10Çıkarılan finansal veriler model eğitiminde kullanılmaz.
DeepBrain AI
#11Haber bültenleri ve finans sunumları için fotogerçekçi AI sunucu platformu.
Predibase
#12Açık kaynak LLM'lere verilerinizle hızlı LoRA ince ayarı yapma.
Aphrodite Engine
#13Çok kullanıcılı kurumsal ortamlar için optimize edilmiş açık ağırlıklı LLM servis motoru.
GPT4All (Nomic)
#14GPU gerektirmeden sıradan dizüstü bilgisayar CPU'larında internetsiz çalışan açık model yöneticisi.
Fireworks AI
#15Açık kaynak modelleri üretim sistemleri için düşük gecikmeyle servis etme.
Replicate
#16Topluluk yapımı açık modelleri tek satır kodla bulutta çalıştırma.
Anyscale
#17Büyük ölçekli modelleri eğitme, ince ayar yapma ve sunma.
Obsidian (AI Eklentileri)
#18Yerel markdown notlarınız üzerinde çevrim dışı LLM çalıştıran topluluk ekosistemi.
Affine.pro
#19Açık kaynaklı, hem yerel hem bulut çalışan Notion ve Miro alternatifi.
Groq Chat
#20LPU donanımıyla saniyede 500+ token hızında anlık model çıkarımı.
Tablo & Formül Odaklı PDF Okuyucu
#21Yüklenen teknik belgeler model eğitimi için saklanmaz.
Instructor
#22LLM çıktılarından kesin Pydantic modelleriyle doğrulanmış JSON alma.
Text Generation Inference (TGI)
#23Açık kaynaklı dil modellerini kurumsal ölçekte optimize edilmiş token akışı ve tensör paralelliğiyle sunma.
Arize Phoenix
#24LLM performansını, izleme (tracing) ve veri sapmalarını takip eden MLOps aracı.
Jan.ai
#25ChatGPT arayüz deneyimini %100 yerel ve açık kaynak olarak masaüstü bilgisayara getirme.
Promptfoo
#26LLM çıktılarını, güvenlik açıklarını ve prompt kalitesini test eden CI/CD aracı.
CogVideoX
#27Metin komutlarından yüksek hareket tutarlılıklı video üreten açık model.
Triton Inference Server
#28Çoklu GPU kümelerinde onlarca farklı yapay zeka modelini aynı anda üretim ölçeğinde çalıştırma.
LibreChat
#29Tüm açık ve tescilli LLM'leri tek bir şirket içi web panelinde toplayan, çok kullanıcılı arayüz.
Portkey.ai
#30Kurumsal LLM ağ geçidi, yük dengeleyici ve hata kurtarma sistemi.
