Das ist möglich
Schnelles Inferenz-Serving für große Sprachmodelle
Offizielle Dokumentation ↗Programmierung · LINGXIFIELD SIAI
vLLM
Schnelles Inferenz-Serving für große Sprachmodelle
Offizielle Website ↗Wählen Sie nach dem Ergebnis, nicht nach der längsten Funktionsliste
Schnelles Inferenz-Serving für große Sprachmodelle
Schnelles Inferenz-Serving für große Sprachmodelle
Für wen geeignet ProgrammierungOffizielle Dokumentation ↗
Konkrete Funktionen und Grenzen
Modelle
Serving compatible large language models
Offizielle Dokumentation ↗Kostenlos
Auf eigener Hardware gratis
Offizielle Dokumentation ↗In drei Schritten starten
- 1Offizielle vLLM-Website öffnen und Tarif prüfen
- 2Eine konkrete Aufgabe mit eigenen Testdaten ausprobieren
- 3Ergebnis, tatsächliche Kosten und Nutzungsrechte vor Veröffentlichung prüfen
Unternehmen
- Unternehmen
- vLLM projectOffizielle Quelle ↗
- Erstautoren
- Woosuk Kwon and original paper contributorsOffizielle Quelle ↗
- Rechtsträger
- —
- Börse
- Nicht zutreffend
- Gründung
- 2023Offizielle Quelle ↗
- Stärken
- Schnelles Inferenz-Serving für große SprachmodelleOffizielle Quelle ↗
Verwandte Fragen
Kostenlos
Auf eigener Hardware gratis
Offizielle Quelle ↗Preis
Lokal kostenlos; Cloud separat
Offizielle Quelle ↗Regionen
Lokale Nutzung; Cloud- und Modellregeln separat
Offizielle Quelle ↗Zahlung
Keine Softwaregebühr für selbst gehostete Open-Source-Versionen · Cloud-Hosting, Rechenleistung und Modell-APIs werden separat berechnet
Offizielle Quelle ↗Modelle
Serving compatible large language models
Offizielle Quelle ↗Gewerbliche Nutzung
Softwarelizenz geprüft; Modelle separat.
Offizielle Quelle ↗