O que você consegue fazer
Servidor de inferência rápida para LLM
Documentação oficial ↗Programação · LINGXIFIELD SIAI
vLLM
Servidor de inferência rápida para LLM
Site oficial ↗Escolha pelo resultado, não pelo tamanho da lista de recursos
Servidor de inferência rápida para LLM
Servidor de inferência rápida para LLM
Indicado para ProgramaçãoDocumentação oficial ↗
Recursos reais e limites
Modelos
Serving compatible large language models
Documentação oficial ↗Grátis
Grátis no próprio dispositivo; requer hardware
Documentação oficial ↗Comece em três passos
- 1Abra o site oficial de vLLM e confira o plano
- 2Teste uma tarefa concreta com seus próprios arquivos
- 3Confira o resultado, o custo real e os direitos de uso antes de publicar
Empresa
- Empresa
- vLLM projectFonte oficial ↗
- Autores iniciais
- Woosuk Kwon and original paper contributorsFonte oficial ↗
- Entidade legal
- —
- Listagem
- Não se aplica
- Fundação
- 2023Fonte oficial ↗
- Vantagens
- Servidor de inferência rápida para LLMFonte oficial ↗
Perguntas relacionadas
Grátis
Grátis no próprio dispositivo; requer hardware
Fonte oficial ↗Preço
Local grátis; nuvem à parte
Fonte oficial ↗Regiões
Uso local; regras de nuvem e modelos separadas
Fonte oficial ↗Pagamento
Sem cobrança de software para a versão auto-hospedada/de código aberto · Hospedagem, computação e APIs de modelos são cobradas separadamente
Fonte oficial ↗Modelos
Serving compatible large language models
Fonte oficial ↗Uso comercial
Licença de software documentada; modelos separados.
Fonte oficial ↗