NVIDIA NIMs
Generative KI schnell und effizient implementierenNVIDIA NIM™, Teil von NVIDIA AI Enterprise, bietet Container zum Selbsthosten von GPU-beschleunigten Inferenz-Microservices für vortrainierte und angepasste KI-Modelle in Clouds, Rechenzentren und Workstations. Bei der Bereitstellung mit einem einzigen Befehl stellen NIM-Microservices branchenübliche APIs für eine einfache Integration in KI-Anwendungen, Entwicklungs-Frameworks und Workflows bereit. Basierend auf voroptimierten Inferenz-Engines von NVIDIA und der Community, einschließlich NVIDIA® TensorRT™ und TensorRT-LLM, optimieren NIM-Microservices automatisch die Antwortlatenz und den Durchsatz für jede Kombination aus Basismodell und GPU-System, die zur Laufzeit erkannt wird. NIM-Container bieten auch standardmäßige Observability-Datenfeeds und integrierte Unterstützung für die automatische Skalierung in Kubernetes auf GPUs.
