NVIDIA NIM™, Teil von NVIDIA AI Enterprise, bietet Container zum Selbsthosten von GPU-beschleunigten Inferenz-Microservices für vortrainierte und angepasste KI-Modelle in Clouds, Rechenzentren und Workstations. Bei der Bereitstellung mit einem einzigen Befehl stellen NIM-Microservices branchenübliche APIs für eine einfache Integration in KI-Anwendungen, Entwicklungs-Frameworks und Workflows bereit. Basierend auf voroptimierten Inferenz-Engines von NVIDIA und der Community, einschließlich NVIDIA® TensorRT™ und TensorRT-LLM, optimieren NIM-Microservices automatisch die Antwortlatenz und den Durchsatz für jede Kombination aus Basismodell und GPU-System, die zur Laufzeit erkannt wird. NIM-Container bieten auch standardmäßige Observability-Datenfeeds und integrierte Unterstützung für die automatische Skalierung in Kubernetes auf GPUs.

sysGen provides comprehensive solutions to help you use Generative AI in your workflow. This includes DGX systems, GPU Systems, NVIDIA AI Enterprise subscriptions, support with NVIDIA NIM, NVIDIA Omniverse and many more.

NVIDIA® AI Enterprise is an end-to-end, secure AI software platform that accelerates the data science pipeline and streamlines the development and deployment of production AI.

Entdecken Sie die neue sysGen-CEO Deep-Learning Workstation!

NVIDIA Omniverse: Die Plattform zum Verbinden und Entwickeln von OpenUSD-Anwendungen.