NVIDIA NIM™, Teil von NVIDIA AI Enterprise, bietet Container zum Selbsthosten von GPU-beschleunigten Inferenz-Microservices für vortrainierte und angepasste KI-Modelle in Clouds, Rechenzentren und Workstations. Bei der Bereitstellung mit einem einzigen Befehl stellen NIM-Microservices branchenübliche APIs für eine einfache Integration in KI-Anwendungen, Entwicklungs-Frameworks und Workflows bereit. Basierend auf voroptimierten Inferenz-Engines von NVIDIA und der Community, einschließlich NVIDIA® TensorRT™ und TensorRT-LLM, optimieren NIM-Microservices automatisch die Antwortlatenz und den Durchsatz für jede Kombination aus Basismodell und GPU-System, die zur Laufzeit erkannt wird. NIM-Container bieten auch standardmäßige Observability-Datenfeeds und integrierte Unterstützung für die automatische Skalierung in Kubernetes auf GPUs.

sysGen bietet umfassende Lösungen, die Ihnen helfen, generative KI in Ihrem Workflow einzusetzen. Dazu gehören DGX-Systeme, GPU-Systeme, NVIDIA AI Enterprise-Abonnements, Unterstützung mit NVIDIA NIM, NVIDIA Omniverse und vieles mehr.

NVIDIA® AI Enterprise is an end-to-end, secure AI software platform that accelerates the data science pipeline and streamlines the development and deployment of production AI.

Entdecken Sie die neue sysGen-CEO Deep-Learning Workstation!

NVIDIA Omniverse: Die Plattform zum Verbinden und Entwickeln von OpenUSD-Anwendungen.