NVIDIA Hopper-Architektur

Der Hopper H100 Tensor-Core-Grafikprozessor wird die NVIDIA Grace Hopper CPU + GPU-Architektur unterstützen, die speziell für beschleunigtes Computing im Terabyte-Bereich entwickelt wurde und eine 10-mal höhere Leistung bei KI und HPC bei großen Modellen bietet. Die NVIDIA Grace-CPU nutzt die Flexibilität der Arm® -Architektur, um eine CPU- und Serverarchitektur zu erstellen, die von Grund auf für beschleunigtes Computing entwickelt wurde. H100 wird mit Grace sowie der ultraschnellen Chip-zu-Chip-Verbindung von NVIDIA kombiniert und bietet eine Bandbreite von 900 GB/s, 7-mal schneller als PCIe der 5. Generation. Dieses innovative Design bietet eine bis zu 30-mal höhere Gesamtbandbreite im Vergleich zu den schnellsten gegenwärtig verfügbaren Servern und eine bis zu 10-mal höhere Leistung für Anwendungen mit einem Datenvolumen von mehreren Terabytes.

ERFAHREN SIE MEHR ÜBER GRACE

Die NVIDIA Hopper-Architektur erweitert die Tensor-Core-Technologie mit der Transformer-Engine für die Beschleunigung des Trainings von KI-Modellen. Hopper-Tensor-Recheneinheiten sind in der Lage, gemischte FP8- und FP16-Präzisionen anzuwenden, um KI-Berechnungen für Transformer erheblich zu beschleunigen. Hopper verdreifacht außerdem die Gleitkommaoperationen pro Sekunde (FLOPS) für TF32-, FP64-, FP16- und INT8-Precisions gegenüber der Vorgängergeneration. In Kombination mit der Transformer-Engine und NVIDIA® NVLink® der vierten Generation ermöglichen Hopper-Tensor-Recheneinheiten eine gewaltige Beschleunigung von HPC- und KI-Workloads.

Erfahren Sie mehr über NVIDIA Tensor-Recheneinheiten

Während die Daten bei Lagerung und während der Übertragung durch das Netzwerk verschlüsselt werden, sind sie während der Verarbeitung ungeschützt. Confidential Computing schließt diese Lücke, indem es Daten und Anwendungen während ihrer Verarbeitung schützt. Die NVIDIA Hopper-Architektur ist die weltweit erste Plattform für beschleunigtes Computing, die Confidential Computing unterstützt.

Die starke hardwarebasierte Sicherheit gibt Benutzern bei der Ausführung von Anwendungen vor Ort, in der Cloud oder in der Peripherie die Gewissheit, dass Unbefugte Anwendungscode und Daten nicht während deren Verwendung anzeigen oder ändern können. Dies schützt die Vertraulichkeit und Integrität von Daten und Anwendungen und ermöglicht gleichzeitig die Nutzung der beispiellosen Beschleunigung der H100-Grafikprozessoren für KI-Training, KI-Inferenz und HPC-Workloads.

Erfahren Sie mehr über NVIDIA Confidential Computing

Ein Mehr-Instanzen-Grafikprozessor (MIG) kann in mehrere kleinere, vollständig isolierte Instanzen mit eigenem Speicher, Cache und Recheneinheiten aufgeteilt werden. Die Hopper-Architektur verbessert MIG noch weiter und unterstützt mandantenfähige Multi-User-Konfigurationen in virtualisierten Umgebungen für bis zu sieben Grafikprozessorinstanzen, wobei jede Instanz durch Confidential Computing sicher auf Hardware- und Hypervisorebene isoliert ist. Dedizierte Videodecoder für jede MIG-Instanz erlauben intelligente Videoanalysen (IVA) mit hohem Durchsatz auf gemeinsam genutzter Infrastruktur. Mit dem gleichzeitigen MIG-Profiling von Hopper können Administratoren die korrekt dimensionierte Grafikprozessorbeschleunigung überwachen und die Ressourcenzuweisung für Benutzer optimieren.

Forscher mit kleineren Workloads können anstelle einer vollständigen CSP-Instanz MIG verwenden, um einen Teil eines Grafikprozessors sicher zu isolieren, und sich dabei darauf verlassen, dass ihre Daten bei Lagerung, Übertragung und Verarbeitung geschützt sind.

Mehr Informationen zu MIG

Dynamische Programmierung ist eine algorithmische Technik für die Lösung komplexer rekursiver Probleme, bei der diese in einfachere Unterprobleme aufgebrochen werden. Durch das Speichern der Ergebnisse von Teilproblemen, die somit später nicht mehr neu berechnet werden müssen, verringern sich Zeit und Komplexität exponentieller Problemlösungen. Dynamische Programmierung findet bei einer Vielzahl von Anwendungsfällen häufig Verwendung.  Floyd-Warshall ist beispielsweise ein Routenoptimierungsalgorithmus für die Planung der kürzesten Routen für Versand- und Lieferflotten. Der Smith-Waterman-Algorithmus wird für DNA-Sequenzausrichtungs- und Proteinfaltungsanwendungen verwendet.

Die DPX-Anweisungen von Hopper ermöglichen eine 40-fache Beschleunigung von Algorithmen mit dynamischer Programmierung gegenüber herkömmlichen Dual-Socket-CPU-Servern und eine 7-fache Beschleunigung gegenüber Grafikprozessoren der Ampere-Architektur. So können Krankheitsdiagnosen, Routenoptimierungen und sogar Diagrammanalysen erheblich schneller erzielt werden.

Moderne vertrauliche Computing-Lösungen sind CPU-basiert, was für rechenintensive Workloads wie KI und HPC zu begrenzt ist. NVIDIA Confidential Computing ist eine integrierte Sicherheitsfunktion der NVIDIA Hopper-Architektur, die NVIDIA H100 zum weltweit ersten Beschleuniger mit vertraulichen Computing-Funktionen macht. Nutzer können die Vertraulichkeit und Integrität Ihrer Daten und Anwendungen schützen und gleichzeitig von der einmaligen Beschleunigung der H100-Grafikprozessoren für KI-Workloads profitieren. Es entsteht eine hardwarebasierte vertrauenswürdige Ausführungsumgebung (TEE), die den gesamten Workload schützt und isoliert. Dieser wird auf einer einzigen H100-GPU, mehreren H100-GPUs innerhalb eines Knotens oder einzelnen MIG-Instanzen ausgeführt. GPU-beschleunigte Anwendungen können im TEE unverändert ausgeführt werden und müssen nicht partitioniert werden. Nutzer können die Leistungsfähigkeit von NVIDIA-Software für KI und HPC mit der Sicherheit einer Hardware-Root-of-Trust-Anwendung kombinieren, die von NVIDIA Confidential Computing angeboten wird.

ERFAHREN SIE MEHR ÜBER CONFIDENTIAL COMPUTING VON NVIDIA