Gigabyte AI TOP ATOM - 128GB NVIDIA DGX Spark

Gigabyte AI TOP ATOM: KI-Supercomputer auf Basis der NVIDIA DGX Spark Plattform Der Gigabyte AI TOP ATOM ist ein kompakter KI-Supercomputer. Eine großzügige 128GB RAM-Ausstattung ermöglicht die Arbeit mit großen LLMs mit bis zu 200B Parametern. KI-Performance RAM und Bandbreite 128GB @ 273 GB/s Unterstützte Modelle Inference: bis zu 200B Parameter (405B Parameter für 2x Gigabyte AI TOP ATOM) Fine-tuning: bis zu 70B Parameter Tensor Cores 5te Generation unterstützte Formate: TF32, FP16, BF16, INT8, FP8, FP6, FP4 KI-Performance 1000 AI TFLOPS (FP4, Sparse) Kern des Gigabyte AI TOP ATOM ist der NVIDIA® GB10 Grace Blackwell Superchip, mit einer Leistung von 1 Petaflop für KI-Rechnungen (in FP4-Precision, sparse). Die NVIDIA DGX Spark Plattform ist besonders für AI-Entwickler und KI-Forschung geeignet. Wesentlicher Teil der Plattform ist der NVIDIA AI Software Stack, der einen schnellen Einstieg mit der am besten unterstützten Plattform in der LLM-Industrie ermöglicht. Dank der Software-Kompatibilität mit NVIDIA's größeren Plattformen (bspw. bspw. DGX Station, H200 / B300) können die entwickelten LLM-Lösungen und Anwendungen (bspw. agentic AI) direkt und problemlos skaliert werden. Dank des eingebauten NVIDIA® ConnectX-7 Netzwerklinks können zwei NVIDIA DGX Spark Systeme miteinander verbunden werden, um noch größere Modelle bis zu 405B Parametern zu unterstützen. Lieferzeit Kleine Mengen direkt ab Lager in Leipzig, Deutschland. Die Lieferzeit für größere Gigabyte AI TOP ATOM – NVIDIA DGX Spark Mengen beträgt in der Regel 4–6 Wochen ab Bestelleingang. Bitte berücksichtigen Sie dies in Ihrer Projektplanung. Technische Daten Merkmal Spezifikation KI-Rechenleistung 1 Petaflops (FP4, sparse) (NVIDIA Grace Blackwell) RAM 128GB RAM LPDDR5x (Unified memory) RAM-Bandbreite 273 GB/s (256-bit Speicherinterface) GPU NVIDIA Blackwell Architecture CPU 20 core ARM: 10 Cortex-X925 + 10 Cortex-A725 ARM SSD-Speicher 1 x M.2 PCIe Gen4 1 TB / 4 TB oder 1 x M.2 PCIe Gen5 4 TB WLAN & Bluetooth Wi-Fi 7 + Bluetooth 5.4 Netzwerk 1 x 10 GBit LAN 1 x ConnectX CX-7 Smart NIC (200 Gbps, 2 x QSFP) USB Ports 3 x USB 3.2 Gen 2x2 Type-C, 20Gbps, alternate mode (DisplayPort 2.1) 1 x USB 3.2 Gen 2x2 Type-C, 20 Gbps, with PD in(180W EPR PD3.1 SPEC) Weitere Ports & Features 1 x HDMI 2.1a 1 x An/Aus-Taster 1 x Kensington Lock Betriebssystem NVIDIA DGX™ OS (Ubuntu Linux) Abmessungen 150 (L) x 150 (B) x 50.5 mm (H) Gewicht 1,5 kg Leistungsaufnahme 240 W Lieferumfang 1 × Gigabyte AI TOP ATOM, 1TB/4TB TB SSD je nach Auswahl (auf Basis von NVIDIA DGX Spark / GB10) Netzteil Netzkabel (EU) Hinweis: QSFP Kabel für die ConnectX CX-7 Netzwerkschnittstelle, zum Verbinden von zwei NVIDIA DGX Spark Systemen, ist nicht im Lieferumfang enthalten - es ist separat erhältlich. Passende Kabel sind: DGX Spark Connect Cable: NJAAK-N911 DGX Spark Connect Cable: NJAAK-0006 Einsatzbereiche Industrie & Forschung: Entwicklung und Finetuning von AI LLM-Modellen mit bis zu 200B Parametern (bzw. 405B bei Einsatz von zwei Gigabyte AI TOP ATOM Systemen / DGX Sparks) Universitäten & Hochschulen: Experimente und Hands-On-Erfahrung für Studenten an großen LLM Modellen Büros, Geschäftliches Umfeld: Ausführen von Agentic AI, insbesondere für Datenschutz - bspw. für Bearbeiten von Kundenanfragen, offline e-Mailbearbeitung, RAGs mit sensitiven Firmendaten. NVIDIA DGX Spark Produktvarianten Die NVIDIA DGX Spark Plattform baut im Kern auf NVIDIA Komponenten auf. In jeder Variante ist der Grace Blackwell Superchip GB10, sowie 128 GB RAM mit 273 GB/s Speicherbandreite verbaut. Die Speicherbandbreite hat dabei den größten Effekt auf Token/s Durchsatzraten. Das Betriebssystem (NVIDIA DGX OS, auf Ubuntu Basis), sowie der NVIDIA AI-Softwarestack ist in jedem Fall der Gleiche. Verschiedene Anbieter bauen ein Gehäuse drumherum, und vertreiben das Gerät unter ihrem eigenen Markennamen. Gigabyte's DGX Spark / GB10 Produkt heißt Gigabyte AI TOP ATOM. Software-Stack / unterstützte Software NVIDIA DGX OS (Betriebssystem, auf Basis von Ubuntu) NVIDIA NIM (Microservices als Bausteine für AI Lösungen) NVIDIA AI Blueprints (Beispielanwendungen, bspw. RAG Workflows) PyTorch (Framework für Machine Learning und Deep Neural Networks) TensorFlow (Framework für Machine Learning und Deep Neural Networks) NVIDIA Riva (Spracherkennung, Übersetzung und Sprachausgabe) NVIDIA Holoscan (Plattform für Sensor-Daten-Verarbeitung) NVIDIA Metropolis (Vision-KI Anwendungsplattform) NVIDIA Isaac (Plattform für Entwicklung von Robotern, bspw. autonomen Fahrzeugen) CUDA (Toolkit zur Beschleunigung und Parallesierung von Berechnungen auf GPUs) cuDNN (Beschleunigung von Deep Neural Networks auf GPUs) cuBLAS (Lineare Algebra Frameworks zur Beschleunigung von KI und High performance computing (HPC) Anwendungen) TensorRT (SDK für high-performance deep learning inferencing) NCCL (NVIDIA Collective Communications library, zur Verteilung der Rechenleistung über mehrere Nodes hinweg) vLLM + ollama + llama.cpp - Large Language Model Inferencing Frameworks zusätzliche Software von Gigabyte: AI TOP Utility Das AI TOP Utility - als Teil des Gigabyte Software Supportpackages für den AI TOP ATOM - ermöglicht einen besonders leichten Einstieg mit lokalen KI-Modellen. Aktuell unterstützte Funktionen des AI TOP Utility: Modell-Download Inferenz RAG-Systeme Machine Learning Weitere Produktbezeichnungen ATAGB10-9002 (1TB Gigabyte AI TOP ATOM Variante) ATAGB10-9001 (4TB PCIe 4 Gigabyte AI TOP ATOM Variante) ATAGB10-9000 (4TB PCIe 5 Gigabyte AI TOP ATOM Variante)