6-2024

IPCs/SBCs/Module/Embedded
Generative KI-Entwicklung beschleunigen
Advantech präsentiert das generative Edge-KI-System MIC-733-AO zur erheblichen Beschleunigung
der generativen KI-Entwicklung.
Advantech, ein führender Anbieter
von industriellen KI-Lösungen,
kündigt die Demo zur generativen KI
mit dem MIC-733-AO von Advantech
an, das auf NVIDIA Jetson AGX
Orin basiert. Auf diese Weise können
KI-Entwickler im Vergleich zur
cloudbasierten generativen KI von
größerer Unmittelbarkeit, verbesserter
Sicherheit und geringeren
Internetkosten profitieren.
Die generativen KI-Modelle des
Jetson AI-Labors beinhalten ein
kostenloses KI-Basismodell, wodurch
eine individuelle Anpassung möglich
ist und die Entwicklungszeit mit
dem MIC-733-AO Edge Generative
AI System erheblich verkürzt wird.
Generative KI
auf MIC-733-AO
Das generative Edge-KI-System
MIC-733-AO, das mit den generativen
KI-Modellen von NVIDIA aus dem
Jetson KI-Labor kompatibel ist, führt
jetzt dank des NVIDIA Jetson AGX
Orin große Sprach modelle (LLMs),
Vision-Sprach modelle (VLMs), Vision-
Transformatoren (ViTs) sowie Bilderzeugung
und Llamaspeak effizient
am Netzwerkrand aus. Das
einzigartige Angebot der Plattform
umfasst mehrere Ebenen, darunter
beschleunigte Rechen leistung,
unverzichtbare KI-Software und
vortrainierte Modelle, wodurch die
Erstellung, Anpassung und Bereitstellung
von generativen KI- Modellen
für verschiedene Anwendungen und
Standorte erleichtert wird.
RAG-Technik nutzen
Mithilfe der generativen KI-Modelle
des Jetson KI-Labors können Entwickler
die RAG-Technik (Retrieval-
Augmented Generation) nutzen und
LLMs und VLMs mit der Wissensbasis
eines Unternehmens verbinden.
Durch diesen Ansatz er übrigt
sich das herkömmliche Training von
KI-Modellen, da einfache Konversationen
mit dem System zu KI-
Inferenzen führen, was die Entwicklungszeit
erheblich verkürzt.
Hohe KI-Leistung
Das MIC-733-AO von Advantech
verfügt über eine hohe KI-Leistung
und mehrere Videoschnittstellen, wie
IP-Kamera, USB/GigE-Industriekameras,
GMSL-Kameras, LiDAR
und mehr, und ermöglicht so einen
netzwerkrandbasierten Betrieb generativer
KI-Modelle. Sein außergewöhnliches
thermisches Design verhindert
Heißabstürze, selbst wenn
der NVIDIA Jetson AGX Orin mit
voller Leistung arbeitet.
Anwendungen mit hoher
Reaktionsfähigkeit
Mithilfe der generativen KI wird
die Interaktion zwischen Mensch
und Computer revolutioniert, indem
neue Inhalte aus verschiedenen
Eingaben und Ausgaben, wie z. B.
Text und Bilder, erstellt werden. Die
Umstellung der Nachfrage von der
Cloud auf den Netzwerkrand macht
GenAI zur idealen Lösung für Umgebungen
mit hoher Reaktionsfähigkeit
und niedrigen Latenzzeiten.
Vorteile
Die netzwerkrandbasierte generative
KI bietet mehrere Vorteile gegenüber
cloudbasierten Lösungen:
• Sofortige Reaktion:
Mit Edge-Computing-Systemen,
die Datenquellen wie Kameras
und Sensoren integrieren, können
GenAIs ohne die mit Cloud-
Uploads verbundenen Verzögerungen
sofort reagieren.
• Datenschutz:
Die Daten verbleiben innerhalb
des Netzwerkrandsystems, so
dass die mit der Datenübertragung
in der Cloud verbundenen
Risiken für die Cybersicherheit
vermieden werden.
• Stabile Netzwerkverbindung:
Das Netzwerkrandsystem kann
ohne ein Drahtlosnetzwerk betrieben
werden und speichert die Daten
lokal, bis das Netzwerk wiederhergestellt
ist, im Gegensatz zur
cloudbasierten KI, die ohne ein
Netzwerk nicht mehr funktioniert.
• Niedrige Übertragungskosten:
Bei Edge-KI fallen keine Übertragungskosten
an, sofern keine
Backend-Kommunikation erforderlich
ist. Es wird nur eine Übertragung
mit geringer Bandbreite
benötigt, was kostengünstiger ist
als die höheren Bandbreiten kosten
von Cloud-Uploads.
Fazit
Advantech
www.advantech.com/en-eu
Generative KI am Netzwerkrand
repräsentiert die Zukunft der KI-Ära.
Das MIC-733-AO Edge Generative
AI System, das in die generativen
KI-Modelle von NVIDIA aus dem
Jetson AI-Labor integriert ist, bietet
eine unkomplizierte Lösung für
KI-Entwickler und ist jetzt auf dem
Markt erhältlich. ◄
28 PC & Industrie 6/2024