Deployment eines leistungsstarken on-premises ChatBot

Ein führender Konzern im Maschinenbau suchte nach einer Lösung, um on-premises einen leistungsstarken ChatBot zu deployen, der Datenschutz und Datensicherheit gewährleistet. In Zusammenarbeit mit ConSol wurde ein Projekt gestartet, das die Implementierung eines ChatBots auf einer on-premises OpenShift Container Plattform mit NVIDIA GPUs vorsah, wobei mehrere Large Language Models (LLMs) wie „Llama2-Chat“ und „CodeLlama“ simultan genutzt werden können.

Projektbeschreibung

Der Maschinenbau-Konzern strebte an, einen ChatBot zu deployen, der eine ähnliche Funktionalität wie ChatGPT bietet und keine Internetverbindung benötigt, um Datenschutz und Datensicherheit zu gewährleisten. Das Projekt umfasste das Deployment auf einer on-premises OpenShift Container Plattform mit NVIDIA GPUs und die simultane Nutzung verschiedener Large Language Models (LLMs) wie „Llama2-Chat“ und „CodeLlama“.

 

Projektziel

Das Hauptziel bestand darin, eine sichere und leistungsstarke ChatBot-Lösung bereitzustellen, die den Datenschutzbestimmungen entspricht und komplexe Anfragen effizient verarbeiten kann. Durch die Implementierung auf einer on-premises Plattform mit NVIDIA GPUs sollten eine schnelle und präzise Verarbeitung von natürlicher Sprache und hochwertige Antworten ermöglicht werden.

Die Herausforderungen umfassten die Auswahl der Open-Source Software zum Betreiben der Modelle, die optimale Modellgröße für den vorhandenen Grafikkartenspeicher sowie die effiziente Nutzung der Grafikkarten. Der ChatBot musste offline bereitgestellt und geladen werden, ohne eine Internetverbindung zu benötigen. Darüber hinaus wurden die Container Images auf Red Hats „Universal Base Image“ (UBI) umgestellt, um Schwachstellen im Container zu mitigieren.

Herausforderung

Lösung

ConSol übernahm das vollständige Deployment der ChatBot-Applikation und verbesserte die Sicherheit durch Sperrung des Internetzugriffs und Umstellung auf Red Hat UBI-Images. Standardprozesse wie CI/CD Pipelines und Dokumentation wurden eingehalten, um eine reibungslose Implementierung zu gewährleisten.

Die Mitarbeitenden des Konzerns im Maschinenbau profitieren von einer sicheren Alternative zu ChatGPT oder ähnlicher Lösungen. Die Plattform ermöglicht die Ausführung von Open-Source Modellen, einschließlich neuerer wie beispielsweise „Mixtral 8x7B“. Durch das Experimentieren mit lokalen LLMs, bis hin zum Feintuning mit eigenen Daten, kann der Konzern nun Know-how aufbauen und das optimale Modell für den gewünschten Einsatzzweck betreiben.

Nutzen

Im Jahr

1984

gegründet

 

Über

260

Mitarbeiter*innen

 

In

4

verschiedenen Ländern

 

100%

kreativität

50% der Mitarbeitenden sind im Schnitt seit

10

Jahren im Unternehmen

ÜBER

999

erfolgreiche Projekte

100%

inhabergeführt

 

5

Standorte

 

Noch Fragen zum Maschinenbau-Projekt & unserer Expertise?

Lassen Sie uns sprechen!

Andreas Schilz

# Red Hat
# Cloud
# Platform Engineering
+49-211-339903-86
Durch Absenden des Formulars stimmen Sie unserer Datenschutzerklärung zu.