Souveräne KI

Strategie und Aufbau der eigenen Open-Source-Infrastruktur
1. Auflage 2026
ISBN: 978-3-367-11588-4
Verlag: Rheinwerk Verlag GmbH

Buch, Deutsch, 464 Seiten, Format (B × H): 245 mm x 176 mm, Gewicht: 992 g

Souveräne KI für Unternehmen

Sie wollen generative KI gewinnbringend und sicher in die Unternehmens-IT integrieren? Dann sind Sie hier richtig. Dieses Buch zeigt Ihnen, wie Sie eine komplette KI-Infrastruktur mit Open-Source-Tools aufbauen und dabei die volle Kontrolle über Ihre Daten behalten. Ingmar Stapel führt Sie durch einen kuratierten Stack für digitale Souveränität : von Ollama als KI-Motor über Open WebUI als professionelles Cockpit bis hin zu RAGFlow für komplexes Firmenwissen. Mit detaillierter TCO-Analyse, Schritt-für-Schritt-Anleitungen und Integration über MCP bauen Sie Ihre eigene KI-Infrastruktur auf – lokal, kontrolliert und EU AI Act-konform .

• Komplette KI-Plattform mit Ollama, Open WebUI, RAGFlow und n8n aufbauen
• RAG und Fine-Tuning intelligent kombinieren für maximale Effizienz
• Inklusive Kreativ-Werkstatt für Bild- und Videogenerierung mit ComfyUI

Aus dem Inhalt:

• Hardware-Auswahl und TCO-Analyse
• Basisinfrastruktur mit Docker
• KI-Modelle und Lizenzen
• Ollama als KI-Engine
• n8n und Flowise AI
• Fine-Tuning mit LLaMA Factory
• ComfyUI für Bildgenerierung
• EU AI Act und Compliance
• Open WebUI als Cockpit
• Prompt Engineering
• RAG und RagFlow für Unternehmens-Know-How
• Model Context Protocol (MCP)

Autoren/Hrsg.

Stapel, Ingmar

Fachgebiete

• Wirtschaftswissenschaften Betriebswirtschaft Wirtschaftsinformatik, SAP, IT-Management
• Mathematik | Informatik EDV | Informatik Betriebssysteme Linux Betriebssysteme, Open Source Betriebssysteme
• Mathematik | Informatik EDV | Informatik Angewandte Informatik Wirtschaftsinformatik
• Mathematik | Informatik EDV | Informatik Informatik Künstliche Intelligenz

Inhaltsverzeichnis

  Materialien zum Buch ... 17

  Geleitwort ... 18

  Herzliche Danksagung ... 20

  Vorwort ... 21

  Für wen ist dieses Buch? ... 22

TEIL I.  Verstehen ... 25

  1.  Souveräne KI im Unternehmen: Die strategische Notwendigkeit ... 27

       1.1 ... Die drei Säulen der Souveränität: Das Fundament Ihrer KI-Strategie ... 27

       1.2 ... Risikomanagement: Public Cloud vs. lokaler Betrieb ... 29

       1.3 ... Eine europäische Antwort: Die Schwarz Digits Group als Wegweiser ... 32

       1.4 ... Der wirtschaftliche Vorteil: Ihr souveräner Vorsprung ... 33

       1.5 ... Das »Warum« Ihrer eigenen KI-Strategie ... 35

TEIL II.  Planen ... 39

  2.  Das souveräne Fundament: Hardware, Architektur und die Total Cost of Ownership (TCO) ... 41

       2.1 ... Das physische Fundament: Die Hardware-Philosophie ... 42

       2.2 ... Konfigurationsstufen: Vom Allrounder zum dedizierten Server ... 48

       2.3 ... Hardware-Souveränität im Klartext -- das Experten-Interview mit der MIFCOM GmbH ... 49

       2.4 ... Exkurs: Alternative Architektur -- die DGX-Spark-Plattform ... 54

       2.5 ... TCO: Die Wirtschaftlichkeitsberechnung ... 57

       2.6 ... Referenzarchitektur: Die souveräne KI-Infrastruktur für den Mittelstand ... 69

TEIL III.  Aufbau der eigenen KI-Werkstatt ... 73

  3.  Praktische Umsetzung: Die Transformation der Hardware zu einem Inferenzserver ... 75

       3.1 ... Das Schichtenmodell der Souveränität: Von der Hardware zur Anwendung ... 75

       3.2 ... Linux als souveräne Basis: Der Performance- und Kontrollvorteil ... 76

       3.3 ... Installation der NVIDIA-Treiber und des CUDA-Toolkits ... 77

       3.4 ... System-Isolation: Container als souveräne Enklaven ... 78

       3.5 ... Die CUDA-Architektur der Kontrolle: Containerisierung als strategische Basis ... 80

       3.6 ... Projekt-Isolation: Virtuelle Umgebungen für Entwicklung und Training ... 81

       3.7 ... Hybride Nutzung und Lastspitzen ... 82

       3.8 ... SSH-Tunnel: Der sichere Geheimgang zu Ihrem Server ... 83

       3.9 ... Die extra Meile im Netzwerk -- sprechende Namen ... 85

       3.10 ... Den KI-Wegweiser erstellen und gestalten ... 94

       3.11 ... Zusammenfassung ... 97

  4.  Der globale Marktplatz: KI-Modelle und Lizenzen richtig auswählen ... 99

       4.1 ... Die gezielte Suche: Filter für Souveränität und Leistung ... 100

       4.2 ... Die Model Card: Qualität, Herkunft und Trainingshintergrund bewerten ... 101

       4.3 ... Das Schlüsselformat für On-Premises: GGUF ... 102

       4.4 ... Die Spielregeln: Lizenzen und das unternehmerische Risiko ... 104

       4.5 ... Fazit und klare Handlungsempfehlung ... 106

  5.  Die lokale KI-Werkstatt für Sprachmodelle ... 107

       5.1 ... Die Qual der Wahl? Nein, die Freiheit der Entscheidung! ... 108

       5.2 ... Das unsichtbare Fundament: llama.cpp als Motor der lokalen KI ... 110

       5.3 ... LM Studio: Der Allrounder für Einsteiger ... 112

       5.4 ... Ollama: Der einfache Weg, um Sprachmodelle im Netzwerk zu betreiben ... 117

       5.5 ... vLLM: Die anspruchsvolle Lösung für Unternehmen ... 131

       5.6 ... Fazit: Der strategische Gewinn ... 139

  6.  Das Chat-Cockpit: Die professionelle Weboberfläche für Ihr Team ... 141

       6.1 ... Open WebUI: Der ideale Partner für Ollama ... 142

       6.2 ... AnythingLLM: Der All-in-one-Spezialist für Dokumente ... 158

       6.3 ... LibreChat: Die strukturierte Enterprise-Alternative ... 170

       6.4 ... Gegenüberstellung der drei Chat-Cockpits ... 176

       6.5 ... KI-Werkstatt -- den Wegweiser weiter ausbauen ... 177

  7.  Assistive Tools: Die lokale Lösung für assistives agentisches Arbeiten ... 179

       7.1 ... Welches Werkzeug passt zu Ihnen? ... 179

       7.2 ... Visual Studio Code mit Ollama und Cline ... 181

       7.3 ... Sicherheitshinweis für agentische Programmierwerkzeuge ... 185

       7.4 ... Mistral-Vibe mit Ollama ... 185

       7.5 ... OpenCode mit Ollama ... 196

       7.6 ... Hermes Agent mit Ollama ... 207

       7.7 ... Claude Code mit Ollama ... 235

       7.8 ... Fazit: Anspruch und Wirklichkeit der lokalen Autonomie ... 243

  8.  OpenClaw: Das universelle Agenten-Gateway ... 247

       8.1 ... Was macht OpenClaw so besonders? ... 247

       8.2 ... Die »spicy« Seite der Autonomie: Ein Wort zur Sicherheit ... 248

       8.3 ... Installation und erste Schritte ... 250

       8.4 ... Den OpenClaw-System-Dienst verwalten ... 254

       8.5 ... Wenn Agenten »Meatwads« buchen: Die Rückkehr des Menschen als Hardware ... 256

       8.6 ... Fazit: Das Agenten-Gateway als nächste Evolutionsstufe ... 257

  9.  Die Kunst des Dialogs: Effektives Prompt-Engineering ... 259

       9.1 ... Die Kunst des Befehls: Was ist ein Prompt und warum ist »Prompt-Engineering« wichtig? ... 259

       9.2 ... Werkzeuge des Dialogs: Wichtige Prompting-Techniken ... 260

       9.3 ... Rollen-Prompting in der Praxis ... 261

       9.4 ... Der Aufbau macht den Unterschied: Struktur in Prompts ... 263

       9.5 ... Der iterative Prozess: Vom ersten Entwurf zum fertigen Code ... 264

       9.6 ... Realistische Erwartungen und Ihre Rolle als Entwickler ... 264

       9.7 ... Von Prompts zu Skills: Prompt-Engineering im Zeitalter der Agenten ... 265

10.  Mehr als nur chatten: Die Power-Features der Chat-Cockpits ... 267

       10.1 ... Retrieval-Augmented Generation ... 268

       10.2 ... Warum RAG-Projekte scheitern und wie Sie es besser machen ... 274

       10.3 ... Praxiskurs: Der RAG-Service in Open WebUI ... 276

11.  RAGFlow: Die Expertenlösung für ein umfangreiches Firmenwissen ... 285

       11.1 ... Die RAGFlow-Installation mit Docker Compose ... 286

       11.2 ... RAGFlow einrichten -- Ollama Anbindung konfigurieren ... 287

       11.3 ... RAGFlow-Datenquelle und Chat anlegen ... 291

       11.4 ... RAGFlow-Agents und -Workflows ... 295

       11.5 ... Datenablage und Verwaltung ... 296

       11.6 ... Update-Anleitung für RAGFlow ... 297

       11.7 ... Die Vorteile in der Praxis: Warum RAGFlow? ... 298

12.  MCP: Die integrierte Wissensplattform ... 301

       12.1 ... Das Model Context Protocol -- eine Einführung sowie eine Abgrenzung zu RAG ... 302

       12.2 ... Die souveräne Plattform: RAGFlow als Ressourcenprovider ... 306

       12.3 ... Exkurs: Wie MCP die IT-Architektur in Unternehmen verändert ... 315

       12.4 ... Abschluss: Die souveräne Plattform ist mehr als die Summe Ihrer Teile ... 318

       12.5 ... Meilenstein und strategisches Fazit: Vom Anwender zum Architekten zum KI-Betriebssystem ... 318

TEIL IV.  Automatisierung mit KI meistern ... 321

13.  Die GenAI-Workflow-Tools: Prozesse neu denken und GenAI tief integrieren ... 323

       13.1 ... Langflow: Das visuelle Kraftwerk für komplexe KI-Architekturen ... 324

       13.2 ... n8n: Die universelle Schaltzentrale für die systemübergreifende Prozessautomatisierung ... 332

       13.3 ... Flowise: Der Spezialist für die Low-Code-Entwicklung von KI-Agenten ... 350

       13.4 ... Zusammenfassung: Vom Werkzeugbesitzer zum Prozessarchitekten ... 362

14.  LLaMA-Factory: Das Trainingslager für Ihre individuellen Sprachmodelle ... 365

       14.1 ... Einordnung: Warum wir Modelle veredeln, anstatt sie neu zu trainieren ... 365

       14.2 ... Vom Anwender zum LLM-Optimierer ... 367

       14.3 ... Die Installation: LLaMA-Factory im Docker-Container ... 368

       14.4 ... Die Finetuning-Daten: Das Lernmaterial erstellen ... 373

       14.5 ... Das praktische QLoRA-Finetuning ... 374

       14.6 ... Das Ergebnis testen und anwenden ... 380

       14.7 ... Den LoRA-Adapter in Ollama anwenden: Der Spezialist im Praxiseinsatz ... 381

       14.8 ... Update-Anleitung für LLaMA-Factory ... 382

       14.9 ... Ausblick: Die Revolution der Spezialisten -- ein Praxisbeispiel ... 383

       14.10 ... Fazit: Vom Modell-Nutzer zum Modell-Schöpfer ... 385

15.  Das souveräne Kreativ-Studio: Theorie, Installation und Anwendung von ComfyUI ... 387

       15.1 ... Grundlagen: Stable Diffusion und die Sprache der Bild-KI ... 387

       15.2 ... Die architektonische Wahl: Automatic1111 vs. ComfyUI ... 390

       15.3 ... Praxis-Guide: Installation und Inbetriebnahme ... 391

       15.4 ... Für Power-User: Mehrere GPUs effizient nutzen ... 400

       15.5 ... Update-Anleitung für ComfyUI ... 402

16.  Fortgeschrittene Anwendungsfälle mit ComfyUI ... 405

       16.1 ... Open-WebUI-Bild-Generierung mit ComfyUI ... 405

       16.2 ... Text zu Video mit ComfyUI und LTX 2.0 ... 409

       16.3 ... Ollama in ComfyUI für die dynamische Prompt-Generierung und Überprüfung einbinden ... 411

       16.4 ... Audio-Generierung in ComfyUI mit ACE-Step 1.5 ... 414

       16.5 ... Fazit zu ComfyUI und der Kreativwerkstatt ... 416

17.  Stable Diffusion: LoRAErweiterungen finetunen ... 417

       17.1 ... Die Installation des AI Toolkits via Docker Compose ... 418

       17.2 ... Das Trainings-Set: Die Vorbereitung der Bilder ... 421

       17.3 ... Das AI Toolkit als Hintergrunddienst einrichten (systemd-Service) ... 428

       17.4 ... Update-Anleitung: Das AI Toolkit aktuell halten ... 430

       17.5 ... Fazit: Vom Anwender zum KI-Finetuner ... 431

18.  OpenAI Whisper: Die Grundlage für die Audioverarbeitung ... 433

       18.1 ... Die Installation: einfach und zukunftssicher per Skript ... 434

       18.2 ... Demo-Whisper-Webanwendung ... 434

       18.3 ... Fazit und Anwendungsfälle für Ihr Unternehmen ... 437

19.  Vision Language Model: Cosmos-Reason2 von NVIDIA ... 439

       19.1 ... Schritt-für-Schritt: Installation von Cosmos-Reason2 ... 443

       19.2 ... Cosmos-Reason2 im Einsatz: Inferenz und Deployment ... 444

       19.3 ... Cosmos-Reason2: Das Web-Frontend für die Praxis ... 449

       19.4 ... Autostart von Cosmos-Reason2: Den Inferenzserver als Systemdienst einrichten ... 451

       19.5 ... Der Aufbruch in die physische KI ... 454

20.  Ausblick: Vom KI-Betreiber zum KI-Innovator ... 455

       20.1 ... Ihr Weg zum KI-Innovator ... 456

       20.2 ... Technologie-Ausblick: Wohin die Reise geht ... 456

       20.3 ... Die Transformation der Arbeitskultur durch KI ... 458

       20.4 ... Der AI Augmented Professional: Die Evolution der Arbeitsrolle ... 459

       20.5 ... Menschliche Kernkompetenzen in der KI-Ära ... 459

       20.6 ... AI Literacy und der Citizen Developer ... 460

       20.7 ... Schlusswort ... 460

  Index ... 462

Über Autor(innen)

Stapel, Ingmar
Ingmar Stapel ist Diplom-Informatiker (FH) und seit über 20 Jahren in der Automotive-IT tätig. Als GenAI Innovation Manager begleitet und gestaltet er den Wandel seiner Organisationen hin zu generativer KI und agentischen Systemen: In dieser Rolle berät er, gibt die strategische Richtung vor und erprobt neue Ansätze – an der Schnittstelle zwischen den umsetzenden Fachbereichen und der Ausrichtung der Organisation. So verbindet der Autor das strategische Warum und das praktische Wie.Gerade in wirtschaftlich und politisch unsicheren Zeiten ist es Ingmar Stapel ein besonderes Anliegen, dass Unternehmen die eigenen Fähigkeiten aufbauen, um handlungsfähig und unabhängig zu bleiben.Denn nur wer dieses Können im eigenen Haus aufbaut, hat überhaupt die Wahl.