- Neu
E-Book, Deutsch, 464 Seiten
Stapel Souveräne KI
1. Auflage 2026
ISBN: 978-3-367-11591-4
Verlag: Rheinwerk
Format: EPUB
Kopierschutz: 0 - No protection
Strategie und Aufbau der eigenen Open-Source-Infrastruktur
E-Book, Deutsch, 464 Seiten
ISBN: 978-3-367-11591-4
Verlag: Rheinwerk
Format: EPUB
Kopierschutz: 0 - No protection
Sie wollen generative KI gewinnbringend und sicher in die Unternehmens-IT integrieren? Dann sind Sie hier richtig. Dieses Buch zeigt Ihnen, wie Sie eine komplette KI-Infrastruktur mit Open-Source-Tools aufbauen und dabei die volle Kontrolle über Ihre Daten behalten. Ingmar Stapel führt Sie durch einen kuratierten Stack für digitale Souveränität : von Ollama als KI-Motor über Open WebUI als professionelles Cockpit bis hin zu RAGFlow für komplexes Firmenwissen. Mit detaillierter TCO-Analyse, Schritt-für-Schritt-Anleitungen und Integration über MCP bauen Sie Ihre eigene KI-Infrastruktur auf – lokal, kontrolliert und EU AI Act-konform .
- Komplette KI-Plattform mit Ollama, Open WebUI, RAGFlow und n8n aufbauen
- RAG und Fine-Tuning intelligent kombinieren für maximale Effizienz
- Inklusive Kreativ-Werkstatt für Bild- und Videogenerierung mit ComfyUI
Aus dem Inhalt:
- Hardware-Auswahl und TCO-Analyse
- Basisinfrastruktur mit Docker
- KI-Modelle und Lizenzen
- Ollama als KI-Engine
- n8n und Flowise AI
- Fine-Tuning mit LLaMA Factory
- ComfyUI für Bildgenerierung
- EU AI Act und Compliance
- Open WebUI als Cockpit
- Prompt Engineering
- RAG und RagFlow für Unternehmens-Know-How
- Model Context Protocol (MCP)
Autoren/Hrsg.
Weitere Infos & Material
Materialien zum Buch ... 17
Geleitwort ... 18
Herzliche Danksagung ... 20
Vorwort ... 21
Für wen ist dieses Buch? ... 22
TEIL I. Verstehen ... 25
1. Souveräne KI im Unternehmen: Die strategische Notwendigkeit ... 27
1.1 ... Die drei Säulen der Souveränität: Das Fundament Ihrer KI-Strategie ... 27
1.2 ... Risikomanagement: Public Cloud vs. lokaler Betrieb ... 29
1.3 ... Eine europäische Antwort: Die Schwarz Digits Group als Wegweiser ... 32
1.4 ... Der wirtschaftliche Vorteil: Ihr souveräner Vorsprung ... 33
1.5 ... Das »Warum« Ihrer eigenen KI-Strategie ... 35
TEIL II. Planen ... 39
2. Das souveräne Fundament: Hardware, Architektur und die Total Cost of Ownership (TCO) ... 41
2.1 ... Das physische Fundament: Die Hardware-Philosophie ... 42
2.2 ... Konfigurationsstufen: Vom Allrounder zum dedizierten Server ... 48
2.3 ... Hardware-Souveränität im Klartext -- das Experten-Interview mit der MIFCOM GmbH ... 49
2.4 ... Exkurs: Alternative Architektur -- die DGX-Spark-Plattform ... 54
2.5 ... TCO: Die Wirtschaftlichkeitsberechnung ... 57
2.6 ... Referenzarchitektur: Die souveräne KI-Infrastruktur für den Mittelstand ... 69
TEIL III. Aufbau der eigenen KI-Werkstatt ... 73
3. Praktische Umsetzung: Die Transformation der Hardware zu einem Inferenzserver ... 75
3.1 ... Das Schichtenmodell der Souveränität: Von der Hardware zur Anwendung ... 75
3.2 ... Linux als souveräne Basis: Der Performance- und Kontrollvorteil ... 76
3.3 ... Installation der NVIDIA-Treiber und des CUDA-Toolkits ... 77
3.4 ... System-Isolation: Container als souveräne Enklaven ... 78
3.5 ... Die CUDA-Architektur der Kontrolle: Containerisierung als strategische Basis ... 80
3.6 ... Projekt-Isolation: Virtuelle Umgebungen für Entwicklung und Training ... 81
3.7 ... Hybride Nutzung und Lastspitzen ... 82
3.8 ... SSH-Tunnel: Der sichere Geheimgang zu Ihrem Server ... 83
3.9 ... Die extra Meile im Netzwerk -- sprechende Namen ... 85
3.10 ... Den KI-Wegweiser erstellen und gestalten ... 94
3.11 ... Zusammenfassung ... 97
4. Der globale Marktplatz: KI-Modelle und Lizenzen richtig auswählen ... 99
4.1 ... Die gezielte Suche: Filter für Souveränität und Leistung ... 100
4.2 ... Die Model Card: Qualität, Herkunft und Trainingshintergrund bewerten ... 101
4.3 ... Das Schlüsselformat für On-Premises: GGUF ... 102
4.4 ... Die Spielregeln: Lizenzen und das unternehmerische Risiko ... 104
4.5 ... Fazit und klare Handlungsempfehlung ... 106
5. Die lokale KI-Werkstatt für Sprachmodelle ... 107
5.1 ... Die Qual der Wahl? Nein, die Freiheit der Entscheidung! ... 108
5.2 ... Das unsichtbare Fundament: llama.cpp als Motor der lokalen KI ... 110
5.3 ... LM Studio: Der Allrounder für Einsteiger ... 112
5.4 ... Ollama: Der einfache Weg, um Sprachmodelle im Netzwerk zu betreiben ... 117
5.5 ... vLLM: Die anspruchsvolle Lösung für Unternehmen ... 131
5.6 ... Fazit: Der strategische Gewinn ... 139
6. Das Chat-Cockpit: Die professionelle Weboberfläche für Ihr Team ... 141
6.1 ... Open WebUI: Der ideale Partner für Ollama ... 142
6.2 ... AnythingLLM: Der All-in-one-Spezialist für Dokumente ... 158
6.3 ... LibreChat: Die strukturierte Enterprise-Alternative ... 170
6.4 ... Gegenüberstellung der drei Chat-Cockpits ... 176
6.5 ... KI-Werkstatt -- den Wegweiser weiter ausbauen ... 177
7. Assistive Tools: Die lokale Lösung für assistives agentisches Arbeiten ... 179
7.1 ... Welches Werkzeug passt zu Ihnen? ... 179
7.2 ... Visual Studio Code mit Ollama und Cline ... 181
7.3 ... Sicherheitshinweis für agentische Programmierwerkzeuge ... 185
7.4 ... Mistral-Vibe mit Ollama ... 185
7.5 ... OpenCode mit Ollama ... 196
7.6 ... Hermes Agent mit Ollama ... 207
7.7 ... Claude Code mit Ollama ... 235
7.8 ... Fazit: Anspruch und Wirklichkeit der lokalen Autonomie ... 243
8. OpenClaw: Das universelle Agenten-Gateway ... 247
8.1 ... Was macht OpenClaw so besonders? ... 247
8.2 ... Die »spicy« Seite der Autonomie: Ein Wort zur Sicherheit ... 248
8.3 ... Installation und erste Schritte ... 250
8.4 ... Den OpenClaw-System-Dienst verwalten ... 254
8.5 ... Wenn Agenten »Meatwads« buchen: Die Rückkehr des Menschen als Hardware ... 256
8.6 ... Fazit: Das Agenten-Gateway als nächste Evolutionsstufe ... 257
9. Die Kunst des Dialogs: Effektives Prompt-Engineering ... 259
9.1 ... Die Kunst des Befehls: Was ist ein Prompt und warum ist »Prompt-Engineering« wichtig? ... 259
9.2 ... Werkzeuge des Dialogs: Wichtige Prompting-Techniken ... 260
9.3 ... Rollen-Prompting in der Praxis ... 261
9.4 ... Der Aufbau macht den Unterschied: Struktur in Prompts ... 263
9.5 ... Der iterative Prozess: Vom ersten Entwurf zum fertigen Code ... 264
9.6 ... Realistische Erwartungen und Ihre Rolle als Entwickler ... 264
9.7 ... Von Prompts zu Skills: Prompt-Engineering im Zeitalter der Agenten ... 265
10. Mehr als nur chatten: Die Power-Features der Chat-Cockpits ... 267
10.1 ... Retrieval-Augmented Generation ... 268
10.2 ... Warum RAG-Projekte scheitern und wie Sie es besser machen ... 274
10.3 ... Praxiskurs: Der RAG-Service in Open WebUI ... 276
11. RAGFlow: Die Expertenlösung für ein umfangreiches Firmenwissen ... 285
11.1 ... Die RAGFlow-Installation mit Docker Compose ... 286
11.2 ... RAGFlow einrichten -- Ollama Anbindung konfigurieren ... 287
11.3 ... RAGFlow-Datenquelle und Chat anlegen ... 291
11.4 ... RAGFlow-Agents und -Workflows ... 295
11.5 ... Datenablage und Verwaltung ... 296
11.6 ... Update-Anleitung für RAGFlow ... 297
11.7 ... Die Vorteile in der Praxis: Warum RAGFlow? ... 298
12. MCP: Die integrierte Wissensplattform ... 301
12.1 ... Das Model Context Protocol -- eine Einführung sowie eine Abgrenzung zu RAG ... 302
12.2 ... Die souveräne Plattform: RAGFlow als Ressourcenprovider ... 306
12.3 ... Exkurs: Wie MCP die IT-Architektur in Unternehmen verändert ... 315
12.4 ... Abschluss: Die souveräne Plattform ist mehr als die Summe Ihrer Teile ... 318
12.5 ... Meilenstein und strategisches Fazit: Vom Anwender zum Architekten zum KI-Betriebssystem ... 318
TEIL IV. Automatisierung mit KI meistern ... 321
13. Die GenAI-Workflow-Tools: Prozesse neu denken und GenAI tief integrieren ... 323
13.1 ... Langflow: Das visuelle Kraftwerk für komplexe KI-Architekturen ... 324
13.2 ... n8n: Die universelle Schaltzentrale für die systemübergreifende Prozessautomatisierung ... 332
13.3 ... Flowise: Der Spezialist für die Low-Code-Entwicklung von KI-Agenten ... 350
13.4 ... Zusammenfassung: Vom Werkzeugbesitzer zum Prozessarchitekten ... 362
14. LLaMA-Factory: Das Trainingslager für Ihre individuellen Sprachmodelle ... 365
14.1 ... Einordnung: Warum wir Modelle veredeln, anstatt sie neu zu trainieren ... 365
14.2 ... Vom Anwender zum LLM-Optimierer ... 367
14.3 ... Die Installation: LLaMA-Factory im Docker-Container ... 368
14.4 ... Die Finetuning-Daten: Das Lernmaterial erstellen ... 373
14.5 ... Das praktische QLoRA-Finetuning ... 374
14.6 ... Das Ergebnis testen und anwenden ... 380
14.7 ... Den LoRA-Adapter in Ollama anwenden: Der Spezialist im Praxiseinsatz ... 381
14.8 ... Update-Anleitung für LLaMA-Factory ... 382
14.9 ... Ausblick: Die Revolution der Spezialisten -- ein Praxisbeispiel ... 383
14.10 ... Fazit: Vom Modell-Nutzer zum Modell-Schöpfer ... 385
15. Das souveräne Kreativ-Studio: Theorie, Installation und Anwendung von ComfyUI ... 387
15.1 ... Grundlagen: Stable Diffusion und die Sprache der Bild-KI ... 387
15.2 ... Die architektonische Wahl: Automatic1111 vs. ComfyUI ... 390
15.3 ... Praxis-Guide: Installation und Inbetriebnahme ... 391
15.4 ... Für Power-User: Mehrere GPUs effizient nutzen ... 400
15.5 ... Update-Anleitung für ComfyUI ... 402
16. Fortgeschrittene Anwendungsfälle mit ComfyUI ... 405
16.1 ... Open-WebUI-Bild-Generierung mit ComfyUI ... 405
16.2 ... Text zu Video mit ComfyUI und LTX 2.0 ... 409
16.3 ... Ollama in ComfyUI für die dynamische Prompt-Generierung und Überprüfung einbinden ... 411
16.4 ... Audio-Generierung in ComfyUI mit ACE-Step 1.5 ... 414
16.5 ... Fazit zu ComfyUI und der Kreativwerkstatt ... 416
17. Stable Diffusion: LoRAErweiterungen finetunen ... 417
17.1 ... Die Installation des AI Toolkits via Docker Compose ... 418
17.2 ... Das Trainings-Set: Die Vorbereitung der Bilder ... 421
17.3 ... Das AI Toolkit als Hintergrunddienst einrichten (systemd-Service) ... 428
17.4 ... Update-Anleitung: Das AI Toolkit aktuell halten ... 430
17.5 ... Fazit: Vom Anwender zum KI-Finetuner ... 431
18. OpenAI Whisper: Die Grundlage für die Audioverarbeitung ... 433
18.1 ... Die Installation: einfach und zukunftssicher per Skript ... 434
18.2 ... Demo-Whisper-Webanwendung ... 434
18.3 ... Fazit und Anwendungsfälle für Ihr Unternehmen ... 437
19. Vision Language Model: Cosmos-Reason2 von NVIDIA ... 439
19.1 ... Schritt-für-Schritt: Installation von Cosmos-Reason2 ... 443
19.2 ... Cosmos-Reason2 im Einsatz: Inferenz und Deployment ... 444
19.3 ... Cosmos-Reason2: Das Web-Frontend für die Praxis ... 449
19.4 ... Autostart von Cosmos-Reason2: Den Inferenzserver als Systemdienst einrichten ... 451
19.5 ... Der Aufbruch in die physische KI ... 454
20. Ausblick: Vom KI-Betreiber zum KI-Innovator ... 455
20.1 ... Ihr Weg zum KI-Innovator ... 456
20.2 ... Technologie-Ausblick: Wohin die Reise geht ... 456
20.3 ... Die Transformation der Arbeitskultur durch KI ... 458
20.4 ... Der AI Augmented Professional: Die Evolution der Arbeitsrolle ... 459
20.5 ... Menschliche Kernkompetenzen in der KI-Ära ... 459
20.6 ... AI Literacy und der Citizen Developer ... 460
20.7 ... Schlusswort ... 460
Index ... 462
1.2 Risikomanagement: Public Cloud vs. lokaler Betrieb
Wenn Sie die Risiken der Public Cloud bewerten wollen, müssen Sie zwischen Marketing-Versprechen und rechtlicher Realität unterscheiden. Microsofts Kampagne »Digitale Souveränität – designt in Europa« klingt beruhigend. Die juristische Wirklichkeit ist komplex und sehr wahrscheinlich eine andere: Der physische Standort eines Servers entscheidet nicht darüber, wer auf Ihre Daten zugreifen darf.
1.2.1 Das Souveränitätsparadoxon: Der US Cloud Act
Der US Cloud Act (Clarifying Lawful Overseas Use of Data Act) ist ein US-Bundesgesetz aus dem Jahr 2018 mit weitreichenden Konsequenzen für alle Unternehmen, die Dienste amerikanischer Anbieter nutzen. Es verpflichtet US-Unternehmen und deren Tochtergesellschaften weltweit, US-Behörden auf Anfrage Zugriff auf gespeicherte Daten zu gewähren, unabhängig davon, ob sich der Server in Frankfurt, Paris oder São Paulo befindet. Ein europäisches Rechenzentrum zu nutzen schützt Sie nicht, solange sein Betreiber dem US-Recht unterliegt.
Dass dies keine theoretische Befürchtung ist, belegt die folgende offizielle Aussage aus der Branche.
Der Microsoft-Fakt
Im Rahmen einer Anhörung vor dem französischen Senat bestätigte Anton Carniaux, Chefjustiziar von Microsoft Frankreich, unter Eid, dass sein Unternehmen den Schutz europäischer Daten vor dem Zugriff durch US-Behörden nicht garantieren kann. Er räumte zudem ein, dass solche Datenweitergaben geheim erfolgen können, ohne dass der betroffene Kunde jemals davon erfährt.[ 2 ]
Für Berufsgeheimnisträger wie Ärzte, Anwältinnen oder Steuerberater und für jedes Unternehmen mit schützenswertem geistigem Eigentum bedeutet das: Die Nutzung von US-Cloud-KI ist kein kalkuliertes Risiko. Es ist eine bewusste Preisgabe von Vertraulichkeit.
Aufgrund der jüngsten geopolitischen Entwicklungen ist zudem davon auszugehen, dass die EU-Kommission die Einhaltung bestehender Datenschutzvorgaben künftig schärfer durchsetzen wird. Wer heute souverän aufgestellt ist, muss morgen nicht nachrüsten.
1.2.2 Der doppelte Lock-in: Daten und Abhängigkeit
Neben der rechtlichen Komponente droht die strategische Sackgasse. Wer auf proprietäre Cloud-Lösungen setzt, gerät in eine doppelte Abhängigkeit und bemerkt es oft erst, wenn der Wechsel schmerzhaft teuer geworden ist:
-
Technologischer Lock-in: Die tiefe Integration in geschlossene Ökosysteme proprietäre APIs, herstellerspezifische Datenformate und plattformgebundene Workflows macht einen Anbieterwechsel technisch extrem aufwendig. Was als pragmatische Einstiegslösung begann, wird zur strukturellen Abhängigkeit.
-
Kosten-Diktat: Die Abrechnung nach Datentransfer und KI-Token macht Budgets schwer planbar. Steigen die Preise oder ändern sich die Nutzungsbedingungen, dann haben Sie ohne eigene Infrastruktur keine Ausweichmöglichkeit. Und die Frage ist nicht, ob, sondern wann globale Hyperscaler ihre Preismodelle anpassen (sobald der Infrastrukturaufbau refinanziert werden muss).
1.2.3 Strategischer Vergleich: Die Entscheidungsgrundlage
Tabelle 1.1 zeigt eine Gegenüberstellung der wesentlichen Entscheidungskriterien.
| Merkmal | US-Public-Cloud-KI (SaaS) | Lokale souveräne KI (On-Premises) |
|---|
| Rechtssicherheit | US Cloud Act – kein Schutz vor Behördenzugriff | volle Kontrolle im eigenen Rechtsraum |
| Einstieg | sofort einsatzbereit | initialer Setup-Aufwand erforderlich |
| Kostenstruktur | variabel, steigend (Pay-per-Token) | fix, sinkende Gesamtkosten (CAPEX) |
| IP-Schutz | Datenabflussrisiko durch Logging und Training | Daten verlassen das Unternehmen nicht. |
| Spezialisierung | generisch – Standardmodelle für alle | tief – feinabgestimmt auf Ihre Firmen-DNA |
| Abhängigkeit | hoch – Vendor-Lock-in durch proprietäre Systeme | gering – Open-Source-Flexibilität |
| Innovationsfreiheit | gebremst durch Token-Kosten | unbegrenzt – Grenzkosten nahe null |
Tabelle 1.1 Vergleich zwischen einer KI unter US-Recht und einer souveränen Lösung
1.2.4 Eine Bewertungshilfe vom BSI: Das C3A-Framework
Wer die Risiken zwischen Public Cloud und lokaler Infrastruktur strukturiert bewerten möchte, findet seit April 2026 erstmals einen offiziellen Maßstab. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat mit den Criteria enabling Cloud Computing Autonomy (C3A) ein Dokument veröffentlicht, das Cloud-Souveränität in sechs messbaren Dimensionen definiert: von der Jurisdiktion des Anbieters über Datenresidenz und externes Schlüsselmanagement bis hin zur Fähigkeit, sich vollständig von Nicht-EU-Netzen zu trennen.
Das C3A ist ausdrücklich kein bindender Standard, sondern ein Diagnoseinstrument. Für mittelständische Unternehmen ergeben sich daraus zwei Lesarten. Die erste ist: Selbst das BSI hält die Souveränitätsrisiken bei Cloud-Diensten für so substanziell, dass es einen eigenen Kriterienkatalog mit über 30 Einzelanforderungen formuliert. Die zweite, pragmatischere, lautet: Viele dieser Kriterien – wie etwa »alles Personal mit Hauptwohnsitz in der EU« oder »dokumentierte Disconnect-Tests einmal jährlich« – kann ein KMU meinem Verständnis nach bei keinem Hyperscaler wirklich verifizieren. Steht der Server jedoch im eigenen Haus, erübrigt sich die Frage, da die Verantwortung und das Wissen komplett in Ihren Händen liegen.
Das BSI macht mit dem C3A-Framework damit schwarz auf weiß sichtbar, was bislang nur in vielen Artikeln und Podcasts diskutiert wurde: Cloud-Souveränität ist ein vielschichtiges Problem. Lokale Infrastruktur ist eine der wenigen Antworten, die ein Mittelständler auch ohne Audit-Abteilung selbst kontrollieren kann.
Das vollständige C3A_Cloud_Computing_Autonomy.pdf-Dokument ist beim BSI öffentlich verfügbar unter:
Fazit für Entscheiderinnen und Entscheider: Die Public Cloud amerikanischer Hyperscaler besticht durch Bequemlichkeit – und genau das ist ihre stärkste Waffe. Denn wer sich einmal eingerichtet hat, denkt selten über...
