Röttger / Runze / Dietrich Basiswissen KI-Testen

Qualität von und mit KI-basierten SystemenAus- und Weiterbildung zum »Certified Tester AI Testing«– Foundation Level Specialist nach ISTQB®-Standard
1. Auflage 2024
ISBN: 978-3-96910-994-6
Verlag: dpunkt.verlag
Format: EPUB
Kopierschutz: 6 - ePub Watermark

E-Book, Deutsch, 319 Seiten

Reihe: Lehrbuch

Qualitätssicherung in KI-basierten System - damit KI-Projekte nicht scheitern - Zahlreiche Beispiele aus verschiedenen Branchen - Viele praktische Übungen mit Beispiellösungen - Mit Exkursen auf Basis industrieller Projekterfahrungen Umfragen in der Industrie zeigen deutlich: KI-Projekte scheitern häufiger als angenommen. Eine kontinuierliche Qualitätssicherung für KI-basierte Systeme ist daher unabdingbar. Das Autorenteam bietet einen fundierten Überblick und einen praxisnahen Einstieg in die Konzepte, Best Practices, Problemstellungen und Lösungsansätze rund um die Qualitätssicherung von und mit KI-basierten Systemen. Im Einzelnen werden behandelt: - Einführung in KI - Qualitätsmerkmale KI-basierter Systeme - Maschinelles Lernen (ML) - ML-Daten - Funktionale Leistungsmetriken - Neuronale Netze und Testen - Testen KI-basierter Systeme - Testen KI-spezifischer Qualitätsmerkmale - Methoden und Verfahren für das Testen KI-basierter Systeme - Testumgebungen für KI-basierte Systeme - Einsatz von KI beim Testen Das Buch enthält mehrere Exkurse, z.B. »ChatGPT als Teammitglied?«, Praxisbeispiele und zu vielen Kapiteln auch praktische Übungen, wobei die Lerninhalte durch Codebeispiele und Programmierübungen in Python veranschaulicht werden. Die Aufgaben und Lösungen sind als Jupyter Notebooks auf GitHub verfügbar. Das Buch orientiert sich am ISTQB®-Syllabus »Certified Tester AI Testing« (CT-AI) und eignet sich daher nicht nur bestens zur Prüfungsvorbereitung, sondern dient gleichzeitig als kompaktes Grundlagenwerk zu diesen Themen in der Praxis und an Hochschulen.

Nils Röttger hat bereits mehr als 10 Jahre Erfahrung im Bereich Qualitätssicherung. Bereits im Studium beschäftigte er sich mit dem Softwaretest. Seit 2008 arbeitet er bei der imbus AG in Möhrendorf, aktuell als Senior Berater, Projektleiter und Trainer. Bei imbus ist er u.a. verantwortlich für die Ausbildung und den Bereich Mobile Testing. In Vorträgen beschäftigt er sich immer wieder mit Themen wie Exploratives Testen, Mobile Testing oder auch Ethik und Künstliche Intelligenz.Dr. Gerhard Runze hat an der Universität Erlangen-Nürnberg Elektrotechnik studiert und promoviert. Nach langjähriger Tätigkeit als Entwickler, Projekt- und Teamleiter in der Algorithmen- und Chipentwicklung der Telekommunikationsindustrie arbeitet er seit 2015 bei der imbus AG in Möhrendorf als Testmanager, Trainer und Berater für Embedded Software, KI und agiles Testen.Verena Dietrich hat an der Friedrich-Alexander-Universität Erlangen-Nürnberg Integrated Life Sciences studiert und wählte dabei Schwerpunkte im Bereich Bioinformatik, biologisch inspirierte Algorithmen und Maschinelles Lernen. Anschließend war sie für fast 3 Jahre bei der imbus AG als Test Engineer tätig und beschäftigt sich seitdem mit der Qualitätssicherung von KI-basierten Systemen. Seit April 2022 promoviert sie am Institut für Medizinische Informatik der Universität Münster im Bereich der Bioinformatik.

Autoren/Hrsg.

Röttger, Nils

Runze, Gerhard

Dietrich, Verena

Fachgebiete

• Mathematik | Informatik EDV | Informatik Programmierung | Softwareentwicklung Software Engineering Softwaretests & Prüfsoftware
• Mathematik | Informatik EDV | Informatik Informatik Künstliche Intelligenz

Leseproben

Inhaltsverzeichnis

1Einführung in KI

1.1Definition von KI und der KI-Effekt

1.2Schwache KI, starke KI und die künstliche Superintelligenz

1.3KI-basierte Systeme und klassische Systeme

1.4KI-Techniken

1.4.1Exkurs: KI-Techniken im Detail

1.5KI-Entwicklungs-Frameworks

1.6Hardware für KI-basierte Systeme

1.7KI als Service (AI as a Service, AIaaS)

1.8Vortrainierte Modelle

1.9Normen, Vorschriften und KI

1.9.1Exkurs: Liste einiger Normen und Standards mit KI-Bezug

2Qualitätsmerkmale KI-basierter Systeme

2.1Flexibilität und Anpassbarkeit

2.2Autonomie von Systemen

2.3Evolution

2.4Bias

2.4.1Exkurs: Weitere Arten des Bias

2.5Ethik

2.6Seiteneffekte und Reward Hacking

2.6.1Seiteneffekte

2.6.2Reward Hacking

2.7Transparenz, Interpretierbarkeit und Erklärbarkeit

2.8Funktionale Sicherheit und KI

3Maschinelles Lernen (ML) – ein Einstieg

3.1Arten des maschinellen Lernens (ML)

3.1.1Überwachtes Lernen

3.1.2Unüberwachtes Lernen

3.1.3Bestärkendes Lernen

3.1.4Exkurs: Das Wissen einer KI – der Unterschied zwischen Korrelation und Kausalität

3.2ML-Workflow

3.2.1Exkurs: Alternative Workflows

3.3Auswahl einer Art von ML

3.3.1Übung: Wahl der passenden ML-Art

3.4Faktoren, die bei der Auswahl von ML-Algorithmen eine Rolle spielen

3.5Overfitting und Underfitting

3.5.1Overfitting

3.5.2Underfitting

3.5.3Übung: Demonstration von Overfitting und Underfitting

4ML-Daten – ein Einstieg

4.1Datenvorbereitung als Teil des ML-Workflows

4.1.1Datenbeschaffung

4.1.2Vorverarbeitung der Daten

4.1.3Merkmalsermittlung

4.1.4Herausforderungen bei der Datenvorbereitung

4.1.5Übung: Datenvorbereitung für ML

4.2Trainings-, Validierungs- und Testdatensätze

4.2.1Übung: Identifizieren von Trainings- und Testdaten und Erstellen eines ML-Modells

4.2.2Exkurs: Aufteilungsmethoden für Trainings- und Validierungsdaten

4.3Probleme mit der Datensatzqualität

4.4Datenqualität und ihre Auswirkungen auf das ML-Modell

4.4.1Übung: Aspekte der Datenqualität

4.5Datenkennzeichnung für überwachtes Lernen

4.5.1Ansätze zur Datenkennzeichnung

4.5.2Falsch gekennzeichnete Daten in Datensätzen

5Funktionale Leistungsmetriken – ein Einstieg

5.1Konfusionsmatrix

5.1.1Übung: Metriken einsetzen

5.2Zusätzliche funktionale Leistungsmetriken von ML für Klassifikation, Regression und Clusterbildung

5.3Beschränkungen der funktionalen Leistungsmetriken von ML

5.4Auswahl funktionaler Leistungsmetriken von ML

5.4.1Übung: Evaluieren eines erstellten ML-Modells

5.5Benchmark-Suiten für ML

6Neuronale Netze und Testen

6.1Neuronale Netze

6.1.1Übung: Training eines neuronalen Netzes

6.2Überdeckungsmaße für neuronale Netze

7Testen KI-basierter Systeme im Überblick

7.1Spezifikation KI-basierter Systeme

7.2Teststufen für KI-basierte Systeme

7.2.1Eingabedatentest

7.2.2ML-Modelltest

7.2.3Komponententest

7.2.4Komponentenintegrationstest

7.2.5Systemtest

7.2.6Abnahmetest

7.3Testdaten zum Testen KI-basierter Systeme

7.4Testen auf Automatisierungsbias in KI-basierten Systemen

7.5Dokumentieren einer KI-Komponente

7.6Testen auf Konzeptdrift

7.7Auswahl einer Testvorgehensweise für ein ML-System

8Testen KI-spezifischer Qualitätsmerkmale – ein Einstieg

8.1Herausforderungen beim Testen selbstlernender Systeme

8.2Test von autonomen KI-basierten Systemen

8.3Testen auf algorithmischen, stichprobenartigen und unangemessenen Bias

8.4Herausforderungen beim Testen probabilistischer und nichtdeterministischer KI-basierter Systeme

8.5Herausforderungen beim Testen komplexer KI-basierter Systeme

8.5.1Übung: Herausforderungen bei der Verwendung eines künstlichen neuronalen Netzes

8.6Testen der Transparenz, Interpretierbarkeit und Erklärbarkeit KI-basierter Systeme

8.6.1Übung: Erklärbare KI

8.7Testorakel für KI-basierte Systeme

8.8Testziele und Akzeptanzkriterien

8.8.1Übung: Akzeptanzkriterien

9Methoden und Verfahren für das Testen KI-basierter Systeme

9.1Gegnerische Angriffe und Datenverunreinigung

9.1.1Gegnerische Angriffe

9.1.2Datenverunreinigung

9.2Paarweises Testen

9.2.1Übung: Paarweises Testen

9.3Vergleichendes Testen

9.4A/B-Testen

9.5Metamorphes Testen

9.5.1Übung: Metamorphes Testen

9.6Erfahrungsbasiertes Testen von KI-basierten Systemen

9.6.1Checklisten für den Test von KI-basierten Systemen

9.6.2Übung: Exploratives Testen und explorative Datenanalyse (EDA)

9.7Übersicht und Auswahl von Testverfahren für KI-basierte Systeme

9.7.1Übersicht der Verfahren

9.7.2Übung: Verfahren für das Testen KI-basierter Systeme

10Testumgebungen für KI-basierte Systeme

10.1Besonderheiten von Testumgebungen für KI-basierte Systeme

10.2Virtuelle Testumgebungen zum Testen KI-basierter Systeme

11Einsatz von KI für Tests

11.1KI-Techniken fürs...

Über Autor(innen)

Nils Röttger hat bereits mehr als 10 Jahre Erfahrung im Bereich Qualitätssicherung. Bereits im Studium beschäftigte er sich mit dem Softwaretest. Seit 2008 arbeitet er bei der imbus AG in Möhrendorf, aktuell als Senior Berater, Projektleiter und Trainer. Bei imbus ist er u.a. verantwortlich für die Ausbildung und den Bereich Mobile Testing. In Vorträgen beschäftigt er sich immer wieder mit Themen wie Exploratives Testen, Mobile Testing oder auch Ethik und Künstliche Intelligenz.Dr. Gerhard Runze hat an der Universität Erlangen-Nürnberg Elektrotechnik studiert und promoviert. Nach langjähriger Tätigkeit als Entwickler, Projekt- und Teamleiter in der Algorithmen- und Chipentwicklung der Telekommunikationsindustrie arbeitet er seit 2015 bei der imbus AG in Möhrendorf als Testmanager, Trainer und Berater für Embedded Software, KI und agiles Testen.Verena Dietrich hat an der Friedrich-Alexander-Universität Erlangen-Nürnberg Integrated Life Sciences studiert und wählte dabei Schwerpunkte im Bereich Bioinformatik, biologisch inspirierte Algorithmen und Maschinelles Lernen. Anschließend war sie für fast 3 Jahre bei der imbus AG als Test Engineer tätig und beschäftigt sich seitdem mit der Qualitätssicherung von KI-basierten Systemen. Seit April 2022 promoviert sie am Institut für Medizinische Informatik der Universität Münster im Bereich der Bioinformatik.