Liebe Besucherinnen und Besucher,
aufgrund unseres Sommerfestes sind wir am 03. September 2026 bis 14 Uhr erreichbar. Am 04. September 2026 sind wir wieder wie gewohnt für Sie da. Vielen Dank für Ihr Verständnis.
Ihr Team von Sack Fachmedien
Buch, Deutsch, 303 Seiten, Hardcover kaschiert, Format (B × H): 148 mm x 210 mm, Gewicht: 529 g
Reihe: Mathematik
Buch, Deutsch, 303 Seiten, Hardcover kaschiert, Format (B × H): 148 mm x 210 mm, Gewicht: 529 g
Reihe: Mathematik
ISBN: 978-3-8439-5638-3
Verlag: Dr. Hut
Der Erfolg des Deep Learnings ist unübersehbar, insbesondere bei großen neuronalen Netzen wie ChatGPT-3 mit 175 Mrd. und BERT-Large mit 340?Mio. Parametern. Dies zeigt den Trend zur Überparametrisierung, bei der die Anzahl der Parameter die der Trainingsdaten übersteigt. Klassische Theorien erwarten hier eine Überanpassung und damit eine schlechte Generalisierung auf neuen Daten. Dennoch liefern solche Netze oft sehr gute Ergebnisse. Diese Arbeit untersucht überparametrisierte neuronale Netze, die durch den Gradientenabstieg trainiert werden, im Rahmen der nichtparametrischen Regression, insbesondere in Bezug auf universelle Konsistenz und Konvergenzraten. Dabei zeigt sich, dass die gängige Überanpassungshypothese in diesem Kontext nicht zutrifft. Unser theoretischer Ansatz verbindet die drei zentralen Aspekte des Deep Learnings: Optimierung, Approximation und Generalisierung. Die Optimierung erfolgt, wie in der Praxis üblich, mittels Gradientenabstieg, wobei kein zusätzlicher Regularisierungsterm verwendet wird. Im Bereich der Approximation zeigen wir, dass geeignete Netzwerktopologien eine präzise Annäherung an komplexe Funktionen ermöglichen. Die Generalisierung beschreibt die Leistungsfähigkeit auf neuen Daten. Unsere Untersuchungen zeigen, dass überparametrisierte neuronale Netze trotz der großen Anzahl von Parametern in der Lage sind, zuverlässige Vorhersagen zu treffen. Die theoretischen Ergebnisse dieser Arbeit verdeutlichen das Potenzial überparametrisierter neuronaler Netze in mehrfacher Hinsicht. So lässt sich mit der sigmoidalen Aktivierungsfunktion die Eigenschaft der universellen Konsistenz nachweisen. Für glatte Regressionsfunktionen können zudem nahezu optimale Konvergenzraten abgeleitet werden. Besonders bemerkenswert ist, dass sich für ReLU-Netze unter kompositionellen Annahmen sogar dimensionsunabhängige Raten erzielen lassen und damit der Fluch der Dimensionalität umgangen werden kann.
