In diesem Artikel erkläre ich dir die grundlegende Mathematik, die du für KI und maschinelles Lernen brauchst. Ich teile auch den genauen Fahrplan und die Ressourcen, die mir persönlich geholfen haben. Lass uns direkt loslegen.
1. Statistik und Wahrscheinlichkeit
Die Sprache der Unsicherheit, Daten und Schlussfolgerungen
KI-/ML-Systeme lernen aus Daten, die verrauscht, unvollständig und unsicher sind. Wahrscheinlichkeit und Statistik liefern die formalen Werkzeuge, um unter Unsicherheit zu argumentieren und zuverlässige Muster aus Stichproben zu extrahieren.
1.1 Grundgesamtheiten und Stichproben
- Grundgesamtheit: Die gesamte Menge möglicher Datenpunkte (normalerweise nicht beobachtbar).
- Stichprobe: Eine Teilmenge, die aus der Grundgesamtheit gezogen wird.
- Das Verständnis von Stichprobenverzerrung, Repräsentativität und Varianz ist entscheidend für die Generalisierung von Modellen.
1.2 Deskriptive Statistik
- Mittelwert, Median, Modus: Maße der zentralen Tendenz.
- Erwartungswert: Der probabilistische Durchschnitt; grundlegend für Verlustfunktionen und Risikominimierung.
1.3 Varianz und Kovarianz
- Varianz: Misst die Streuung oder Unsicherheit in Daten.
- Kovarianz: Misst, wie zwei Variablen gemeinsam variieren.
- Führt direkt zum Verständnis von Korrelation, Multikollinearität und Merkmalsinteraktionen.
1.4 Zufallsvariablen
- Diskrete vs. kontinuierliche Zufallsvariablen.
- Wahrscheinlichkeitsmassenfunktionen (PMFs) und Wahrscheinlichkeitsdichtefunktionen (PDFs).
1.5 Häufige Wahrscheinlichkeitsverteilungen
Diese definieren Annahmen darüber, wie Daten generiert werden:
- Normalverteilung (Gauß): Rauschmodelle, Fehler, ZGWS.
- Binomialverteilung: Binäre Ergebnisse, Intuition für Klassifikation.
- Gleichverteilung: Nicht-informative A-priori-Verteilungen und Zufallsbasislinien.
1.6 Zentraler Grenzwertsatz (ZGWS)
- Erklärt, warum Gauß-Annahmen überall auftauchen.
- Rechtfertigt viele statistische Methoden, selbst wenn die Daten nicht normalverteilt sind.
1.7 Bedingte Wahrscheinlichkeit
- Wahrscheinlichkeit unter Berücksichtigung partieller Informationen.
- Wesentlich für Argumentation, Vorhersage und kausale Intuition.
1.8 Satz von Bayes
- Aktualisiert Überzeugungen mit Beweisen.
- Grundlage der Bayes'schen Inferenz, probabilistischer Modelle und moderner unsicherheitsbewusster ML.
1.9 Maximum-Likelihood-Schätzung (MLE)
- Rahmenwerk zur Anpassung von Modellparametern an Daten.
- Verlustfunktionen wie MSE und Kreuzentropie ergeben sich auf natürliche Weise aus MLE.
1.10 Lineare und Logistische Regression
- Lineare Regression: Kontinuierliche Vorhersage unter Gaußschem Rauschen.
- Logistische Regression: Probabilistische binäre Klassifikation.
- Beide sind Einstiegspunkte zum Verständnis komplexerer Modelle.
2. Lineare Algebra
Die Struktur von Daten und Modellen
Fast alles im maschinellen Lernen ist eine Matrixoperation. Daten, Parameter, Aktivierungen und Gradienten sind alle Vektoren, Matrizen oder Tensoren.
2.1 Skalare, Vektoren, Matrizen, Tensoren
- Skalare: Einzelne Werte.
- Vektoren: Merkmalsdarstellungen.
- Matrizen: Datensätze, Gewichte, Transformationen.
- Tensoren: Hochdimensionale Verallgemeinerungen (Deep Learning).
2.2 Matrixoperationen
- Addition & Subtraktion: Kombinieren von Signalen.
- Multiplikation: Lineare Transformationen und neuronale Schichten.
- Transposition: Formangleichung und Symmetrie.
- Diese Operationen definieren Vorwärtsdurchläufe in Modellen.
2.3 Determinanten und Inverse
- Determinante: Volumenskalierung und Singularität.
- Inverse: Lösen linearer Gleichungssysteme (in der Praxis selten direkt berechnet, aber konzeptionell wichtig).
2.4 Matrixrang und Lineare Unabhängigkeit
- Der Rang bestimmt den Informationsgehalt.
- Erklärt Redundanz, Merkmalskollaps und Identifizierbarkeit.
2.5 Eigenwerte und Eigenvektoren
- Beschreiben invariante Richtungen von Transformationen.
- Zentral für Stabilität, Konvergenz und Dimensionsreduktion.
2.6 Matrixzerlegungen
Werden verwendet, um Daten zu vereinfachen, zu analysieren und zu komprimieren:
- Singulärwertzerlegung (SVD): Kernwerkzeug für numerische Stabilität und Niedrigrang-Approximation.
- Hauptkomponentenanalyse (PCA): Dimensionsreduktion, Rauschfilterung und Merkmalsextraktion.
3. Analysis
Lernen als Optimierung
Das Training eines KI-Modells ist ein Optimierungsproblem. Die Analysis erklärt, wie Modelle lernen, wie schnell sie lernen und ob sie überhaupt konvergieren.
3.1 Ableitungen und Gradienten
- Ableitung: Änderungsrate.
- Gradient: Richtung des steilsten Anstiegs in hohen Dimensionen.
- Gradienten treiben das Lernen durch den Gradientenabstieg an.
3.2 Vektor- und Matrixanalysis
Moderne Modelle sind mehrdimensional:
- Jacobi-Matrix: Ableitungen erster Ordnung von vektorwertigen Funktionen.
- Hesse-Matrix: Krümmungsinformationen zweiter Ordnung.
- Kettenregel: Rückgrat der Backpropagation.
3.3 Grundlagen der Optimierung
Das Verständnis von Verlustlandschaften ist entscheidend:
- Lokale vs. Globale Minima: Warum Training „stecken bleiben“ kann.
- Sattelpunkte: Häufig in hochdimensionalen Räumen.
- Konvexität: Garantiert Optimalität und Stabilität (selten, aber wichtig).
Wie ich diese Mathematik tatsächlich gelernt habe (Ressourcen)
Hier ist der Fahrplan, der für mich funktioniert hat.
1. Zuerst Intuition aufbauen
Bevor ich zu Lehrbüchern griff, konzentrierte ich mich auf visuelles Verständnis.
- 3Blue1Brown Insbesondere:
- Essence of Linear Algebra*
- *Essence of Calculus
2. Strukturierte Kurse
- Imperial College London – Mathematics for Machine Learning auf Coursera Großartig für lineare Algebra und mehrdimensionale Analysis, sehr praxisnah vermittelt.
3. Statistik & Wahrscheinlichkeit
- Khan Academy Klare Erklärungen und viele Übungen.
4. Mathematik mit ML verbinden
- Hervorragend, um zu verstehen, wie Theorie in echte ML-Modelle umgesetzt wird. Buch: An Introduction to Statistical Learning
5. Alles zusammenführen
- Zeigt, wie alle Konzepte in tatsächlichen Algorithmen zusammenpassen. Buch: Mathematics for Machine Learning
