Künstliche Intelligenz, Maschinelles Lernen und Informatik & Gesellschaft — Informatik · Abitur-Zusammenfassung

KI, ML, Deep Learning — Begriffe und Lernverfahren#

StandardNRW-IF6BY-Inf-8BW-Inf-9

Künstliche Intelligenz (KI) ist ein Sammelbegriff für Systeme, die Aufgaben lösen, die typischerweise menschliche Intelligenz erfordern (Wahrnehmung, Sprache, Schlussfolgern, Entscheiden). Zu unterscheiden ist die schwache (spezialisierte) KI — auf eine eng umrissene Aufgabe trainiert, das beschreibt alle heutigen Systeme — von der starken (allgemeinen) KI (AGI), die menschenähnlich übergreifend handeln würde und bislang hypothetisch ist. Wichtig: KI umfasst sowohl regelbasierte/symbolische Systeme (Expertensysteme, „GOFAI") als auch lernende Systeme.

Maschinelles Lernen (ML) ist das Teilgebiet der KI, in dem ein System aus Daten ein Modell lernt, statt explizit mit Regeln programmiert zu werden — besonders dort überlegen, wo sich Regeln kaum von Hand angeben lassen (Bilderkennung). Es gilt die Schachtelung DL ⊂ ML ⊂ KI: Deep Learning ist eine Teilmenge des maschinellen Lernens, dieses eine Teilmenge der KI.

Drei Lernparadigmen sind zu trennen: überwachtes Lernen (gelabelte Daten — Eingabe mit bekanntem Sollwert; Klassifikation und Regression, z. B. Spam-Filter, Preisvorhersage), unüberwachtes Lernen (ohne Labels — Struktur entdecken durch Clustering oder Dimensionsreduktion, z. B. Kundensegmentierung) und bestärkendes Lernen (Reinforcement Learning) (ein Agent handelt in einer Umgebung und lernt aus Belohnung/Bestrafung, z. B. AlphaGo, Robotersteuerung).

Deep Learning nutzt tiefe neuronale Netze mit vielen verdeckten Schichten und ermöglicht Repräsentationslernen direkt aus Rohdaten (Pixel, Audio, Text), statt von Hand entworfener Merkmale. Der Durchbruch seit etwa 2012 (AlexNet) ruht auf dem Zusammentreffen von großen Datenmengen, GPU-Rechenleistung und besseren Algorithmen.

Eine ML-Pipeline durchläuft feste Phasen: Daten sammeln → bereinigen/vorverarbeiten → aufteilen (Trainings-/Validierungs-/Testmenge) → trainieren → validieren (Hyperparameter wählen) → testen (einmalige Endbewertung) → bereitstellen → überwachen (auf Datendrift). Das Ziel ist stets die Generalisierung auf ungesehene Daten, nicht das Auswendiglernen.

Overfitting (Überanpassung) liegt vor, wenn das Modell das Rauschen der Trainingsdaten auswendig lernt — niedriger Trainings-, aber hoher Testfehler; das Gegenstück ist Underfitting (Modell zu einfach, beide Fehler hoch). Gegenmaßnahmen sind mehr/bessere Daten, Regularisierung, Dropout, Cross-Validation, Early Stopping und die Vereinfachung der Architektur (vertieft im Abschnitt Modelltraining).

Typische Fehler

KI und ML synonym verwendet — KI umfasst auch regelbasierte/symbolische Systeme.
Validierungs- und Testdaten vermischt — Validierung dient der Hyperparameterwahl, der Test der einmaligen Endbewertung.
Überwachtes und unüberwachtes Lernen am Vorhandensein von Labels nicht unterschieden.
„Mehr Daten = automatisch besseres Modell" angenommen — Datenqualität, Repräsentativität und Bias sind entscheidend.

LK-Vertiefung

eA-Vertiefung: Grenzen Sie diskriminative Modelle (lernen die Entscheidungsgrenze P(y|x), z. B. ein Klassifikator) von generativen Modellen (lernen die Datenverteilung und erzeugen neue Beispiele) ab und ordnen Sie überwachtes/unüberwachtes/bestärkendes Lernen sowie symbolische KI in eine begründete Übersicht ein.

Aktive Wiederholung

Erläutern Sie an einem konkreten Anwendungsfall (z. B. Spam-Filter) den Unterschied zwischen überwachtem und unüberwachtem Lernen und beurteilen Sie, welches Paradigma geeigneter ist.

Aktiv abrufen

Erinnere dich an die Kernpunkte — dann aufdecken.

Künstliche neuronale Netze — Perceptron und MLP#

VertiefungNRW-IF6BY-Inf-8

Perceptron — gewichtete Summe und Schwellwert

Abb. 1Eingaben x₁, x₂ werden mit Gewichten multipliziert, summiert und gegen den Schwellwert θ verglichen; Ausgabe 0 oder 1.

Das Perceptron (Frank Rosenblatt 1958) ist das einfachste künstliche Neuron: Es bildet die gewichtete Summe seiner Eingaben, vergleicht sie mit einem Schwellwert θ und gibt binär aus — y = step(Σ wᵢ·xᵢ − θ), also 1, falls die gewichtete Summe θ überschreitet, sonst 0. Die Gewichte wᵢ bestimmen den Einfluss jeder Eingabe, der Schwellwert (Bias) die „Feuerschwelle". Es modelliert damit eine lineare Schwellwert-Einheit mit anpassbaren Parametern.

Geometrisch definiert ein Perceptron eine Hyperebene Σ wᵢ·xᵢ = θ (im 2D eine Gerade), die den Eingaberaum in zwei Halbräume teilt — die Entscheidungsgrenze. Die Gewichte legen die Orientierung fest, der Schwellwert die Verschiebung. Daraus folgt die zentrale Grenze: Ein einzelnes Perceptron kann nur linear separierbare Klassen trennen (solche, die sich durch eine Gerade/Ebene scheiden lassen).

Die Trainingsregel lautet wᵢ ← wᵢ + η·(t − y)·xᵢ (Lernrate η, Sollwert t, Ausgabe y): Bei korrekter Vorhersage (t = y) ändert sich nichts; bei einem Fehler werden die Gewichte in Richtung der Korrektur verschoben. Das Perceptron-Konvergenztheorem (Rosenblatt/Novikoff) garantiert: Sind die Daten linear separierbar, so findet diese Regel in endlich vielen Schritten eine trennende Lösung.

Durchgerechneter Einzelschritt (OR-artig): w₁ = w₂ = 0,2, θ = 0,3, η = 0,1, Eingabe (1, 0), Sollwert t = 1. Gewichtete Summe = 0,2·1 + 0,2·0 = 0,2 < 0,3 ⇒ y = 0. Fehler (t − y) = 1, also Update w₁ ← 0,2 + 0,1·1·1 = 0,3, w₂ ← 0,2 + 0,1·1·0 = 0,2 — das auf die aktive Eingabe wirkende Gewicht wächst, der Schwellwert wird beim nächsten Mal erreicht (siehe das nebenstehende Perceptron-Beispiel).

Das berühmte XOR-Problem ist nicht linear separierbar: Für die vier Punkte (0,0)→0, (0,1)→1, (1,0)→1, (1,1)→0 liegen die beiden Klassen auf den gegenüberliegenden Diagonalen — keine einzelne Gerade trennt sie. Minsky und Papert (1969) wiesen diese Grenze nach, was zum ersten „KI-Winter" beitrug. Die Lösung ist das Multi-Layer-Perceptron (MLP) mit mindestens einer verdeckten Schicht und nichtlinearer Aktivierung: Erst die Nichtlinearität erlaubt gekrümmte/zusammengesetzte Entscheidungsgrenzen — ohne sie kollabieren gestapelte lineare Schichten zu einer einzigen linearen Abbildung.

Trainiert werden mehrschichtige Netze per Backpropagation (Rumelhart, Hinton, Williams 1986): Der Fehlergradient wird per Kettenregel rückwärts durch das Netz propagiert und steuert die Gewichtsanpassung — die algorithmische Grundlage allen Deep Learning. Übliche Aktivierungsfunktionen sind Sigmoid, tanh, vor allem ReLU = max(0, x) (Standard seit den 2010er-Jahren, mildert verschwindende Gradienten) und Softmax (für Klassifikation, normierte Wahrscheinlichkeiten). Spezialisierte Architekturen sind CNNs (Bildverarbeitung), RNNs/LSTMs (Sequenzen) und Transformer (Sprachmodelle — siehe folgender Abschnitt).

w_i \leftarrow w_i + \eta\,(t - y)\,x_i

Perceptron-Lernregel

η Lernrate, t Zielwert, y aktueller Output, x_i Eingabe; das Gewicht wird nur bei Fehlklassifikation angepasst.

Musterlösung

Perceptron-Lernregel für logisches AND

Trainieren Sie ein einlagiges Perceptron auf die AND-Funktion mit Eingaben (x1, x2) ∈ {0,1}² und Lernrate η = 1.

Schritt 1 — Initialisierung
Gewichte w1 = w2 = 0, Bias θ = 0. Aktivierungsfunktion: 1 falls w·x − θ > 0, sonst 0.
Schritt 2 — Erster Trainingsdurchlauf
Eingabe (1,1) → Ziel 1, Ausgabe 0 (Fehlklassifikation). Lernregel mit Fehler (t − y) = 1: w1 ← 0 + 1·1·1 = 1, w2 ← 0 + 1·1·1 = 1; der Schwellwert θ wird in Richtung der nicht erfüllten Bedingung verschoben.
Schritt 3 — Mehrere Epochen
Nach mehreren Epochen konvergiert das Perceptron typischerweise zu w1 = w2 = 1, θ = 1.5; dann gilt: nur (1,1) liefert 1+1−1.5 = 0.5 ≥ 0.
Schritt 4 — Reflexion
AND ist linear separierbar, daher konvergiert das Perceptron. XOR ist nicht linear separierbar und benötigt verdeckte Schichten (MLP) — Minsky/Papert 1969.

Ergebnis: Lineare Trennung liefert w1 = w2 = 1, θ ≈ 1.5; XOR bedarf eines mehrlagigen Netzes.

Typische Fehler

Den Schwellwert θ (Bias) in der gewichteten Summe oder im Update vergessen.
Aktivierungsfunktion und Verlustfunktion vermischt — erstere transformiert die Neuronenausgabe, letztere misst den Fehler.
XOR als linear separierbar angenommen — die Vier-Punkte-Konstellation widerlegt das geometrisch.
Ein MLP ohne nichtlineare Aktivierung gebaut — dann ist es trotz mehrerer Schichten nur linear.
Behauptet, das Perceptron konvergiere immer — nur auf LINEAR SEPARIERBAREN Daten.

LK-Vertiefung

eA-Vertiefung: Beweisen Sie geometrisch, dass XOR nicht linear separierbar ist, und skizzieren Sie eine MLP-Lösung mit zwei verdeckten Neuronen.

Aktive Wiederholung

Berechnen Sie einen Trainingsschritt eines Perceptrons mit w₁ = w₂ = 0.5, θ = 0.7, η = 0.1 für die AND-Eingabe (1, 1) mit Zielwert 1.

Aktiv abrufen

Erinnere dich an die Kernpunkte — dann aufdecken.

KI in der Gesellschaft — Bias, Recht, Ökologie#

StandardKMK-EPA-Inf-BewertenNRW-IF6BY-Inf-8

Algorithmischer Bias bezeichnet die systematische Benachteiligung von Gruppen durch ein Modell — meist nicht aus Absicht, sondern weil es aus verzerrten Trainingsdaten lernt oder durch Modellierungsentscheidungen geprägt ist. Lernt ein Modell aus historischen Daten, die gesellschaftliche Ungleichheit enthalten, kann es diese reproduzieren und sogar verstärken. Dokumentierte Fälle sind das US-Rückfallrisiko-System COMPAS (ProPublica 2016 fand höhere Falsch-Positiv-Raten für Schwarze Angeklagte) und Gesichtserkennung mit deutlich höheren Fehlerraten bei dunkelhäutigen und weiblichen Gesichtern (Studie „Gender Shades", 2018). Bias ist daher kein rein technisches, sondern ein sozio-technisches Problem.

Um Fairness zu messen, gibt es konkurrierende Fairness-Metriken: Demographic Parity (gleiche Positiv-Rate über Gruppen), Equal Opportunity (gleiche Richtig-Positiv-Rate) und Equalized Odds (gleiche Richtig- und Falsch-Positiv-Rate). Das Unmöglichkeitstheorem (Kleinberg et al. 2016; auch Chouldechova) zeigt: Wenn sich die Grundraten zwischen Gruppen unterscheiden, lassen sich Kalibrierung und gleiche Fehlerraten nicht gleichzeitig erfüllen — Fairness erzwingt unvermeidbare Zielkonflikte, deren Auflösung eine Wertentscheidung ist, keine rein technische.

Der EU AI Act (2024 verabschiedet) reguliert KI risikobasiert in vier Stufen: unzulässig/verboten (z. B. Social Scoring, bestimmte biometrische Massenüberwachung), hohes Risiko (Medizin, Justiz, Personalauswahl, kritische Infrastruktur — mit strengen Auflagen zu Risikomanagement, Transparenz und menschlicher Aufsicht), begrenztes Risiko (z. B. Chatbots — Kennzeichnungs-/Transparenzpflicht) und minimales Risiko (die meisten Anwendungen, keine Sonderauflagen). Die Anforderungen verschärfen sich mit der Risikoklasse.

Urheberrecht: Rein KI-generierte Werke gelten in DE/EU derzeit nicht als urheberrechtlich geschützt, weil die nötige menschliche Schöpfung (Schöpfungshöhe) fehlt — ein KI-System ist kein Urheber. Umstritten ist dagegen das Urheberrecht an den Trainingsdaten: Der § 44b UrhG erlaubt Text und Data Mining, doch Rechteinhaber können sich diese Nutzung vorbehalten (Opt-out) — eine rechtlich noch in Bewegung befindliche Frage.

Die ökologische Bilanz wiegt schwer: Das Training großer Sprachmodelle verursacht erheblichen Energie- und CO₂-Aufwand — eine vielzitierte Schätzung beziffert das Training von GPT-3 auf etwa 552 t CO₂-Äquivalent (Patterson et al. 2021). Solche Zahlen schwanken je nach Methodik stark und befeuern die Green-AI-Debatte (Effizienz, Offenlegung des Verbrauchs, erneuerbare Energie); zu bedenken ist, dass auch der Inferenzbetrieb in der Summe ins Gewicht fällt — die Hauptlast liegt jedoch meist beim Training.

Auf dem Arbeitsmarkt verschiebt Automatisierung Tätigkeiten, statt Berufe einfach zu vernichten. Die vielzitierte Studie Frey/Osborne (2013) schätzte rund 47 % der US-Jobs als automatisierungsgefährdet; sie wurde kritisiert, weil sie ganze Berufe statt einzelner Tätigkeiten betrachtet — eine aufgabenbasierte OECD-Studie (2016) kam auf deutlich niedrigere Werte (etwa 9 %). Ehrliches Fazit: ein tiefgreifender Umbau, dessen Ausmaß umstritten ist.

Typische Fehler

Bias als rein „technisches Problem" abgetan — er ist daten- und gesellschaftsbedingt (sozio-technisch).
KI-generierte Werke pauschal als urheberrechtlich geschützt bezeichnet — es fehlt die menschliche Schöpfung.
Behauptet, man könne alle Fairness-Metriken zugleich erfüllen — das Unmöglichkeitstheorem widerlegt das bei unterschiedlichen Grundraten.
Energiekosten nur der Inferenz zugeschrieben — die Hauptlast trägt meist das Training.
Die Frey/Osborne-Zahl (47 %) unkritisch als Tatsache zitiert, ohne die Kritik (Tätigkeit vs. Beruf) zu nennen.

LK-Vertiefung

eA-Vertiefung: Diskutieren Sie das Impossibility-Theorem zur algorithmischen Fairness und zeigen Sie an einem Datensatz, warum Demographic Parity und Equalized Odds nicht gleichzeitig gelten können.

Aktive Wiederholung

Erörtern Sie an einem konkreten Beispiel (z.B. KI-gestützte Bewerbungsauswahl) die Chancen und Risiken eines Einsatzes; nehmen Sie auf mindestens zwei Fairness-Konzepte Bezug.

Aktiv abrufen

Erinnere dich an die Kernpunkte — dann aufdecken.

Cybersicherheit, Datenschutz und digitale Mündigkeit#

StandardNRW-IF6BY-Inf-8

Die Schutzziele der IT-Sicherheit fasst die CIA-Triade zusammen: Vertraulichkeit (Confidentiality — nur Befugte lesen die Daten), Integrität (Integrity — Daten werden nicht unbemerkt verändert) und Verfügbarkeit (Availability — Daten/Dienste sind bei Bedarf erreichbar), oft ergänzt um Authentizität (echte Herkunft) und Nicht-Abstreitbarkeit. Diese Trias ist das Grundvokabular: Jede Schutzmaßnahme dient einem dieser Ziele, und jeder Angriff lässt sich danach einordnen, welches Ziel er bedroht.

Angriffsklassen lassen sich nach Wirkprinzip ordnen: Malware umfasst Viren (brauchen einen Wirt/Träger), Würmer (verbreiten sich autonom über Netze), Trojaner (tarnen sich als nützlich) und Ransomware (verschlüsselt Daten und erpresst Lösegeld); Phishing/Social Engineering manipuliert den Menschen statt der Technik; Man-in-the-Middle belauscht/verändert die Kommunikation; DDoS überflutet einen Dienst, um die Verfügbarkeit zu brechen; SQL-Injection und Cross-Site-Scripting schleusen Schadcode in Web-Anwendungen ein; ein Zero-Day-Exploit nutzt eine noch unbekannte, ungepatchte Lücke. Klausurtechnik: jeden Angriff dem bedrohten CIA-Ziel zuordnen (DDoS → Verfügbarkeit, Abhören → Vertraulichkeit, Manipulation → Integrität).

Weil kein einzelner Schutz genügt, setzt man auf Defense in Depth — mehrere gestaffelte Schichten: Firewall, IDS/IPS, Verschlüsselung, Backups, Patch-Management und Schulung der Nutzenden. Die Redundanz sorgt dafür, dass das Versagen einer Schicht nicht gleich das ganze System öffnet; Backups sind dabei die wirksamste Einzelmaßnahme gegen Ransomware.

Das modernere Zero-Trust-Prinzip („never trust, always verify") gewährt kein implizites Vertrauen aufgrund der Netzposition: Jede Anfrage wird authentifiziert, autorisiert und verschlüsselt, ergänzt um geringste Rechte (least privilege) und Mikrosegmentierung. Es löst das alte Perimeter-Modell („harte Schale, weicher Kern") ab, bei dem alles im internen Netz pauschal als vertrauenswürdig galt.

Auf der rechtlichen Ebene verlangt die DSGVO (siehe Topic Datenbanken) technische und organisatorische Maßnahmen (TOM), Datenminimierung und Zweckbindung, eine Meldepflicht binnen 72 Stunden bei einer Datenpanne sowie Privacy by Design/Default. Sie verbindet damit die technischen Schutzziele mit verbindlichen Pflichten.

Schließlich zielt digitale Mündigkeit auf die Bürgerebene: Menschen sollen Risiken einschätzen, Quellen prüfen und persönliche Daten bewusst freigeben können. Das ist in der KMK-Strategie „Bildung in der digitalen Welt" (2016, fortgeschrieben 2021) verankert und macht IT-Sicherheit zu einer Frage von Bildung und Verantwortung, nicht nur von Technik.

Typische Fehler

Virus und Wurm gleichgesetzt — ein Wurm verbreitet sich autonom, ein Virus benötigt einen Wirt.
Verfügbarkeit als Schutzziel übersehen — DDoS bedroht primär die Verfügbarkeit, nicht Vertraulichkeit/Integrität.
Phishing als rein technischen statt sozialen Angriff klassifiziert — es zielt auf den Menschen.
Zero Trust mit „Firewall am Netzrand" verwechselt — Zero Trust vertraut gerade KEINER Netzposition.
DSGVO als rein technische Vorgabe gelesen — sie verlangt technische UND organisatorische Maßnahmen samt 72-Stunden-Meldepflicht.

LK-Vertiefung

eA-Vertiefung: Zerlegen Sie einen mehrstufigen Ransomware-Angriff (Phishing-Einstieg → Rechteausweitung → Verschlüsselung → Erpressung) in seine Phasen, ordnen Sie jeder Phase das bedrohte CIA-Ziel und eine wirksame Defense-in-Depth-Schicht zu und begründen Sie, warum Offline-Backups und Nutzerschulung hier mehr bewirken als eine einzelne Firewall.

Aktive Wiederholung

Analysieren Sie einen Ransomware-Vorfall an einer Schule; ordnen Sie die betroffenen Schutzziele der CIA-Triade zu und schlagen Sie ein mehrstufiges Schutzkonzept vor.

Aktiv abrufen

Erinnere dich an die Kernpunkte — dann aufdecken.

Modelltraining — Verlustfunktion, Gradientenabstieg und Overfitting#

VertiefungNRW-IF6BY-Inf-8

Gradientenabstieg und Über-/Unteranpassung

Abb. 2Links: Gradientenabstieg läuft entlang der Fehlerfunktion ins Minimum. Rechts: Trainings- vs. Testfehler — der Abstand wächst bei Overfitting.

Lernen ist im Kern ein Optimierungsproblem: Man definiert eine Verlustfunktion (loss), die misst, wie sehr die Modellvorhersagen von den Sollwerten abweichen, und passt die Parameter so an, dass dieser Verlust über die Trainingsdaten minimal wird. Typische Verluste sind der mittlere quadratische Fehler (MSE) bei Regression und die Kreuzentropie bei Klassifikation — die Zielgröße, die der Optimierer nach unten treibt.

Der Gradientenabstieg minimiert den Verlust iterativ: Der Gradient ∇L zeigt in die Richtung des steilsten Anstiegs, also geht man einen Schritt entgegengesetzt — w ← w − η·∇L. Anschaulich steigt man in einer hügeligen Verlustlandschaft bergab in Richtung eines Minimums (siehe Abb. zum Gradientenabstieg). Die Lernrate η steuert die Schrittweite jedes Updates.

Die Lernrate η ist ein zentraler Hyperparameter: Ist sie zu groß, überspringt der Schritt das Minimum, der Verlust oszilliert oder divergiert; ist sie zu klein, konvergiert das Training quälend langsam und bleibt eher in flachen Stellen hängen. In der Praxis wird η oft im Verlauf verkleinert (Lernraten-Schedule).

Es gibt drei Varianten je nach Datenmenge pro Schritt: Batch-Gradientenabstieg (gesamter Datensatz pro Schritt — stabil, aber langsam und speicherintensiv), stochastischer Gradientenabstieg (ein einzelnes Beispiel — verrauscht, aber schnell und kann flachen Minima entkommen) und Mini-Batch (ein kleiner Stapel — der praktische Standard, der beides ausbalanciert); moderne Optimierer wie Momentum oder Adam verfeinern das.

Overfitting (Überanpassung) liegt vor, wenn das Modell das Rauschen der Trainingsdaten auswendig lernt: niedriger Trainings-, aber hoher Testfehler — schlechte Generalisierung. Underfitting ist das Gegenteil: Das Modell ist zu einfach, beide Fehler bleiben hoch. Diagnostiziert wird das an der Lücke zwischen Trainings- und Validierungs-/Testfehler.

Gegen Overfitting helfen mehr/bessere Daten, Regularisierung (L1/L2 bestrafen große Gewichte), Dropout (zufälliges Ausschalten von Neuronen im Training), Early Stopping (Abbruch, sobald der Validierungsfehler steigt), Cross-Validation und eine einfachere Architektur — dahinter steht der Bias-Varianz-Kompromiss. Disziplin bei der Datenaufteilung ist dabei entscheidend: Trainingsmenge (Parameter anpassen), Validierungsmenge (Hyperparameter wählen, Early Stopping) und Testmenge (einmalige Endbewertung) strikt trennen — fließt die Testmenge in die Modellwahl ein (Data Leakage), wird die Leistung unehrlich zu optimistisch geschätzt.

\mathbf{w} \leftarrow \mathbf{w} - \eta\,\nabla_{\mathbf{w}} L

Gradientenabstieg

η Lernrate, ∇_w L Gradient der Verlustfunktion L nach den Gewichten w; die Parameter werden iterativ entgegen dem Gradienten angepasst, um L zu minimieren.

Musterlösung

Einzelner Perceptron-Lernschritt mit Schwellwert

Berechnen Sie einen Trainingsschritt eines Perceptrons mit w1 = w2 = 0,5, Schwellwert θ = 0,7, Lernrate η = 0,1 für die AND-Eingabe (1, 1) mit Zielwert t = 1.

Schritt 1 — Netzeingabe berechnen
net = w1·x1 + w2·x2 − θ = 0,5·1 + 0,5·1 − 0,7 = 0,3.
Schritt 2 — Aktivierung anwenden
Schwellwertfunktion: net = 0,3 ≥ 0 → Ausgabe y = 1. Zielwert t = 1.
Schritt 3 — Lernregel auswerten
Fehler (t − y) = 1 − 1 = 0. Damit Δw_i = η·(t − y)·x_i = 0 für beide Gewichte; keine Anpassung nötig.
$w_i \leftarrow w_i + \eta\,(t - y)\,x_i$
Perceptron-Lernregel
η Lernrate, t Zielwert, y aktueller Output, x_i Eingabe; das Gewicht wird nur bei Fehlklassifikation angepasst.
Schritt 4 — Interpretation
Das Perceptron klassifiziert (1,1) bereits korrekt; bei korrekter Klassifikation bleiben die Gewichte unverändert. Erst bei Fehlklassifikation greift die Anpassung.

Ergebnis: y = 1 = t; Fehler 0, daher keine Gewichtsänderung — die Eingabe (1,1) ist korrekt klassifiziert.

Typische Fehler

Validierungs- und Testmenge vermischt — die Testmenge darf die Modell-/Hyperparameterwahl nicht beeinflussen (Data Leakage).
Overfitting allein mit „zu wenige Daten" begründet — Ursache ist die zu hohe Modellkomplexität RELATIV zur Datenmenge.
Lernrate als unkritisch behandelt — sie entscheidet über Konvergenz oder Divergenz.
Trainingsfehler mit Generalisierungsfehler gleichgesetzt — niedriger Trainingsfehler heißt nicht gute Generalisierung.
Gradient in falscher Richtung angewandt (w ← w + η·∇L) — das maximiert den Verlust.

LK-Vertiefung

eA-Vertiefung: Leiten Sie für die lineare Regression mit MSE-Verlust die Gradienten nach den Gewichten her und geben Sie die Aktualisierungsregel eines Gradientenabstiegsschritts an.

Aktive Wiederholung

Analysieren Sie ein Modell mit niedrigem Trainings- und hohem Testfehler; beurteilen Sie das Phänomen und schlagen Sie zwei begründete Gegenmaßnahmen vor.

Aktiv abrufen

Erinnere dich an die Kernpunkte — dann aufdecken.

Generative KI, Transformer und große Sprachmodelle#

StandardNRW-IF6BY-Inf-8BW-Inf-9

Generative Modelle erzeugen neue Inhalte (Text, Bild, Code), indem sie die zugrunde liegende Datenverteilung modellieren, statt Eingaben nur zu klassifizieren (diskriminative Modelle). Prominente Beispiele sind große Sprachmodelle (LLM) für Text und Diffusionsmodelle für Bilder. Die Abgrenzung generativ vs. diskriminativ ist die übliche Einordnungsfrage.

Die Transformer-Architektur (Vaswani et al., „Attention Is All You Need", 2017) verarbeitet Sequenzen parallel über Self-Attention, statt sie wie RNN/LSTM sequenziell durchzugehen. Self-Attention gewichtet für jedes Token, wie stark es sich auf jedes andere Token bezieht, und bildet so eine kontextabhängige Darstellung — das erfasst weitreichende Abhängigkeiten (etwa worauf sich ein Pronomen bezieht) und ist voll parallelisierbar, was das Training auf riesigen Datenmengen erst möglich macht. Sie ist die Grundlage moderner LLMs.

Ein LLM wird auf riesigen Textmengen darauf trainiert, das nächste Token (eine Teilwort-Einheit) aus dem vorangehenden Kontext vorherzusagen; bei der Erzeugung hängt es jeweils das wahrscheinlichste/abgetastete Token an und wiederholt das (autoregressiv). Aus diesem schlichten Ziel entsteht erstaunlich breites statistisches Sprach- und „Weltwissen" — aber kein echtes Verständnis und keine Faktendatenbank: Das Modell schätzt Wahrscheinlichkeiten von Token-Folgen.

Daraus folgt das Phänomen der Halluzinationen: Das Modell erzeugt plausibel klingende, aber falsche Aussagen, weil es Wahrscheinlichkeit, nicht Wahrheit optimiert. LLM-Ausgaben müssen deshalb stets geprüft werden und taugen für sich genommen nicht als verlässliche Faktenquelle — ein zentraler Beurteilungspunkt der Klausur.

Das Training verläuft in Phasen: Im Pretraining lernt das Modell selbstüberwacht auf Rohtext (Vorhersage des nächsten Tokens), im Feintuning wird es auf konkrete Aufgaben/Daten nachtrainiert, und mit RLHF (Reinforcement Learning from Human Feedback) werden die Ausgaben an menschliche Präferenzen ausgerichtet. Jede Phase formt das Verhalten — Pretraining schafft das Grundwissen, RLHF die „Hilfsbereitschaft" und Sicherheit.

Die Grenzen und Risiken sind klausurrelevant: Verzerrungen aus den Trainingsdaten (vgl. Abschnitt KI in der Gesellschaft), fehlende Quellentransparenz, Datenschutz, Urheberrecht der Trainingsdaten und ein hoher Ressourcen-/Energiebedarf — dazu neue Angriffsflächen wie Prompt Injection und die Gefahr der unkritischen Überabhängigkeit.

Typische Fehler

LLMs ein „Verständnis" oder „Bewusstsein" zugeschrieben — sie modellieren Wahrscheinlichkeiten von Token-Folgen.
Ausgaben unkritisch als Faktenquelle übernommen, ohne die Halluzinationsgefahr zu nennen.
Transformer mit RNN/LSTM gleichgesetzt — Self-Attention ersetzt die Rekurrenz und verarbeitet parallel.
Pretraining (selbstüberwacht auf Rohtext) und Feintuning (auf konkrete Aufgaben) verwechselt.
Generative und diskriminative Modelle vermengt — Letztere erzeugen keine neuen Inhalte.

LK-Vertiefung

eA-Vertiefung: Diskutieren Sie, inwiefern RLHF die Ausgaben eines Sprachmodells an menschliche Präferenzen ausrichtet und welche neuen Verzerrungen dabei entstehen können.

Aktive Wiederholung

Erläutern Sie das Grundprinzip eines großen Sprachmodells (Vorhersage des nächsten Tokens) und beurteilen Sie an einem Beispiel, warum die Ausgaben nicht ungeprüft als Faktenquelle dienen dürfen.

Aktiv abrufen

Erinnere dich an die Kernpunkte — dann aufdecken.