Softmax-Funktion & Temperatur Visualisierung

Die Temperatur in einem Large Language Model (LLM) ist ein Hyperparameter, der die Zufälligkeit oder "Kreativität" bei der Textgenerierung steuert. Hier ist, was Temperatur in diesem Kontext bedeutet:
Eine höhere Temperatur (z.B. 0,8-1,0):

Erhöht die Zufälligkeit in den Antworten
Führt zu vielfältigeren und überraschenderen Formulierungen
Kann kreativere Ergebnisse erzeugen, aber auch inkonsistentere

Eine niedrigere Temperatur (z.B. 0,1-0,3):

Macht die Antworten deterministischer
Das Modell wählt wahrscheinlichere Token mit höherer Konsequenz
Führt zu konsistenteren, vorhersehbareren Ergebnissen

Technisch gesehen wird die Temperatur als Skalierungsfaktor auf die Logits (Wahrscheinlichkeitsverteilungen vor Softmax) angewendet. Eine höhere Temperatur "glättet" die Wahrscheinlichkeitsverteilung, während eine niedrigere Temperatur sie "verschärft", sodass wahrscheinlichere Tokens noch wahrscheinlicher werden. Die optimale Temperatureinstellung hängt vom Anwendungsfall ab: Für kreative Aufgaben wie Storytelling kann eine höhere Temperatur besser sein, während für faktenbasierte oder präzise Antworten eine niedrigere Temperatur vorzuziehen ist.

Die Softmax-Funktion wandelt beliebige Zahlen (Logits) in eine Wahrscheinlichkeitsverteilung um, die zusammen 100% ergibt. Die Temperatur kontrolliert, wie "scharf" oder "weich" diese Verteilung ist:

Niedrige Temperatur (nahe 0): Verstärkt Unterschiede, höchster Wert dominiert
Hohe Temperatur (>1): Glättet Unterschiede, gleichmäßigere Verteilung

Die Softmax-Formel

Die Softmax-Funktion wandelt einen Vektor von n reellen Zahlen z_i (Logits) in einen Wahrscheinlichkeitsvektor p_i um, wobei die Summe aller Wahrscheinlichkeiten 1 ergibt.

Für einen Vektor z = [z₁, z₂, ..., z_n] ist die Softmax-Funktion definiert als:

p_i = softmax(z)_i = e^z_i/T ∑ e^z_j/T

wobei:

p_i = Wahrscheinlichkeit für Option i
z_i = Logit-Wert für Option i
e = Eulersche Zahl (≈ 2,71828)
T = Temperaturparameter
∑ = Summe über alle Optionen

In der Praxis wird oft aus numerischen Stabilitätsgründen der größte Logit-Wert subtrahiert:

p_i = e^{(z_i - max(z))/T} ∑ e^{(z_j - max(z))/T}

Einfluss der Temperatur T

T → 0 (kalte Temperatur): Die Wahrscheinlichkeit konzentriert sich fast vollständig auf den höchsten Logit-Wert (deterministische Auswahl)
T = 1 (Standardtemperatur): Normale Softmax-Transformation
T → ∞ (heiße Temperatur): Alle Wahrscheinlichkeiten nähern sich 1/n an (gleichmäßige Verteilung)

Softmax-Funktion & Temperatur Visualisierung

Die Softmax-Formel

Einfluss der Temperatur T

Einstellungen

Visualisierung

Eingangslogits

Softmax-Ausgabe (Wahrscheinlichkeiten)

Einfluss der Temperatur