Bei der Vorbereitung von Datensätzen für maschinelle Lernmodelle spielt die Skalierung der Daten eine zentrale Rolle. Viele Algorithmen arbeiten besser, wenn numerische Variablen eine ähnliche Größenordnung haben. Eine der häufigsten Methoden zur Skalierung ist die Standardisierung, auch als Z-Transformation bekannt.
Warum ist Standardisierung notwendig?
Viele maschinelle Lernalgorithmen sind empfindlich gegenüber der Skalierung von Merkmalen, insbesondere solche, die auf Distanzberechnungen basieren (z. B. k-Nearest-Neighbors, Support Vector Machines oder neuronale Netze). Unstandardisierte Daten können dazu führen, dass eine Variable mit großen Werten (z. B. Einkommen in Euro) andere Variablen mit kleineren Werten (z. B. Alter in Jahren) dominiert.
Die Standardisierung sorgt dafür, dass alle numerischen Merkmale die gleiche Mittelwert-Null-Varianz-Eins-Skalierung erhalten, was eine bessere Konvergenz und Performance der Modelle ermöglicht.
Wie funktioniert die Standardisierung?
Bei der Standardisierung wird jede Variable so transformiert, dass sie einen Mittelwert von 0 und eine Standardabweichung von 1 hat. Die Formel lautet:
Dabei ist:
- XX der ursprüngliche Wert,
- μ\mu der Mittelwert der Variable,
- σ\sigma die Standardabweichung der Variable.
Nach dieser Transformation sind die Daten z-transformiert, d. h., sie haben eine standardisierte Normalverteilung mit Mittelwert 00 und Standardabweichung 11.
Anwendung in Python
Die Standardisierung kann mit der StandardScaler-Klasse aus scikit-learn leicht umgesetzt werden:
import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
# Beispiel-Daten
data = {'Alter': [25, 35, 45, 55, 65], 'Einkommen': [30000, 50000, 70000, 90000, 110000]}
df = pd.DataFrame(data)
# Standardisierung
scaler = StandardScaler()
df_scaled = pd.DataFrame(scaler.fit_transform(df), columns=df.columns)
print(df_scaled)
Nach der Transformation haben alle Werte einen Mittelwert von 0 und eine Standardabweichung von 1.
Wann sollte man die Standardisierung verwenden?
✅ Empfohlen für Algorithmen, die von der Skalenabhängigkeit betroffen sind, z. B.:
- Lineare Modelle (z. B. lineare Regression, logistische Regression)
- Support Vector Machines (SVM)
- k-Nearest-Neighbors (k-NN)
- Principal Component Analysis (PCA)
- Neuronale Netze
🚫 Nicht erforderlich für baumbasierte Algorithmen, wie:
- Entscheidungsbäume
- Random Forest
- Gradient Boosting (z. B. XGBoost, LightGBM)
Diese Modelle sind nicht von der Skalierung der Eingabedaten abhängig, da sie Entscheidungen auf Basis von Splitpunkten treffen.
Standardisierung vs. Normalisierung: Wo liegt der Unterschied?
Oft wird die Standardisierung mit der Min-Max-Normalisierung verwechselt, die die Werte auf einen Bereich (z. B. [0,1]) skaliert. Der Unterschied:
- Standardisierung: Skaliert auf Mittelwert = 0, Standardabweichung = 1 (nützlich für Algorithmen, die mit Normalverteilung arbeiten).
- Normalisierung (Min-Max-Scaling): Skaliert die Werte auf einen festen Bereich, typischerweise [0,1] oder [-1,1].
Die Wahl der Methode hängt vom Modell und den Daten ab.
Fazit
Die Standardisierung ist eine essenzielle Vorverarbeitungstechnik für viele maschinelle Lernmodelle. Sie verbessert die Modellperformance, indem sie Features vergleichbar macht und numerische Instabilitäten reduziert. Besonders für Algorithmen, die mit Entfernungen oder Gradienten arbeiten, ist sie oft unerlässlich.
Bei der Datenvorbereitung sollte daher immer geprüft werden, ob eine Standardisierung sinnvoll ist – insbesondere für Modelle, die auf kontinuierlichen numerischen Variablen basieren.