Data Cleansing?

Was data cleansing bedeutet ist mir von der Theorie her klar. Man entfernt fehlerhafte Daten aus Datenbanken. So weit so gut. Aber hat jemand damit tatsächlich praktische Erfahrung? Wie kann man sich das vorstellen?

Vor allem in riesigen Unternehmen kann man ja schlecht den Prakti 200.000 Daten auf ihre Aktualität und Richtigkeit prüfen lassen... oder?

Vielleicht ist das auch alles ganz einfach und ich habe gerade einen Denkfehler, eure Meinung/ Erfahrung würde mich trotzdem mal interessieren.

Man kann - je nach Situation - verschiedenste Algorithmen entwickeln um die Daten auf Auffälligkeiten zu prüfen. Alle auffälligen Daten könen dann nochmals separaten Prüfverfahren auf Plausibilität/Richtigkeit u.Ä. unterzogen werden. Auf die Art gehe ich solche Projekte i.d.R. an (wobei ich erst durch zufällig gefundene Auffälligkeiten darauf aufmerksam (gemacht) werde).

Hi,
wie Lambo-Benni bereits schrieb, wird idR ein Algorithmus angewandt um die Daten auf Auffälligkeiten zu überprüfen. Unternehmen verwenden dafür bestimmte Analyse Tools. Damit werden ohne großen Aufwand Redundanzen bei den Stammdaten erkannt. Des Weiteren werden unvollständige Datensätze sowie widersprüchliche Kausalitäten entdeckt und auch fehlerhafte Datensätze identifiziert und korrigiert.
Wenn Abweichungen festgestellt wurden beginnt das Data Cleansing. Dabei wird anfangs ein Qualitätslevel definiert und festgelegt, sodass das angestrebte Level so schnell wie möglich erreicht werden kann.
Diese Kontrolle und Datenbereinigung wird in regelmäßigen Abständen wiederholt.
Wie du siehst, sind solche Prozesse in Unternehmen fast vollständig automatisiert. Es braucht daher keinen Praktikanten der alle Daten manuell überprüfen muss... zum Glück.