Data Mining - Data, measurements, and data preprocessing
42 flashcards · Computer Science · by ehartl
Begriff: Datenpräprozessierung
Die Datenpräprozessierung bezieht sich auf den Prozess der Vorbereitung und Bereinigung der Daten vor dem eigentlichen Data Mining. Dazu gehören Schritte wie Datenintegration, Datenbereinigung, Datenreduktion und Datenprojektion.
Begriff: Datenintegration
Die Datenintegration bezieht sich auf den Prozess der Kombination von Daten aus unterschiedlichen Quellen zu einer einzigen, konsistenten Datenquelle. Dies kann Herausforderungen wie Inkonsistenzen in Bezug auf Datenformate, -werte und -strukturen mit sich bringen.
Begriff: Datenbereinigung
Die Datenbereinigung beinhaltet die Entfernung von fehlerhaften, unvollständigen, inkonsistenten oder unerwünschten Daten. Dieser Schritt zielt darauf ab, die Datenqualität zu verbessern und die Zuverlässigkeit der Analyseergebnisse zu gewährleisten.
Begriff: Datenreduktion
Die Datenreduktion zielt darauf ab, die Datenmenge zu reduzieren, indem irrelevante oder redundante Informationen entfernt werden. Dies kann durch Sampling, Attributselektion oder Dimensionsreduktion erreicht werden.
Begriff: Datenprojektion
Die Datenprojektion bezieht sich auf den Prozess der Transformation der Daten in eine neue Repräsentation, um bestimmte Aspekte oder Merkmale hervorzuheben. Dies kann zum Beispiel durch Dimensionsreduktion oder Merkmalsextraktion erfolgen.
Begriff: Attributselektion
Die Attributselektion bezieht sich auf den Prozess der Auswahl der relevantesten Merkmale oder Attribute für die Analyse. Dies hilft, die Komplexität der Daten zu reduzieren und die Genauigkeit der Modelle zu verbessern.
Begriff: Datenintegrationstechniken
Beispiel: Datenfusion, Datenverknüpfung, Datenkonsolidierung.
Begriff: Datenbereinigungstechniken
Beispiel: Behandlung von fehlenden Werten, Fehlererkennung und -korrektur, Behandlung von Ausreißern.
Begriff: Datenreduktionstechniken
Beispiel: Aggregation, Sampling, Dimensionalitätsreduktion (z. B. Hauptkomponentenanalyse).
Begriff: Datenprojektionstechniken
Beispiel: Lineare Transformation, Nichtlineare Transformation (z. B. t-SNE), Merkmalsextraktion.
Begriff: Datenqualität
Definition: Datenqualität bezieht sich auf die Genauigkeit, Vollständigkeit, Konsistenz und Aktualität der Daten. Eine hohe Datenqualität ist entscheidend für verlässliche und aussagekräftige Analysen und Entscheidungsfindungen.
Begriff: Fehlende Daten
Definition: Fehlende Daten sind Datenpunkte oder Werte, die in einer Datenquelle fehlen. Der Umgang mit fehlenden Daten ist eine wichtige Aufgabe der Datenpräprozessierung und erfordert geeignete Methoden zur Behandlung oder Imputation der fehlenden Werte.
Begriff: Datenqualität
Definition: Datenqualität bezieht sich auf die Genauigkeit, Vollständigkeit, Konsistenz und Aktualität der Daten. Eine hohe Datenqualität ist entscheidend für verlässliche und aussagekräftige Analysen und Entscheidungsfindungen.
Begriff: Ausreißererkennung
Definition: Ausreißer sind ungewöhnliche oder abnormale Datenpunkte, die sich stark von den anderen Daten unterscheiden. Die Ausreißererkennung zielt darauf ab, solche Ausreißer zu identifizieren, um ihre potenzielle Auswirkung auf die Analyseergebnisse zu bewerten.
Begriff: Normalisierung
Definition: Die Normalisierung ist eine Datenpräprozessierungstechnik, bei der die Daten auf eine bestimmte Skala oder Verteilung transformiert werden. Dies erleichtert den Vergleich und die Konsistenz der Daten, insbesondere wenn unterschiedliche Maßeinheiten oder Wertebereiche vorhanden sind.
Begriff: Aggregation
Definition: Die Aggregation ist eine Datenreduktionstechnik, bei der Daten aggregiert oder zusammengefasst werden, um eine höhere Ebene von Abstraktion oder Granularität zu erreichen. Dies kann beispielsweise durch das Zusammenfassen von Daten auf einer höheren zeitlichen oder räumlichen Ebene erfolgen.
Begriff: Sampling
Definition: Das Sampling bezieht sich auf die Auswahl einer Teilmenge von Daten aus der Gesamtpopulation. Dies wird oft angewendet, um die Datenmenge zu reduzieren und die Effizienz des Data Mining-Prozesses zu verbessern. Es gibt verschiedene Sampling-Methoden wie zufälliges Sampling, stratifiziertes Sampling oder Cluster-Sampling.
Begriff: Merkmalsextraktion
Definition: Die Merkmalsextraktion bezieht sich auf den Prozess der Umwandlung der vorhandenen Merkmale oder Attribute in eine neue, kompaktere Darstellung. Dies kann durch mathematische Techniken wie Hauptkomponentenanalyse (PCA) oder lineare Diskriminanzanalyse (LDA) erreicht werden.
Begriff: Redundanz
Definition: Redundanz bezieht sich auf das Vorhandensein von ähnlichen oder überflüssigen Informationen in den Daten. Die Identifizierung und Entfernung redundanter Daten kann die Datenqualität verbessern und die Effizienz des Data Mining-Prozesses steigern.
Begriff: Diskretisierung
Definition: Die Diskretisierung bezieht sich auf den Prozess der Umwandlung von kontinuierlichen Daten in diskrete Kategorien oder Intervalle. Dies kann helfen, die Komplexität der Daten zu reduzieren und den Umgang mit kontinuierlichen Merkmalen zu erleichtern.
Begriff: Schema-Integration
Definition: Die Schema-Integration bezieht sich auf den Prozess der Zusammenführung von Daten aus unterschiedlichen Datenquellen mit unterschiedlichen Datenstrukturen und -formaten. Dies erfordert die Zuordnung von Attributen, die Vereinheitlichung von Schemata und die Behandlung von Inkonsistenzen.
Begriff: Datenfusion
Definition: Die Datenfusion bezieht sich auf den Prozess der Zusammenführung von Daten aus verschiedenen Quellen, um eine einheitliche und umfassendere Datensicht zu erhalten. Dies kann durch das Zusammenführen von Datensätzen, das Entfernen von Duplikaten oder das Aggregieren von Informationen erreicht werden.
Begriff: Datenverknüpfung
Definition: Die Datenverknüpfung bezieht sich auf den Prozess des Zusammenführens von Daten, die aus verschiedenen Quellen stammen, aber gemeinsame Schlüssel oder Attribute aufweisen. Dies ermöglicht die Kombination von Informationen und die Erstellung von Beziehungen zwischen den Daten.
Begriff: Duplikaterkennung und -entfernung
Definition: Die Duplikaterkennung und -entfernung bezieht sich auf den Prozess der Identifizierung und Beseitigung von doppelten oder redundanten Datensätzen. Dies hilft, Datenintegrität und -qualität sicherzustellen und die Genauigkeit der Analyseergebnisse zu verbessern.
Begriff: Datenkompression
Definition: Die Datenkompression bezieht sich auf den Prozess der Reduzierung der Speichergröße von Daten, während möglichst wenig Informationen verloren gehen. Dies kann durch verschiedene Techniken wie Huffman-Codierung, Run-Length-Codierung oder Lempel-Ziv-Welch (LZW)-Codierung erreicht werden.
Begriff: Datenverständnis
Definition: Das Datenverständnis bezieht sich auf den Prozess des Erforschens und Verstehens der Daten, ihrer Eigenschaften, Muster und Beziehungen. Dies umfasst die Analyse der Metadaten, die Untersuchung der Verteilung von Attributen, die Identifizierung von Ausreißern und die Durchführung von explorativer Datenanalyse.
Begriff: Attributtypen
Beispiel: Nominal, ordinal, diskret, kontinuierlich, kategorial.
Begriff: Metadaten
Definition: Metadaten sind Informationen über Daten, die deren Beschreibung, Struktur, Herkunft, Bedeutung und Beziehungen zu anderen Daten beschreiben. Sie spielen eine wichtige Rolle bei der Datenverständnis und Datenmanagement.
Begriff: Datenvisualisierung
Definition: Die Datenvisualisierung bezieht sich auf die Darstellung von Daten in visueller Form, um Muster, Trends und Beziehungen besser zu verstehen und zu kommunizieren. Dies kann Diagramme, Graphen, Scatterplots, Heatmaps und andere visuelle Darstellungen umfassen.
Begriff: Explorative Datenanalyse
Definition: Die explorative Datenanalyse bezieht sich auf den Prozess der systematischen Untersuchung von Daten, um Muster, Strukturen und Zusammenhänge zu entdecken. Dies umfasst statistische Techniken, Visualisierungsmethoden und Hypothesengenerierung.
Begriff: Attributkorrelation
Definition: Die Attributkorrelation bezieht sich auf die Stärke und Richtung der Beziehung zwischen zwei oder mehreren Attributen. Dies kann mit statistischen Maßen wie dem Korrelationskoeffizienten gemessen werden, um Zusammenhänge oder Abhängigkeiten zwischen den Attributen zu identifizieren.
Begriff: Datenabhängigkeit
Definition: Die Datenabhängigkeit bezieht sich auf die Beziehung zwischen verschiedenen Attributen oder Datenpunkten. Es kann sich um funktionale Abhängigkeiten, zeitliche Abhängigkeiten, räumliche Abhängigkeiten oder andere Arten von Beziehungen handeln, die die Analyse und das Verständnis der Daten beeinflussen.
Begriff: Datenverteilung
Definition: Die Datenverteilung bezieht sich auf die Verteilung der Werte oder Merkmale in den Daten. Dies kann durch statistische Maße wie Mittelwert, Standardabweichung, Histogramm oder Wahrscheinlichkeitsdichtefunktion beschrieben werden.
Begriff: Datenwürfel
Definition: Ein Datenwürfel ist eine multidimensionale Datenstruktur, die zur Analyse und Zusammenfassung von Daten in OLAP (Online Analytical Processing) verwendet wird. Ein Datenwürfel ermöglicht die Aggregation von Daten entlang verschiedener Dimensionen, um komplexe Analysen und Abfragen durchzuführen.
Begriff: Datenanomalien
Definition: Datenanomalien sind ungewöhnliche oder abnormale Datenpunkte, die sich von der erwarteten Verteilung oder dem erwarteten Verhalten unterscheiden. Dies kann auf Fehler, Betrug, Ausreißer oder andere ungewöhnliche Ereignisse hinweisen und erfordert eine besondere Beachtung bei der Datenanalyse.
Begriff: Datenqualitätsmetriken
Beispiel: Vollständigkeit, Genauigkeit, Konsistenz, Aktualität, Relevanz.
Begriff: Datenzugriffsrechte
Definition: Datenzugriffsrechte definieren, wer auf bestimmte Daten zugreifen darf und welche Operationen erlaubt sind. Dies ist ein wichtiger Aspekt des Datenschutzes und der Datensicherheit, um unbefugten Zugriff auf sensible oder vertrauliche Daten zu verhindern.
Begriff: Datenverfügbarkeit
Definition: Datenverfügbarkeit bezieht sich auf die Verfügbarkeit von Daten zum Zeitpunkt, wenn sie benötigt werden. Dies umfasst Aspekte wie Datenspeicherung, Backup-Strategien, Wiederherstellungsmechanismen und die Gewährleistung eines reibungslosen Datenflusses in Echtzeit-Anwendungen.
Begriff: Datenvertraulichkeit
Definition: Datenvertraulichkeit bezieht sich auf den Schutz von sensiblen oder vertraulichen Daten vor unbefugtem Zugriff oder Offenlegung. Dies erfordert Maßnahmen wie Verschlüsselung, Zugriffskontrollen und Datenschutzrichtlinien, um die Vertraulichkeit der Daten zu gewährleisten.
Begriff: Datenintegrität
Definition: Datenintegrität bezieht sich auf die Genauigkeit, Konsistenz und Gültigkeit von Daten über ihren gesamten Lebenszyklus hinweg. Dies umfasst Maßnahmen zur Verhinderung von Datenmanipulation, Datenverfälschung oder Datenverlust.
Begriff: Datenverantwortung
Definition: Datenverantwortung bezieht sich auf die Verantwortung und Rechenschaftspflicht für den richtigen Umgang mit Daten. Dies beinhaltet Aspekte wie Datenschutz, Datenethik, Einhaltung von Vorschriften und den verantwortungsvollen Einsatz von Daten in Entscheidungsprozessen.
Begriff: Datenmanagement
Definition: Datenmanagement umfasst alle Aktivitäten, Prozesse und Technologien zur Verwaltung von Daten über ihren gesamten Lebenszyklus hinweg. Dazu gehören Datenerfassung, -speicherung, -verarbeitung, -integration, -analyse und -sicherheit. Das effektive Datenmanagement trägt zur Datenqualität, Datenverfügbarkeit und Datenintegrität bei und unterstützt datengesteuerte Entscheidungen und Geschäftsprozesse.