Visualizacion de Datos

69 flashcards · Computer Science · by Germán Gutierrez

Las herramientas de depuración y filtrado de datos
Desde la detección y eliminación de valores atípicos hasta la imputación de datos faltantes, pasando por la estandarización y normalización de datos, las herramientas de depuración y filtrado ofrecen un arsenal diverso de estrategias para abordar los desafíos de integridad y consistencia de los conjuntos de datos. Su aplicación precisa y efectiva no solo garantiza la fiabilidad de los análisis, sino que también facilita la generación de conclusiones certeras y la toma de decisiones fundamentada…
depuración y filtrado de datos
La depuración se centra en detectar y corregir problemas, como valores atípicos, datos faltantes o inexactitudes, mientras que el filtrado se enfoca en seleccionar y extraer datos relevantes para un análisis específico. Ambos procedimientos son fundamentales para garantizar la integridad, precisión y calidad de los datos, permitiendo que los análisis y las conclusiones se basen en información confiable y útil.
Existen varias herramientas que nos permiten realizar depuración y filtrado de datos entre ellas se encuentran
Open Refine. Power BI. R.
R
De acuerdo al tipo de datos queramos cambiar, utilizaremos diferentes comandos as.numeric(): Convierte a tipo de datos numérico. as.integer(): Convierte a tipo de datos entero. as.character(): Convierte a tipo de datos de caracteres (texto). as.factor(): Convierte a tipo de datos factor, útil para variables categóricas.
Herramientas de análisis y exploración
Las herramientas comunes utilizadas en esta fase incluyen tablas, gráficos y estadísticas descriptivas.
Comando nrow
Para conocer la cantidad de registros podemos utilizar el comando nrow, enviando como parámetro el dataframe bajo análisis.
Comando head()
En caso de que queramos ver los primeros registros del dataset (comando muy útil para dataset grandes) deberemos utilizar el comando head()
comando tail()
Comando que nos permite ver los últimos 5 registros del dataset.
comando summary()
Una vez conocidas las cuestiones básicas del dataset, tales como la cantidad de registros, los tipos de datos. Es importante realizar un análisis, utilizando estadística descriptiva. El comando summary() en R proporciona un resumen estadístico de las variables numéricas en un conjunto de datos. Cuando se aplica a un objeto de datos, como un marco de datos (dataframe) o una matriz que contiene variables numéricas, summary() ofrece información estadística útil sobre esas variables.
La salida de summary() incluye:
Mínimo: El valor mínimo de la variable. 1er Cuartil (Q1): El valor que separa el 25% más bajo de los datos. Mediana (Q2): El valor medio cuando los datos están ordenados de menor a mayor. Media: El promedio de los valores de la variable. 3er Cuartil (Q3): El valor que separa el 25% más alto de los datos. Máximo: El valor máximo de la variable. Además, summary() proporciona conteos para factores, mostrando la frecuencia de cada nivel para variables categóricas. Es una función muy útil para obten…
Comando mean()
Para calcular la mediana utilizamos el comando median()
Comandos en R
summary(): Proporciona un resumen estadístico básico de las variables numéricas en un conjunto de datos, mostrando el mínimo, 1er cuartil, mediana, media, 3er cuartil y máximo. Ejemplo: summary(datos). mean(): Calcula la media de los valores en un vector numérico. Ejemplo: mean(datos$columna). median(): Calcula la mediana de los valores en un vector numérico. Ejemplo: median(datos$columna). sd(): Calcula la desviación estándar de los valores en un vector numérico. Ejemplo: sd(datos$columna). va…
La exploración visual de datos:
La exploración visual de datos es un proceso que implica la representación gráfica y visualización de conjuntos de datos, con el objetivo de identificar patrones, tendencias, relaciones o anomalías presentes en los datos. Consiste en utilizar gráficos, diagramas y otros elementos visuales para entender la información contenida en los datos de manera más efectiva y comprensibl
Proposito de la exploración viual de datos:
El propósito principal de la exploración visual de datos es transformar datos complejos y abstractos en representaciones visuales más intuitivas y fáciles de comprender.
boxplot (gráfico)
Altamente útil para ver de manera visual datos que nos proporciona la estadística descriptiva; es una representación gráfica que proporciona una visualización rápida y efectiva de la distribución de un conjunto de datos numéricos. Este tipo de gráfico es útil para realizar las siguientes acciones: Resumir la distribución de los datos. Un boxplot muestra la dispersión y la centralización de los datos, destacando la mediana, los cuartiles y los valores atípicos. Identificar valores atípicos. Un b…
Los elementos principales de un boxplot son los siguientes:
Rectángulo (caja). Representa el rango intercuartílico (IQR), que abarca desde el primer cuartil (Q1) hasta el tercer cuartil (Q3). La línea en medio de la caja representa la mediana. Líneas (bigotes). Se extienden desde la caja hasta los valores atípicos que están dentro de 1.5 veces el IQR, desde el primer y tercer cuartil. Pueden llegar hasta los valores extremos que no son considerados atípicos. Puntos individuales. Representan valores atípicos que se encuentran más allá de los bigotes.
Con base en el boxplot, el análisis puntual de la variable «Ingreso» proporciona varias observaciones:
Mediana y rango intercuartílico (IQR). La mediana, representada por la línea dentro de la caja, está ubicada aproximadamente en el centro de la caja del boxplot. El rango intercuartílico, que abarca desde el primer cuartil (Q1) hasta el tercer cuartil (Q3), está entre alrededor de 75 000 y 105 000 dólares. Bigotes y valores atípicos. Los bigotes del boxplot sugieren que no hay valores atípicos presentes, ya que no hay puntos individuales fuera de los límites de estos. Dispersión y simetría. La…
Otro gráfico de gran utilidad para comprender los datos es la función pairs().
La función pairs() es útil para realizar las siguientes acciones: Visualizar relaciones entre variables. Permite identificar patrones visuales y relaciones entre diferentes variables del conjunto de datos. Identificar correlaciones. Facilita la identificación de correlaciones positivas, negativas o la ausencia de correlación entre las variables. Detectar patrones y valores atípicos. Ayuda a identificar patrones en la dispersión de datos y posibles valores atípicos. Análisis exploratorio rápido.…
Herramientas para gráficos y visualización de datos
La capacidad de crear gráficos y visualizaciones efectivas depende no solo de la elección adecuada del tipo de gráfico, sino también de la comprensión del público objetivo y del contexto en el que se presentan los datos. Desde simples barras y líneas hasta gráficos interactivos y tridimensionales, la variedad de herramientas y técnicas disponibles permite adaptar la representación visual para transmitir mensajes precisos y convincentes. En resumen, los gráficos y la visualización de datos son h…
Gráfico de barras
Analizando el gráfico, podemos ver que en el set de datos el nivel educativo se distribuye de manera uniforme. Otro gráfico que se puede realizar es un gráfico de dispersión. Un gráfico de dispersión podría mostrar la relación entre «Edad» e «Ingresos». Esto permitiría observar si hay alguna tendencia o patrón entre la edad y los ingresos.
Gráfico de dispersión
A partir del gráfico realizado, podemos ver una relación positiva entre la edad y los ingresos de las personas de la muestra.
Gráfico circular / gráfico de torta
Si el nivel educativo está segmentado en porcentajes, un gráfico circular podría ser útil para visualizar la distribución proporcional de los diferentes niveles educativos en el conjunto de datos. Aquí, podemos ver también la uniformidad en la distribución de la variable «Nivel_Educación». Otro gráfico de gran utilidad es el histograma, que representa la distribución de frecuencias de una variable numérica.
Histograma
En el gráfico realizado podemos observar que las edades se distribuyen uniformemente.
Selección adecuada de gráficos
La selección del gráfico adecuado depende en gran medida del objetivo de análisis, la naturaleza de los datos y la audiencia a la que va dirigida la información. Por tanto, explorar y comprender la diversidad de opciones en la visualización de datos puede enriquecer la capacidad de comunicar de manera efectiva la información contenida en los datos, permitiendo una interpretación más profunda y una toma de decisiones más informada.
Retos éticos inherentes al tratamiento de datos,
Desde la recopilación y manipulación de datos hasta su presentación final, se plantea la necesidad imperiosa de considerar aspectos éticos y salvaguardar la integridad de la información y la privacidad de las personas.
Uno de los terrenos donde la visualización de datos ha sido ampliamente adoptada es el periodismo
Uno de los terrenos donde la visualización de datos ha sido ampliamente adoptada es el periodismo. Las habilidades necesarias para crear visualizaciones de información verdaderamente efectivas no son innatas y se basan, en gran medida, en principios que deben ser adquiridos a través del aprendizaje.
Visualización de datos
Lejos de ser una tarea sencilla, demanda un enfoque multidisciplinario y la conjunción de habilidades especializadas que trascienden lo meramente técnico. Es un campo donde convergen la ciencia de los datos, el diseño, la comunicación visual y la comprensión contextual, siendo un desafío continuo que requiere un constante perfeccionamiento y actualización de competencias para alcanzar resultados impactantes y significativos.
Caso: Comercio electrónico y optimización de estrategias de marketing a través de análisis de datos
Problemas identificados - (caso baja de ventas durante lis años sin poder especificar las razones) Falta de comprensión profunda de los datos: no se ha realizado un análisis exhaustivo de los datos disponibles para identificar los factores que podrían estar contribuyendo a la disminución de las ventas. Limitaciones en la toma de decisiones informadas: el equipo de marketing carece de visualizaciones claras y significativas que les permitan identificar patrones, tendencias y oportunidades para m…
Caso: Comercio electrónico y optimización de estrategias de marketing a través de análisis de datos
Luego de analizar en profundidad el caso, podríamos realizar un pequeño paso a paso de cómo llevar adelante la solución. Análisis exhaustivo de los datos. Iniciarías un análisis detallado de los datos disponibles, investigando patrones de ventas a lo largo del tiempo, examinando la correlación entre campañas de marketing y picos de ventas, así como el comportamiento de los clientes en el sitio web en relacióncon las conversiones. Este enfoque profundo permitirá una comprensión más clara de los…
La efectividad de una visualización radica en la hábil combinación de:
*el aspecto visual *la idea *los datos. Así, como ilustra el gráfico, emergen competencias vitales en legibilidad, lógica, usabilidad y la incorporación de valores fundamentales como la simplicidad, la informatividad y la relevancia. La visualización de datos no se limita a la presentación gráfica, sino que abarca una sinfonía de habilidades interdisciplinarias que convergen para ofrecer una narrativa visual clara y precisa. Exploraremos detenidamente cada uno de estos aspectos para comprender…
La segunda fase de todo proceso de visualización de datos es realizar la exploración de datos.
“Podríamos decir que esta segunda fase es la clave para las siguientes competencias: Buscar y recuperar información Filtrar y resaltar la información más relevante Sintetizar la información clave Relacionar la información semejante” (Alcalde, 2015).
Buscar y recuperar información:
Esta competencia implica la capacidad de localizar datos relevantes dentro de fuentes diversas y variadas. Consiste en utilizar estrategias efectivas para buscar información pertinente y confiable que se alinee con los objetivos de la visualización de datos. Implica la habilidad de utilizar diferentes fuentes de información, ya sean bases de datos, documentos, archivos digitales, o cualquier otro recurso relevante.
Filtrar y resaltar la información más relevante:
Aquí se trata de seleccionar y presentar solo los datos más importantes y significativos para el propósito específico de la visualización. Implica discernir entre la información relevante y la que no lo es, aplicando criterios específicos de selección. Además, resaltar visualmente los datos clave para que sean más visibles y destacados en la representación gráfica.
Sintetizar la información clave:
Esta competencia se enfoca en la habilidad de condensar y simplificar la información sin perder su significado esencial. Se trata de destilar los datos complejos en conceptos claros y comprensibles, facilitando su interpretación rápida y efectiva por parte del espectador. Consiste en extraer los aspectos fundamentales de los datos para comunicar la esencia de la información.
Relacionar la información semejante:
Implica la capacidad de identificar y establecer conexiones, patrones o relaciones entre diferentes conjuntos de datos o información similar. Consiste en encontrar similitudes, analogías o tendencias comunes entre distintos conjuntos de datos, lo que ayuda a revelar insights más profundos y a generar un nuevo entendimiento sobre los datos analizados.
A medida que el equipo gerencial busca identificar las razones detrás de esta disminución en las ventas, se dan cuenta de la necesidad de una revisión exhaustiva de la información almacenada.
Con base en el caso planteado, identifiquemos las competencias vistas. Buscar y recuperar información. El equipo inicia una exploración minuciosa de la base de datos, empleando consultas específicas para extraer datos relevantes. Centran su búsqueda en identificar patrones temporales, preferencias de compra en diferentes regiones y la relación entre la efectividad de las promociones y las ventas resultantes. Filtrar y resaltar la información más relevante. Una vez reunidos los datos, se enfocan…
Roles profesionales involucrados en la visualización de datos
Los roles identificados en el proceso son: el iniciador, el científico de datos, el periodista, el experto en programación, el diseñador, el científico cognitivo, el comunicador, el project manager.
El iniciador
Este rol representa a la persona líder y curiosa que genera las ideas y soluciones para resolver problemas específicos. Es un explorador nato que establece la dirección analítica del proyecto, definiendo el tono y los parámetros generales. Su enfoque innovador y su apertura a nuevas ideas resultan fundamentales para dar inicio al proyecto.
Científico de datos
El científico de datos se encarga de la adquisición, manipulación y preparación de los datos. Es el experto clave en la consolidación y calidad de los datos, realizando análisis iniciales fundamentales. Su labor radica en explorar y comprender los datos en su contexto para que sean utilizables en el proceso de visualización.
Periodista
El rol del periodista se centra en establecer el enfoque narrativo al contexto del problema que se aborda mediante la visualización. Formula las preguntas pertinentes y es el investigador clave que busca explicar la historia detrás de los datos. Su labor consiste en contextualizar y dar sentido a la información presentada.
Experto en programación
Este profesional se encarga de construir soluciones técnicas eficientes para la recolección y manipulación de datos, colaborando en las actividades previas a la creación de la visualización. Su función principal es garantizar la funcionalidad técnica del proyecto.
Diseñador
El diseñador posee habilidades visuales y creativas para garantizar la estética y armonía en la solución visual. Su responsabilidad principal radica en equilibrar la forma y la función, asegurando que la visualización sea atractiva y efectiva para el público.
Científico cognitivo
Este profesional se enfoca en la eficacia de la técnica y el diseño, basándose en la comprensión de la percepción visual y teorías cognitivas. Se familiariza con conceptos como la interacción humano-computadora, la memoria, la atención y la toma de decisiones para optimizar la visualización.
Comunicador
El comunicador actúa como enlace entre el cliente y el diseñador. Su capacidad para explicar conceptos técnicos a personas no técnicas y manejar las expectativas es fundamental. Se encarga de articular y comunicar efectivamente la visión del proyecto.
Project manager
El jefe de proyecto coordina las tareas y el progreso del proyecto, asegurando la coherencia, el cumplimiento de los plazos y el mensaje deseado. Es el responsable de la gestión general y garantiza la alineación con los objetivos establecidos.
Equipo de trabajo: personas y sus responsabilidades
Alejandro, estratega de proyectos: lidera la estrategia general del proyecto, establece los objetivos y dirige la coordinación entre los equipos. Bianca, analista de datos sénior: es la experta en la adquisición y manipulación de datos. Su enfoque está en la calidad y preparación de los datos para su uso en la visualización. Carmen, investigadora de mercado: se centra en entender las tendencias y preferencias de los consumidores. Su papel es identificar patrones y estructurar la narrativa en to…
Dado el caso anterior y descrito el equipo de trabajo, podríamos identificar los 8 roles de la siguiente manera.
Alejandro: iniciador. Lidera la estrategia y dirección del proyecto, estableciendo la visión global. Bianca: científico de datos. Se encarga de la adquisición y preparación de datos, asegurando la calidad y utilidad para la visualización. Carmen: periodista. Identifica patrones y estructura la narrativa alrededor de los datos del mercado. Diego: experto en programación. Desarrolla las soluciones técnicas necesarias para la manipulación eficiente de datos. Eva: diseñador. Crea interfaces atracti…
Fases del proceso
Todos estos roles profesionales no actúan durante todo el proceso, sino más bien en fases determinadas. Estas cinco fases principalmente son: Fase 1: Definición del propósito y parámetros iniciales. Fase 2: Preparación y exploración de los datos. Fase 3: Formulación de preguntas. Fase 4: Conceptualización del diseño. Fase 5: Construcción y lanzamiento.
Buenas prácticas en el trabajo con datos
La importancia de este tema radica en garantizar que el uso de datos se realice de manera ética, evitando posibles sesgos, discriminaciones o violaciones de privacidad que podrían surgir si no se aplican las mejores prácticas y consideraciones éticas pertinentes.
Visual Information Manifesto (2009)
A continuación, se enumeran los 10 principios de dicho manifiesto. La forma sigue a la función. Comienza con una pregunta. La interactividad es clave. Cita tus fuentes. El poder de la narrativa. No glorifiques la estética. Busca la relevancia. Acepta el tiempo. Aspira al conocimiento. Evita las visualizaciones injustificadas.
La forma sigue a la función
La forma no sigue a los datos. Los datos son incongruentes por naturaleza. La forma sigue a un propósito y, en el caso de la visualización de la información, la forma sigue a la revelación.
Comienza con una pregunta
Una gran cualidad para cualquiera que trabaje en el ámbito de la visualización de la información es ser curioso e inquisitivo. Cada proyecto debería comenzar con una pregunta. Una investigación que te lleve a descubrir ideas más profundas sobre el sistema, y, en el proceso, responder preguntas que ni siquiera estaban presentes al principio.
La interactividad es clave
"la Visualización de la Información es el uso de representaciones visuales, interactivas y compatibles con computadoras de datos abstractos para amplificar la cognición". Esta declaración bien conocida destaca cómo la interactividad es parte integral del ADN del campo. Cualquier proyecto de visualización de la información no solo debería facilitar la comprensión, sino también el análisis de los datos, de acuerdo con casos de uso específicos y objetivos definidos.
Cita tus fuentes
La visualización de la información, al igual que cualquier otro medio de comunicación de información, tiene el poder de mentir, omitir y ser deliberadamente sesgada. Para evitar cualquier malentendido, siempre debes citar tus fuentes.
El poder de la narrativa
A los seres humanos les encantan las historias y contarlas es una de las formas más exitosas y poderosas de aprender, descubrir y difundir información. Tu proyecto debería ser capaz de transmitir un mensaje y encapsular fácilmente una narrativa convincente.
No glorifiques la estética
“La estética es una cualidad importante para muchos proyectos de visualización de la información y un atractivo crítico a primera vista, pero siempre debería ser vista como una consecuencia y nunca como su objetivo final”
Busca la relevancia
Extraer relevancia de un conjunto de datos es uno de los objetivos más difíciles para cualquier máquina. Aquí es donde entran en juego las habilidades humanas naturales como el reconocimiento de patrones y el procesamiento paralelo. La relevancia también depende en gran medida del usuario final y del contexto de interacción. Si la proporción de relevancia es alta, puede aumentar la posibilidad de comprensión, asimilación y toma de decisiones.
Acepta el tiempo
El tiempo es una de las variables más difíciles de mapear en cualquier sistema. También es una de las más ricas. Si consideramos una red social, rápidamente nos damos cuenta de que una instantánea en el tiempo solo nos diría algo de información sobre la comunidad. Por otro lado, si el tiempo se ha medido y mapeado correctamente, nos proporcionaría una comprensión mucho más rica de la dinámica cambiante de ese grupo social. Siempre debemos considerar el tiempo cuando nuestro sistema objetivo se…
Aspira al conocimiento
Una capacidad central de la visualización de la información es traducir información en conocimiento. También es facilitar la comprensión y ayudar en la cognición. Cada proyecto debería apuntar a hacer que el sistema sea más inteligible y transparente, o encontrar una nueva idea o patrón explícito dentro de él. Siempre debería proporcionar una joya de conocimiento pulido.
Evita las visualizaciones injustificadas
Frente a la creciente cantidad de datos disponibles públicamente, la visualización de la información debe actuar como un filtro cognitivo, una lente potenciada de percepción, y nunca agregar más ruido al flujo. No asumas que cualquier visualización es un paso positivo. En el contexto de la visualización de la información, simplemente transmitir datos en forma visual, sin arrojar luz sobre el tema retratado o, peor aún, hacerlo más complejo, solo puede considerarse un fracaso.
¿Cuál es el propósito del Análisis Exploratorio de Datos (EDA)?
Conocer la estructura de los datos, identificar patrones y detectar problemas.
¿Qué tipo de gráfico es ideal para observar la distribución de una variable numérica?
Boxplot
¿Por qué es importante consolidar datos provenientes de múltiples fuentes?
Para obtener una versión unificada y consistente del dataset.
¿Qué formato de archivo es más liviano y ampliamente utilizado en ciencia de datos por su compatibilidad y estructura simple?
CSV
¿Cuál es una característica distintiva de Seaborn frente a Matplotlib?
Genera gráficos con estilos visuales predeterminados más profesionales.
¿Cuál de las siguientes afirmaciones sobre Pandas es correcta?
Permite manipular datos tabulares con eficiencia y flexibilidad.
¿Qué ventaja ofrece el formato Excel frente al CSV en algunos proyectos de datos?
Permite almacenar múltiples hojas en un mismo archivo.
¿Qué herramienta es más útil cuando se necesita detectar estructuras jerárquicas o anidadas en los datos?
JSON
Trabajas en un banco digital y eres responsable de manejar grandes volúmenes de datos almacenados en formato de archivos .zip, que contienen información bancaria importante. ¿Qué comando usarías para descomprimir, de manera silenciosa, un archivo llamado info.zip usando Linux?
unzip -q info.zip La bandera -q se utiliza para realizar operaciones de descompresión silenciosamente.