Big Data: ¿cómo lidiar con la diversidad de formatos?

Actualmente, se está realizando en São Paulo la Fiesta Universitaria Brasil 2016, un evento tecnológico que reúne a comunidades con intereses tan diversos como el entretenimiento y el desarrollo de herramientas y uso de internet para la transformación social. Es considerado el evento tecnológico más importante del país, brindando un entorno para el intercambio de conocimientos y la difusión de innovaciones. Leyendo sobre el evento, recordé un video reciente, publicado por TEDx New York, donde el científico de datos Ben Wellington habla sobre el potencial del uso de Big Data para la transformación social y la necesidad de cierta estandarización en el formato de datos para aprovechar al máximo it.de la información disponible.

Vídeo 1 – Cómo encontramos el peor lugar para estacionar en Nueva York usando Big Data

fuente: TEDx Nueva York

En el Video 1, Ben cita numerosos ejemplos de Insights que obtuvo de los datos puestos a disposición por los ayuntamientos de Nueva York, dentro de un proyecto de visibilidad y datos abiertos iniciado por el alcalde Bloomberg. Sin embargo, critica la falta de estandarización de datos y el uso excesivo de la extensión Portable Document Format (pdf) en la divulgación de información que podría estar disponible en Excel o en formato de valores separados por comas (csv), lo que dificulta extraer y analizar la información.

Este es, sin duda, un gran desafío para el uso de Big Data en la toma de decisiones empresariales. A pesar de estar disponibles, los datos solo se vuelven valiosos cuando se transforman en información relevante y se ponen a disposición de los tomadores de decisiones. Por lo tanto, existen tres grandes desafíos cuando se trata de la complejidad de los flujos de información, que requiere el análisis e interpretación de una cantidad cada vez mayor de información (volumen), proveniente de diferentes fuentes y en diferentes formatos (variedad) y ponerla a disposición prácticamente en en tiempo real para un gran número de partes interesadas (velocidad).

Entre esos desafíos, hoy la principal dificultad parece ser trabajar y cruzar datos en los más diferentes formatos, como textos, base de datos, hojas de cálculo, audio, video, transacciones financieras, registros de medidores y sensores, entre otros. Gran parte de estos datos no están en formato numérico, lo que requiere herramientas de análisis nuevas y sofisticadas, y pocas empresas pueden usarlas de manera consistente. Esto refuerza el llamamiento de Ben para avanzar en la construcción de reglas para la estandarización de la información y el deseo de que la Campus Party sea un éxito y se puedan crear nuevos robots de búsqueda y análisis de la información que nos ayuden a avanzar en el uso del Big Data.

referencia

<https://www.ted.com/talks/ben_wellington_how_we_found_the_worst_place_to_park_in_new_york_city_using_big_data?language=pt-br>

<https://pt.wikipedia.org/wiki/Campus_Party_Brasil>

HILBERT, M.; LÓPEZ, P. La capacidad tecnológica mundial para almacenar, comunicar y computar información. Revista de ciencia, vol. 332, núm. 6025, pág. 60–65, 2011.

MANYIKA, J.; CHUI, M.; MARRÓN, B.; et al. Big data: la próxima frontera para la innovación, la competencia y la productividad. Instituto Global McKinsey, páginas 1–137, 2011.