El valor de la informacin: el reto del Big Data

Una introduccin al Big Data

y su impacto en la sociedad
Francisco Herrera
Grupo de Investigacin
Soft Computing y Sistemas de Informacin Inteligentes

Dpto. Ciencias de la Computacin e I.A.

Universidad de Granada
herrera@decsai.ugr.es
http://sci2s.ugr.es
Nuestro mundo gira en torno a los datos

Ciencia
Medicina
Ciencias Sociales y Humanidades
Negocio, Comercio e Industria
Entretenimiento y Ocio
La explosin de los datos

Exabytes: 1018 bytes.

La explosin de los datos
Zettabyes: 1021 bytes.
 Qu hacemos con estos datos?

El progreso y la innovacin ya no se ven

obstaculizados por la capacidad de recopilar datos,
sino por la capacidad de

Extraer el valor de los datos

Convertir datos en conocimiento

 El valor de la informacin: el
reto del Big Data

Por qu Big Data? Tecnologas para Big Data y

Big Data Analytics. Ciencia de Datos

El poder de los datos y su impacto en la sociedad

 El valor de la informacin: el
reto del Big Data

Por qu Big Data? Tecnologas para Big Data

y Big Data Analytics. Ciencia de Datos

El poder de los datos y su impacto en la sociedad

 Por qu Big Data?
Terabyte: 1012 bytes

Problema: Escalabilidad de grandes cantidades de datos

Ejemplo:
Exploracin 100 TB en 1 nodo @ 50 MB/sec = 23 das
Solucin Divide-Y-Vencers
Exploracin en un clster de 1000 nodos = 33 minutos

Cmo podemos procesar 1000 TB (1 PB) 10000 TB?

Propuesta de Google 2004:
Fragmentacin Datos
Paradigma MapReduce Procesamiento Paralelo
(aproximacin ms popular a big data) Fusin de Modelos
 Big Data

Big Data en 3 Vs

Volumen

Big
Data
Variedad Velocidad
Doug Laney, Gartner Feb. 6, 2001
3-D Data Management: Controlling Data Volume, Velocity and Variety.
Qu es Big Data? 3 Vs de Big Data

Some Make it 4Vs: Veracity

Big Data son datos cuyo volumen,

diversidad y complejidad requieren
nueva arquitectura, tcnicas,
algoritmos y anlisis para gestionar y
extraer valor y conocimiento oculto en
ellos ...
 Big Data: Tecnologa
2001-2010
2010-2015 y Cronologa

2001
3Vs Gartner
Doug Laney
2009-2013 Flink 2010-2015:
2004
TU Berlin MapReduce
Flink Apache (Dec. Google Big Data
2014) Volker
Markl
Big Jeffrey Dean
Analytics:
Mahout, MLLib,

Data Hadoop
Ecosystem
2010 Spark 2008
U Berckeley Hadoop Aplicaciones
Apache Spark Yahoo!
Feb. 2014 Nuevas
Doug Cutting Tecnologas
Matei Zaharia
11
 Big Data Analytics Potentiales escenarios

Real Time Analytics/

Classification Big Data Streams
Clustering

Social Media Mining

Recommendation Social Big Data
Association
Systems
 Ciencia de Datos
mbito del conocimiento que engloba las habilidades
asociadas al anlisis inteligente de datos, incluyendo Big Data

Cientfico de datos
 El valor de la informacin: el
reto del Big Data

Por qu Big Data? Tecnologas para Big Data y Big

Data Analytics. Ciencia de Datos

El poder de los datos y su impacto en la sociedad

 Anlisis de transacciones El poder de los datos
Amazon: Sistema de recomendacin

Los datos incrementaron Crticos y editores literarios

tremendamente las ventas La voz de Amazon (1995)
Ahora ms de 1/3 de las ventas son
gracias a las recomendaciones

Dilema: Lo que los

clics decan o lo que
opinaban los
crticos?

Greg Linde (1997) propuso un

sistema de recomendaciones,
filtrado colaborativo
artculo a artculo
Fuente: Big Data. La revolucin de los datos masivos. Pag. 69. The power of habit, Charles Duhigg. Feb. 2012

Anlisis de transacciones
Disculpas Empresa.
Disculpas del padre,
confirmacin del
embarazo de la hija
Enfado de un padre: Su Hija
recibe publicidad de
productos para embarazadas
Accin: Envo de
cupones para cada
fase del embarazo
Fuente: Big Data. La revolucin de los datos masivos. Pag. 77
El poder de los datos
Modelo de prediccin de
clientes embarazadas por
medio de sus patrones de
compra.
v
Descubrimiento: Cremas
sin perfume al tercer mes.
Dos docenas de productos
Prediccin de fecha parto
Anlisis de transacciones: El poder de los datos

Un chivo expiatorio
Target (cadena de grandes almacenes) que utiliza el
anlisis de transacciones y asociaciones.

Unos das despus el director llam al padre para

disculparse.
Respuesta conciliadora del padre:
He estado hablando con mi hija dijo el padre
Resulta que en mi casa han tenido lugar ciertas
actividades de las que yo no estaba del todo
informado. Mi hija sale de cuentas en agosto. Soy
yo el que les debe una disculpa.

Fuente: Big Data. La revolucin de los datos masivos. Pag. 77.

 Analizando Twitter para medir la
Salud Pblica You Are What You Tweet

Un sistema de filtrado de datos de Twitter puede inferir

aspectos de salud analizando 144M de tuits (2011-2013)

Se obtienen 13 grupos coherentes de mensajes correlacionados

- Gripe estacional (r= 0.689) y alergias (r = 0.810)
- Ejercicio y obesidad relacionados con datos geogrficos, ..
Discovering Health Topics in Social Media Using Topic Models
Michael J. Paul, Mark Dredze, Johns Hopkins University, Plos One 9(8) e103408, 2014
doi:10.1371/journal.pone.0103408
 Banca: Identificacin de personas con
las compras de tarjetas de crdito
http://elpais.com/elpais/2015/01/29/ciencia/1422520042_066660.html

http://www.sciencemag.org/content/347/6221/536
 Banca: Identificacin de personas con
las compras de tarjetas de crdito

Identificacin por el gnero

Identificacin por el nmero de compras

Identificacin por el
poder adquisitivo
Impacto en la sociedad
Salud
Redes sociales como fuente de datos
Industria, comercio, banca,
Ocio y cultural (Ej. Recomendaciones)
Poltica
Bien social (Social good)
 Big Data: Gran Impacto en la Sociedad y
presencia en los medios de comunicacin

http://www.elmundo.es/elmundo/2013/09/03/navegante/1378243782.html
 Impacto Econmico

La demanda de profesionales
formados en Ciencia de Datos
y Big Data es enorme.

Se estima que la conversin de

datos en informacin til gener
un mercado de 132.000 millones
de dlares en 2015 y que se crearn
ms de 4.4 millones de empleos.

Espaa necesitaba para 2015 ms

de 60.000 profesionales con
formacin en Ciencia de Datos y Big
Data. http://economia.elpais.com/economia/2013/09/27/actualidad/1380
283725_938376.html
http://www.revistacloudcomputing.com/2013/10/espana-necesitara-60-000-profesionales-de-big-data-hasta-
2015/?goback=.gde_4377072_member_5811011886832984067#!
 El valor de la informacin: el
reto del Big Data

2 Lecturas rpidas: Sobre la tecnologa y

sobre el poder de los datos

Captulo 3.
http://issuu.com/secacult_uja/docs/libro_francisco_herrera.indd
Comentarios Finales

Nube de datos (Noviembre 2014)

Gracias!