Supercomputadoras procesan bigdata

las supercomputadoras que se usa para procesar datos bigdata
Supercomputadora
Una supercomputadora o un superordenador es aquella con capacidades de cálculo
muy superiores a las computadoras comunes y de escritorio y que son usadas con fines
específicos. Hoy día los términos de supercomputadora y superordenador están siendo
reemplazados por computadora de alto rendimiento y ambiente de cómputo de alto
rendimiento, ya que las supercomputadoras son un conjunto de poderosos ordenadores
unidos entre sí para aumentar su potencia de trabajo y rendimiento. Al año 2011, los
superordenadores más rápidos funcionaban en aproximadamente más de 1 petaflops(que
en la jerga de la computación significa que realizan más de 1000 billones de operaciones
por segundo). La lista de supercomputadoras se encuentra en la lista TOP500.
Características[editar]
Las principales son:
 Velocidad de procesamiento: miles de millones de instrucciones de coma flotante por

segundo.
 Usuarios a la vez: hasta miles, en entorno de redes amplias.
 Tamaño: requieren instalaciones especiales y aire acondicionado industrial.
 Dificultad de uso: solo para especialistas.
 Clientes usuales: grandes centros de investigación.
 Penetración social: prácticamente nula.
 Impacto social: muy importante en el ámbito de la investigación, ya que provee
cálculos a alta velocidad de procesamiento, permitiendo, por ejemplo, calcular en
secuencia el genoma humano, número π, desarrollar cálculos de problemas físicos
dejando un margen de error muy bajo, etc.
 Parques instalados: menos de un millar en todo el mundo.
 Hardware: Principal funcionamiento operativo
Principales usos[editar]
Las supercomputadoras se utilizan para abordar problemas muy complejos o que no
pueden realizarse en el mundo físico bien, ya sea porque son peligrosos, involucran cosas
increíblemente pequeñas o increíblemente grandes. A continuación, damos algunos
ejemplos:
 Mediante el uso de supercomputadoras, los investigadores modelan el clima pasado y

el clima actual y predicen el clima futuro.
 Los científicos que investigan el espacio exterior y sus propiedades utilizan las
supercomputadoras para simular los interiores estelares, simular la evolución estelarde
las estrellas (eventos de supernova, colapso de nubes moleculares, etc.), realizar
simulaciones cosmológicas y modelar el clima espacial.
 Los científicos usan supercomputadoras para simular de qué manera un tsunami
podría afectar una determinada costa o ciudad.
 Las supercomputadoras se utilizan para probar la aerodinámica de los más recientes
aviones militares.
 Las supercomputadoras se están utilizando para modelar cómo se doblan las
proteínas y cómo ese plegamiento puede afectar a la gente que sufre la enfermedad
de Alzheimer, la fibrosis quística y muchos tipos de cáncer.
 Las supercomputadoras se utilizan para modelar explosiones nucleares, limitando la
necesidad de verdaderas pruebas nucleares.
Lista de junio de 2016[editar]
Diez primeras posiciones de la 46a lista TOP500, en junio de 201
Rmax
Tipo de
Rank Rpeak Nombre Modelo Interconexión Ensamblador
(PFLOPS) procesador P
Nati
93,015 Sunway Sunway Sup
1 SW26010 Sunway5 NRCPC
125,436 TaihuLight MPP Cen
Nati
Xeon E5– Sup
33,863 TH-IVB-
2 Tianhe-2 2692, Xeon Phi TH Express-2 NUDT Cen
54,902 FEP
31S1P Gua
Oak
Opteron
17,590 Labo
3 Titan Cray XK7 6274, Tesla Gemini Cray Inc.
27,113
K20X
Unid
Law
Live
17,173 Blue
4 Sequoia PowerPC A2 Custom IBM Labo
20,133 Gene/Q
Unid
10,51 K RIKE
5 K computer SPARC64 VIIIfx Tofu Fujitsu
11,28 computer
Introducción
Desde la creación de Internet y cada vez más, se ha contado con datos generados por
infinidad de aplicaciones y que tenemos a nuestro alcance esperando a ser usados. Antaño,
tener y consumir todo este ingente material se podía volver una tarea prácticamente
imposible o inviable tanto económica como tecnológicamente. Esto limitaba el uso de la
información a aquella que era más relevante y punto. Vamos a ver en que herramientas
podemos iniciarnos para solventar este handicap y sacar el máximo valor a nuestros
datos. Herramientas open-source y que cualquiera tiene a su disposición. El
ecosistema Hadoop.
Hardware
Hoy en día tenemos a nuestro alcance el poder consumir esta información sin necesidad de
contar con un carísimo supercomputador en nuestro trastero. Podemos llegar a hacer
pruebas con sistemas de 8-16GB de RAM y unos cuantos GB de disco duro. En un entorno
de producción se usa "comodity hardware", es decir, máquinas que no necesitan tener un
alto grado de fiabilidad y sofisticación (sistemas RAID, discos duros enterprise, componentes
redundantes, etc). Máquinas de este tipo son mucho más baratas y si se rompen, ponemos
otras y ya está. El peso de la fiabilidad recae sobre el software. Tendremos, esto sí, que
dimensionar las características según los requerimientos de nuestro escenario. Una
configuración típica de un nodo de un entorno productivo podría ser una máquina con 8-24
cores, 32-256GB de RAM y unos 8-12 discos HDD.
Para introducirnos en el uso de este software, no es necesario tener un cluster de máquinas
potentes, podremos ponernos a trastear con un ¿Cubieboard cluster :)?, unas simples VM's
en nuestro PC o con alguna VM como la Cloudera QuickStart VM con todo ya montado, que
sirve justamente para aprender.
Motivación
Antes de nada, dejemos clara una cosa y no nos engañemos, Big Data es para tratar con
grandes volúmenes de datos. Big Data aparece cuando decidimos dejar de quedarnos con
lo que era más relevante y pasar a quedarnos con TODO. Toda información sirve en
algún momento y nos puede permitir ver cosas que con solamente "lo importante" no
podemos llegar a ver y que en muchas ocasiones nos puede aportar mucho valor.
Como decíamos, hoy en día se ha vuelto factible tener mucha información y ser capaz de
consumirla, pero también hay que entender cuando tiene sentido usar herramientas Big Data
y cuando no. Si tenemos un volumen alto de datos y tenemos que lidiar con gigas y gigas
de datos (o alguna magnitud mayor) estará bien usar estas herramientas. De no ser así,
también podemos hacer uso de todo esto, pero matar moscas a cañonazos quizás no es tan
adecuado, aunque sea la moda.
La Base
Hablar de Big Data es hablar de Hadoop y todo lo que lo rodea. Vamos a ver qué es Hadoop.
Hadoop se sustenta en la forma en la que almacena y accede a los datos. Hadoop está
formado por HDFS y MapReduce. La combinación de estos dos permite que los datos estén
replicados y distribuidos por N nodos beneficiando la capacidad de acceso a grandes
volúmenes. Cuando queremos ejecutar alguna operación sobre estos datos distribuidos,
Hadoop se encarga de procesar cada porción de los datos en el nodo que los contiene.
De esta forma se aprovecha la localidad de tener los datos cerca de donde se van a procesar
y permite escalar de forma casi lineal. Si queremos crecer en capacidad, añadimos más
nodos y listo. Del almacenamiento se encarga HDFS y del procesamiento MapReduce.
Complementos Básicos
Con HDFS y MapReduce tenemos la capacidad básica de almacenar datos en crudo y
realizar procesos en paralelo abstrayéndonos de la complejidad de este tipo de
computación. Ahora bien, podemos utilizar otras herramientas encima de Hadoop que nos
potencian estas capacidades. Todo dependerá de nuestras necesidades. Estos son los dos
más típicos:
HDFS
Es el filesystem en el que se basa Hadoop. Este sistema de ficheros se basa en una

arquitectura master-slave donde los MasterNodes coordinan a los DataNodes, que son
aquellos donde se guarda la información. Los datos en HDFS se distribuyen por los
diferentes DataNodes en particiones del fichero original, asegurando que cada una de estas
particiones está replicada en un nivel de replicación definido. Por tanto, no necesitamos
disponer de sistemas con RAID, si un disco se estropea, HDFS automáticamente replica
muy rápidamente todas las particiones que estaban en este disco en todo el resto de
DataNodes.
Una computadora para el Big Data

26 mayo, 2017 Editorial 1 Comment
Los secretos de la próxima revolucionaria innovación científica, capaz de cambiar la industria

o la próxima tecnología capaz de alterar la forma de vivir se esconden, visibles, detrás de las
montañas de datos que creamos todos los días. Para hacer realidad esta promesa, no podemos
confiar en las tecnologías del pasado, necesitamos una computadora creada para la era del
Big Data.
En respuesta, Hewlett Packard Enterprise (HPE), presentó la computadora de memoria única

más grande del mundo, el último hito del proyecto de investigación The Machine. The
Machine, que es el mayor programa de investigación y desarrollo en la historia de la
compañía, y que está enfocado en ofrecer un nuevo paradigma llamado Cómputo Basado en
Memoria (Memory-Driven Computing), una arquitectura diseñada específicamente para la
era del Big Data.
El prototipo presentado tiene 160 terabytes (TB) de memoria, lo que lo hace capaz de trabajar
simultáneamente con cinco veces los datos que contienen todos los libros de la Biblioteca del
Congreso de los Estados Unidos, lo que equivale a aproximadamente 160 millones de libros.
Nunca hasta ahora fue posible almacenar y manipular conjuntos de datos completos de ese
tamaño en un sistema de memoria única, y esto es solo una pequeña muestra del potencial del
Cómputo Basado en Memoria.
Basado en el prototipo actual, La empresa espera que la arquitectura pueda escalar con
facilidad a un sistema de memoria única a escala de exabyte y, más allá de eso, a un conjunto
de memoria casi ilimitado de 4,096 yottabytes. Para tener una idea, eso equivale a 250,000
veces todo el universo digital completo actual.
Con esa cantidad de memoria, será posible trabajar simultáneamente con las historias clínicas
de todos los habitantes del planeta; con cada porción de datos de Facebook; con todos los
viajes de los vehículos autónomos de Google; y con todos los conjuntos de datos de la
exploración espacial al mismo tiempo, lo que permitirá obtener respuestas y descubrir nuevas
oportunidades a una velocidad sin precedentes.
“Creemos que el Cómputo Basado en Memoria es la solución para impulsar la industria

tecnológica de modo tal que posibilite avances en todos los aspectos de la sociedad”, dijo
Mark Potter, Director de Tecnología de HPE y Director de Hewlett Packard Labs. “La
arquitectura que presentamos puede aplicarse a todas las categorías informáticas, desde
dispositivos periféricos inteligentes a supercomputadoras”.
El Cómputo Basado en Memoria pone a la memoria, y no al procesador, en el centro de la

arquitectura del cómputo. Al eliminar las ineficiencias relacionadas con la forma en que la
memoria, el almacenamiento y los procesadores interactúan en los sistemas tradicionales
actuales, el Cómputo Basado en Memoria reduce el tiempo necesario para procesar problemas
complejos de días a horas, de horas a minutos y de minutos a segundos, para proporcionar
inteligencia en tiempo real.
El nuevo prototipo se apoya en logros del programa de investigación The Machine, que
incluyen:
• 160 TB de memoria compartida dispersos en 40 nodos físicos, interconectados usando un
protocolo de tejido de alto rendimiento.
• Un sistema operativo (SO) optimizado basado en Linux que ejecuta en ThunderX2, el SoC
(System on a Chip) de punta de segunda generación optimizado para carga de trabajo de
doble socket ARMv8-A, de Cavium.
• Enlaces de comunicación fotónicos/ópticos, que incluyen el nuevo módulo de fotónica X1,
que están en línea y operativos.
• Nuevas herramientas de programación de software diseñadas para aprovechar las ventajas
de la memoria persistente abundante.
Los 15 grandes del Big Data
La siguiente es una lista de 15 empresas de Big Data a las que deberíamos
prestarles atención, 10 de ellas son muy conocidas y las cinco restantes son
nuevas.
 IBM
IBM fue el proveedor más grande de Big Data en el 2012 con un ingreso
de 1,3 mil millones de dólares, según un reporte reciente de Wikibon,
gracias a la venta de productos y servicios relacionados con Big Data. Las
ofertas incluyen hardware de servidor y de almacenamiento, software de
base de datos, aplicaciones analíticas y servicios asociados. Los productos
más conocidos son las plataformas de base de datos DB2, Informix e
InfoSphere, y las aplicaciones analíticas Cognos y SPSS. IBM también
apoya la plataforma de análisis de datos de código abierto Hadoop.
María Korolov, Network World (EE.UU.)
 HP
HP fue el segundo proveedor más grande de Big Data en el 2012 por sus
ingresos de 664 millones de dólares. Esta empresa también ofrece una
mezcla de hardware, software y servicios, y es conocida por la plataforma
de análisis Vertica.
 Teradata
Teradata fue el tercer proveedor más grande de Big Data del 2012 con un
ingreso de 435 millones de dólares. Esta es conocida por sus plataformas
de hardware, de software analítico y de base de datos. También ofrece
herramientas analíticas específicas para industrias de distribución y
transporte.
 Oracle
Aunque Oracle es conocido principalmente por su conocida base de

datos, también es un gran jugador en el ámbito de Big Data. Su Oracle Big
Data Appliance combina un servidor Intel, distribución Hadoop de
Cloudera y la base de datos NoSQL de Oracle. Fue el quinto gran
proveedor en el 2012 con un ingreso de 415 millones de dólares.
 SAP
SAP ofrece una variedad de herramientas analíticas, pero es más conocido
por su base de datos en memoria, HANA. Fue el sexto gran proveedor de
Big Data en el 2012 con un ingreso de 368 millones de dólares.
 EMC
EMC ayuda a las compañías a almacenar y analizar Big Data y es también
la sede del Marketing Science Lab, un think tnak en análisis de Big Data
que se enfoca en analizar datos de marketing. Esta primavera ocupó los
titulares con su spinf-off de Pivotal, también respaldado por VMware y
General Electric. Pivotal combina el Hadoop con la base de datos
Greenplum de EMC y herramientas de consulta HAWQ. EMC fue el
séptimo gran proveedor de Big Data en el 2012 con un ingreso de 336
millones de dólares.
 Amazon
Amazon es conocido por su plataforma en la nube, pero también ofrece

un número de productos de Big Data, incluyendo el Elastic MapReduce
basado en Hadoop, la base de datos Big Data DynamoDB, el almacén de
datos paralelamente masivo RedShift, y todos funcionan bien con Amazon
Web Services.
 Microsoft
La estrategia de Big Data de Microsoft incluye una asociación con
Hortonworks, una empresa nueva de Big Data, y la herramienta
HDInsights basada en la plataforma de datos de Hortonworks. Microsoft
también es conocida por su servidor de base de datos SQL y fue el
noveno gran proveedor de Big Data en el 2012 con un ingreso de 196
 Google
Las ofertas de Big Data de Google incluyen BigQuery, una plataforma de
análisis de Big Data basada en la nube. La compañía recibió 36 millones
de dólares en ingresos relacionados con Big Data el año pasado.
 VMware
VMware es conocido por sus soluciones de virtualización y de nube, pero
se está convirtiendo en un muy buen jugador de Big Data. En Junio
publicó el anuncio de VMware vSphere Big Data Extensions, el cual
permite que vSphere controle las implementaciones de Hadoop y hacer
que lanzar proyectos de Big Data se vuelva mucho más sencillo para las
empresas. VMware recibió, el año pasado, 32 millones de dólares en
ingresos relacionados con Big Data, casi tanto como Google.
 Cloudera
Cloudera está en la lista de los principales proveedores de Big Data con

más de 141 millones de dólares en fondos de capital de riesgo y ha
atraído a varios fundadores conocidos y de gran nombre en Big Data que
vienen de Google, Facebook, Oracle y Yahoo. La compañía lanzó por
primera vez la plataforma Apache Hadoop para clientes empresariales en
el 2008.
 Hortonworks
Hortonworks es otro proveedor de Hadoop y ha recibido más de 70
millones de dólares en inversiones de capital de riesgo luego de la
escisión de Yahoo en el 2011. Está creciendo para ir directamente contra
Cloudera, y es muy conocido por sus alianzas estratégicas con Microsoft,
Rackspace, Red Hat, Teradata y otras compañías.
 Splunk
Splunk tuvo la mayor cuota de mercado de todos los vendedores de Big
Data únicamente, con un ingreso de 186 millones de dólares, según
Wikibon. La compañía se especializa en análisis de datos de máquinas.
 10Gen
10Gen es conocida por su código abierto MongoDB que es la base de
datos NoSQL líder. Entre los inversores estratégicos se encuentra Intel,
Red Hat e In-Q-Tel. El año pasado, 10Gen quedó tercero entre los
vendedores de Hadoop y NoSQL únicamente, con un ingreso de 36
 MapR
Conocido por M7, su base de datos NoSQL, MapR funciona con la

plataforma de Amazon en la nube y con Google Compute Engine. El año
pasado quedó cuarto entre los vendedores de Hadoop y NoSQL
únicamente, con un ingreso de 23 millones de dólares.
 HP
 Teradata
transporte.
 Oracle

 SAP
 EMC
 Amazon

Web Services.
 Microsoft
 Google
 VMware
 Cloudera

el 2008.
 Hortonworks
 Splunk
 10Gen
 MapR

 HP
 Teradata
transporte.
 Oracle

 SAP
 EMC
 Amazon

Web Services.
 Microsoft
 Google
 VMware
 Cloudera

el 2008.
 Hortonworks
 Splunk
 10Gen
 MapR

 Oracle
 SAP
 EMC
 Amazon

Web Services.
 Microsoft
 Google
 VMware
 Cloudera

el 2008.
 Hortonworks
 Splunk
 10Gen
 MapR

 Oracle
 SAP
 EMC
 Amazon

Web Services.
 Microsoft
 Google
 VMware
 Cloudera

el 2008.
 Hortonworks
 Splunk
 10Gen
 MapR

Minería de datos
La Minería de Datos es conocida también como Data

Mining o exploración de datos, consiste en el proceso de
detectar información que se pueda procesar en conjuntos de
grandes cantidades de datos. Es el conjunto de técnicas que
se utilizan para la extracción de datos “válidos” dentro de
estos conjuntos de grandes cantidades y que se aplican
para el posterior análisis de la información estructurada, su
exploración y clasificación con el objetivo de realizar una
búsqueda de patrones en clave de Big Data.
El uso del Data Mining surge de la necesidad de técnicas y
herramientas más potentes para la gestión de grandes
cantidades de datos, ya que las existentes hasta el momento
se han quedado obsoletas.
Qué aporta big data a la selección de

personal
July 26, 2016 Marc Altimiras
¿Cómo puede estar seguro de que, de forma completamente objetiva, ha

reclutado a la persona adecuada?
Mientras se revisan CVs, aunque sean anónimos, la discriminación aparece

como resultado de nuestro “sesgo cognitivo”. Por ejemplo, ante candidatos con
iguales cualificaciones y competencias un reclutador tenderá a favorecer al
aspirante que más se le parezca.
Eliminando los juicios de valor que los humanos hacemos inconscientemente,

el análisis predictivo y el big data recorren un largo camino para ayudar a
reclutar recursos humanos de manera efectiva.
Las empresas guardan billones de datos sobre sus empleados y esto puede
ser particularmente útil para el reclutamiento de nuevos trabajadores. Mediante
el análisis de estos datos - por ejemplo, sobre antigüedad, rendimiento, o
satisfacción de clientes - la empresa puede dar información valiosa a los
reclutadores para que hagan buenas contrataciones.
Con los análisis predictivos se quiebran los estereotipos. Recientemente en

Estados Unidos, el software de Cornerstone puso en evidencia el hecho de que
los ex convictos hacen muy bien sus tareas porque están particularmente
motivados para quedarse. El mismo software ha establecido que no hay
diferencia entre contratar a un parado de larga duración a otro que no lo sea,
su rendimiento y permanecía será la misma.
Y esto sólo se refiere al uso de grandes volúmenes de datos en el proceso de
contratación. Hace unos meses lanzamos Cornerstone Insights, un sistema
que aplica la sofisticada ciencia de datos a la información sobre la fuerza
laboral, permitiendo a los líderes empresariales dar respuesta a preguntas
clave acerca de cómo utilizar los datos para una mejor contratación,
capacitación, administración y retención de los mejores talentos.
10 EJEMPLOS DE APLICACIÓN DE BIG

DATA
Sin embargo, hay unas áreas donde el big data está marcando la diferencia.
Hemos resumido a continuación las aplicaciones de big data en 10 áreas
donde actualmente se están concentrando las instalaciones y obteniendo los
mejores resultados.
1. ENTENDIENDO Y SEGMENTANDO A LOS CLIENTES
Marketing y ventas son quizá las áreas de mayor aplicación de big data en la
actualidad. Los datos se utilizan para comprender mejor a los clientes, sus
comportamientos y preferencias. Las empresas están dispuestas a ampliar los
centros de datos tradicionales con los de redes sociales, logs de navegación,
análisis de textos y datos de sensores para obtener una imagen completa de su
cliente. El objetivo principal es en la mayoría de casos crear modelos
predictivos. Como vimos en un artículo anterior, tuvo bastante repercusión la
noticia de que la cadena de distribución Target fue capaz de detectar cuándo sus
clientes esperaban un bebé. Las empresas de telecomunicaciones pueden gracias
al big data predecir mejor el churn de clientes. Los hipermercados pueden
predecir mejor qué productos se venderán mejor, y las aseguradoras de coches
pueden comprender mejor cómo conducen sus clientes. Incluso las campañas
electorales pueden optimizarse gracias a big data analytics. Hay quienes
sostienen que las recientes elecciones presidenciales en varios países han sido
ganadas por los equipos con mayor capacidad de entender y aplicar el
análisis de datos para buscar las preferencias de votantes y llegar a ellos por
sus canales preferidos.
2. ENTENDIENDO Y OPTIMIZANDO LOS PROCESOS DE

NEGOCIO
El big data se está utilizando cada vez más para optimizar los procesos de
negocio en las empresas. En el sector de retail los negocios están optimizando
su stock basándose en predicciones generadas gracias a datos de redes
sociales, tendencias de búsquedas en la web y predicciones meteorológicas.
Un proceso que se está transformando particularmente gracias al big data es el
de la cadena de suministro y la optimización de rutas de reparto. Gracias al
posicionamiento geográfico y sensores de identificación por radiofrecuencia se
puede realizar un seguimiento de las mercancías y vehículos de reparto,
optimizando las rutas, integrando datos de tráfico en tiempo real. Los procesos
de recursos humanos también están siendo mejorados gracias al análisis del
big data. Desde la detección y adquisición de talento, como en la película
Moneyball, hasta la medición de la cultura empresarial y la involucración de la
plantilla gracias a herramientas de big data.
3. CUANTIFICACIÓN Y OPTIMIZACIÓN DE
RENDIMIENTO PERSONAL
El big data no sólo es para empresas y para instituciones públicas o grandes

organizaciones. Todos podemos beneficiarnos de los datos generados
de dispositivos wearables como smart watches o pulseras. Estos dispositivos
registran automáticamente datos de consumos de calorías (Fitbit), niveles de
actividad y condición física (Google Fit, Apple Watch), o patrones de sueño.
Aunque a nivel particular ya nos desvelan información interesante, el verdadero
valor reside en analizar el conjunto de datos de todo el colectivo. Una de estas
empresas, Jawbone, recoge en torno a 60 años de datos de sueño cada noche.
Analizando estos volúmenes de datos desvelarán insights que beneficiarán a
todos los usuarios.
Otro ejemplo donde la gente se beneficia del análisis del big data es para
buscar a cupido. A la hora de encontrar a la mejor pareja compatible hacerlo
sin la ayuda de algoritmos y técnicas de big data sería prácticamente imposible.
4. MEJORANDO LA SALUD PÚBLICA
Otra área de uso de datos masivos colectivos es el de la codificación de

material genético. Cuantos más usuarios participan más beneficios se obtienen,
bien para saber más sobre nuestros ancestros, qué dieta o alimentos son más
adecuados para nuestro genotipo, o para descubrir cómo o porqué se activan
determinados genes que pueden derivar en enfermedades crónicas. La
capacidad de procesamiento de plataformas de análisis de big data nos permite
ya descodificar cadenas enteras de ADN en cuestión de minutos y permitirá
encontrar nuevos tratamientos y comprender mejor las enfermedades, sus
desencadenantes y los patrones de propagación. Piense qué sucederá cuando
todos los dispositivos y sensores que llevamos encima (y cada vez llevaremos
más) con marcadores de nuestro cuerpo se apliquen a millones de otras
personas. Los ensayos clínicos del futuro no tendrán que estar limitados a
muestras pequeñas sino que todo el mundo podrá formar parte.
Las técnicas de big data ya están empleando por ejemplo para monitorizar
bebésen la unidad de neonatos de un hospital en Toronto. Grabando y
analizando latidos y el patrón de respiración de cada bebé, la unidad ha
desarrollado unos algoritmos que pueden predecir infecciones 24 horas antes
de que los primeros síntomas aparezcan. De esta manera, el equipo médico
puede intervenir y salvar vidas en un entorno en el que cada hora cuenta.
El análisis de datos masivos también se utiliza a la hora de controlar y predecir

la evolución de las epidemias y brotes de enfermedades. Integrando datos de
historiales clínicos con análisis de datos de redes sociales pueden detectar
brotes de gripe en tiempo real simplemente escuchando lo que la gente publica
en sus perfiles públicos.
Otras aplicaciones científicas prácticas llevan más tiempo: reconocimiento del

habla, procesamiento imágenes en el cerebro para ciegos,… pero es con el
big data cuando los resultados están consiguiendo avances significativos.
5. MEJORANDO EL RENDIMIENTO DEPORTIVO
La mayor parte de deportistas de élite están ya adoptando técnicas de análisis

de grandes volúmenes de datos. En tenis se lleva mucho tiempo utilizando la
herramienta SlamTracker (basada en la tecnología de IBM SPSS de análisis
predictivo) en los torneos más prestigiosos del mundo (Wimbledon, Roland
Garros, Open de Australia). La plataforma lleva registrados más de 8 años de
datos de Grand Slams (unos 41 millones de data points) para determinar
patrones y estilos de jugadores ganadores.
Aplicando análisis a las grabaciones de vídeo de cada jugador de fútbol y
tecnología de sensores en equipamiento deportivo como balones o palos de
golf, podemos obtener retroalimentación de los datos generados y mostrar los
resultados para mejorar el rendimiento o para mostrar una visión
enriquecida de la retransmisión a los espectadores. Muchos equipos de élite
realizan ya seguimiento de sus atletas fuera del entorno de competición,
usando dispositivos inteligentes para monitorizar desde la nutrición, la
preparación física y el sueño, hasta las conversaciones en redes sociales en
las que participan para controlar el bienestar emocional.
6. MEJORANDO LA CIENCIA Y LA INVESTIGACIÓN
La investigación científica se está viendo transformada por las nuevas

posibilidades que ofrece el big data.
El CERN (laboratorio suizo de física nuclear con su gran colisionador de

hadrones), uno de los mayores generadores de datos, intenta descubrir los
secretos del universo gracias a los datos del acelerador de partículas. Aunque
el centro de datos del CERN cuenta con 65.000 procesadores para analizar los
30 petabytes de datos, no es suficiente. Por ello distribuyen la capacidad de
computación entre miles de ordenadores repartidos entre otros 150 centros de
datos por todo el mundo para analizar los datos. Esta capacidad de
computación distribuida que de otra manera sería imposible de procesar
también se emplea en muchas otras áreas de la ciencia.
7. OPTIMIZANDO EL RENDIMIENTO DE MÁQUINAS Y

DISPOSITIVOS
El análisis de big data está ayudando a máquinas y dispositivos a ser más

inteligentes y autónomos. Un ejemplo que ya es una realidad, el coche
autopilotado de Google.
Los coches que usan para el proyecto están equipados con cámaras, GPS,
conexión a internet, y un abanico de computadoras y sensores que permiten al
vehículo circular de forma segura por la vía pública sin necesidad de
intervención humana.
También se usan herramientas de análisis de big data para optimizar las redes
de energía a partir de datos de los medidores inteligentes. podemos también
aprovechar estas tecnologías para optimizar el rendimiento de servidores y
datawarehouses.
8. MEJORANDO LA SEGURIDAD Y EL CUMPLIMIENTO

DE LA LEY
El análisis de big data se está empleando de forma intensiva en la mejora de la

seguridad y en los cuerpos de aplicación de la ley. La noticia que se filtró via
Wikileaks de que la NSA ha estado espiando en todas las comunicaciones de
todos los ciudadanos. El objetivo es la protección de ataques terroristas.
Otros usos de tecnología big data lo encontramos a la hora de detectar y

prevenir ciberataques. El sistema de IA creado en el MIT predice el 85% de los
ciberataques. Otros ejemplos: Las fuerzas policiales están empezando a utilizar
herramientas de big data para dar con criminales e incluso prevenir actividades
criminales.Otro ejemplo que lleva años empleándose es en la detección de
transacciones fraudulentas con tarjetas de crédito.
9. MEJORANDO Y OPTIMIZANDO LAS CIUDADES
El big data se está usando también para mejorar aspectos de nuestras

ciudades y países. La tecnología permite optimizar los flujos de tráfico
basándose en datos que llegan en tiempo real del tráfico, de las redes sociales
y del tiempo metereológico. Un número creciente de ciudades están
embarcadas en proyectos de Smart Cities, donde la infraestructura de
transportes y los procesos de suministros trabajan
colaborativamente. Algunos ejemplos: un autobús espera a salir
automáticamente por el retraso de un avión, las señales de tráfico y semáforos
actúan automáticamente para minimizar embotellamientos.
10. TRADING FINANCIERO
El último área de ejemplos de uso de Big Data que vamos a revisar, aunque no
de menor volumen ni importancia es el de la aplicación del big data en los
mercados de capitales. Las actividades relacionadas con High-Frequency
Trading (HFT) es donde se da el mayor uso del big data. Una serie de
algoritmos para realizar decisiones de compra venta de valores por millones en
fracciones de segundo, teniendo en cuenta además de las señales
tradicionales que tienen en cuenta los traders humanos como análisis
técnicos, comportamientos de materias primas, resultados de empresas,
sectores, índices, … se le añaden noticias en tiempo real, mensajes de redes
sociales, foros, declaraciones públicas de personalidades, etc. Es decir un
nuevo tipo de datos (estructurados y no estructurados) que anteriormente al big
data eran imposible de manejar.
Este ha sido un resumen de 10 áreas donde el big data se está utilizando más
en la actualidad. Obviamente hay muchas más áreas y aplicaciones, ¿se le
ocurre alguna situación donde se le esté sacando provecho? ¿Está de acuerdo
con esta revolución de los datos? Por favor comparta su punto de vista y deje
su comentario abajo.
Mejorar el rendimiento financiero

Los departamentos de finanzas corporativas se están moviendo más allá de informes
periódicos y Business Intelligence, utilizando el Big Data para reducir los riesgos y
los costes, identificar oportunidades y mejorar la precisión de las predicciones
financieras. En concreto, están usando los datos para identificar a los clientes de riesgo,
hacer un mejor seguimiento de los proveedores, impedir el fraude, localizar fugas de
ingresos, y conocer nuevos modelos de negocio más eficientes.
Una reciente joint venture entre The Weather Company e IBM permitirá gestionar
mejor el impacto del clima sobre el rendimiento de un negocio. Y es que, según
afirma la empresa de meteorología, el clima tiene un impacto económico de medio
billón de dólares al año sólo en los EEUU.
Los datos sobre climatología están siendo recogidos por más de 100.000 sensores y
aviones meteorológicos, así como millones de teléfonos inteligentes, edificios y
vehículos en movimiento. Esos datos se combinan con los de otras fuentes para lograr
2,2 millones de puntos de pronóstico únicos, y un promedio de más de 10 mil millones
de pronósticos del tiempo en un día activo. Datos que las empresas dirigidas al
consumidor final pueden utilizar para ajustar sus necesidades de personal y sus cadenas
de suministro, las energéticas para mejorar su oferta y conocer la previsión de la
demanda, y las compañías de seguros para advertir a los titulares de pólizas que
incluyan daños por condiciones climáticas severas (logrando con ello minimizar la
posibilidad de daños en sus coches en caso de una tormenta de granizo, por ejemplo).
Vender de forma más inteligente

Ligeras modificaciones en las estrategias de marketing y ventas pueden tener un
profundo efecto en sus líneas de flotación de las empresas, especialmente cuando han
sido provocadas por el uso del Big Data. Imaginemos una campaña de correo directo
que logró una tasa de uso de los cupones de más del 70% en un plazo de seis semanas.
De acuerdo con la Asociación de Marketing Directo de EEUU, la tasa de retorno de
correo directo promedio es de sólo un 3,7%. ¿Cómo lo logró la cadena de
supermercados norteamericana Kroger? Por un lado, personalizando su software de
correo directo basándose en el historial de compra del cliente individual.
Kroger tiene un programa de tarjeta de fidelidad que está clasificada en el número uno
de la industria de la alimentación en EEUU. Más del 90% de sus clientes utilizan la
tarjeta cuando compran. Y aunque hay muchos factores que han permitido
colectivamente la mejora en los resultados financieros de Kroger, buena parte del
crecimiento continuo que han registrado sus cuentas durante ¡45 trimestres
consecutivos! se atribuye a sus programas de fidelización de clientes.

Supercomputadoras procesan bigdata

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Supercomputadoras procesan bigdata

Diunggah oleh

Hak Cipta:

Format Tersedia

las supercomputadoras que se usa para procesar datos bigdata

 Velocidad de procesamiento: miles de millones de instrucciones de coma flotante por

 Mediante el uso de supercomputadoras, los investigadores modelan el clima pasado y

Lista de junio de 2016[editar]

Diez primeras posiciones de la 46a lista TOP500, en junio de 201

Es el filesystem en el que se basa Hadoop. Este sistema de ficheros se basa en una

Una computadora para el Big Data

Los secretos de la próxima revolucionaria innovación científica, capaz de cambiar la industria

En respuesta, Hewlett Packard Enterprise (HPE), presentó la computadora de memoria única

“Creemos que el Cómputo Basado en Memoria es la solución para impulsar la industria

El Cómputo Basado en Memoria pone a la memoria, y no al procesador, en el centro de la

Aunque Oracle es conocido principalmente por su conocida base de

Amazon es conocido por su plataforma en la nube, pero también ofrece

Cloudera está en la lista de los principales proveedores de Big Data con

Conocido por M7, su base de datos NoSQL, MapR funciona con la

Aunque Oracle es conocido principalmente por su conocida base de

Amazon es conocido por su plataforma en la nube, pero también ofrece

Cloudera está en la lista de los principales proveedores de Big Data con

Conocido por M7, su base de datos NoSQL, MapR funciona con la

Aunque Oracle es conocido principalmente por su conocida base de

Amazon es conocido por su plataforma en la nube, pero también ofrece

Cloudera está en la lista de los principales proveedores de Big Data con

Conocido por M7, su base de datos NoSQL, MapR funciona con la

Amazon es conocido por su plataforma en la nube, pero también ofrece

Cloudera está en la lista de los principales proveedores de Big Data con

Conocido por M7, su base de datos NoSQL, MapR funciona con la

Amazon es conocido por su plataforma en la nube, pero también ofrece

Cloudera está en la lista de los principales proveedores de Big Data con

Conocido por M7, su base de datos NoSQL, MapR funciona con la

La Minería de Datos es conocida también como Data

Qué aporta big data a la selección de

¿Cómo puede estar seguro de que, de forma completamente objetiva, ha

Mientras se revisan CVs, aunque sean anónimos, la discriminación aparece

Eliminando los juicios de valor que los humanos hacemos inconscientemente,

Con los análisis predictivos se quiebran los estereotipos. Recientemente en

10 EJEMPLOS DE APLICACIÓN DE BIG

1. ENTENDIENDO Y SEGMENTANDO A LOS CLIENTES

2. ENTENDIENDO Y OPTIMIZANDO LOS PROCESOS DE

El big data no sólo es para empresas y para instituciones públicas o grandes

4. MEJORANDO LA SALUD PÚBLICA

Otra área de uso de datos masivos colectivos es el de la codificación de

El análisis de datos masivos también se utiliza a la hora de controlar y predecir

Otras aplicaciones científicas prácticas llevan más tiempo: reconocimiento del

5. MEJORANDO EL RENDIMIENTO DEPORTIVO

La mayor parte de deportistas de élite están ya adoptando técnicas de análisis

6. MEJORANDO LA CIENCIA Y LA INVESTIGACIÓN

La investigación científica se está viendo transformada por las nuevas

El CERN (laboratorio suizo de física nuclear con su gran colisionador de

7. OPTIMIZANDO EL RENDIMIENTO DE MÁQUINAS Y

El análisis de big data está ayudando a máquinas y dispositivos a ser más

8. MEJORANDO LA SEGURIDAD Y EL CUMPLIMIENTO

El análisis de big data se está empleando de forma intensiva en la mejora de la

Otros usos de tecnología big data lo encontramos a la hora de detectar y

El big data se está usando también para mejorar aspectos de nuestras

Mejorar el rendimiento financiero

Vender de forma más inteligente

Anda mungkin juga menyukai