Big Data. Técnicas, Herramientas y Aplicaciones

Descripción

Las herramientas de Big Data se basan en el paquete de código abierto llamado Hadoop para el análisis masivo de datos, que forma parte de prácticamente todo el software de Big Data. Por ejemplo, SAS incorpora Hadoop en sus aplicaciones (SAS Base, SAS Data Integration, SAS Visual Analytics, SAS Visual Statistics, etc.). IBM trabaja con Hadoop en su plataforma IBM InfoSphere BigInsights. Microsoft incluye Hadoop en su plataforma Windows Azure, SQL Server 2014, HDInsight y Polybase. Oracle incluye Hadoop en Oracle Big Data Appliance, Oracle Big Data Connectors y Oracle Loader for Hadoop.

Se describen y analizan estas herramientas de Big Data que implementan SAS, IBM, Microsoft y Oracle, para extraer el conocimiento contenido en los datos.

Ventajas

• Los principales comandos

Conozca

• Las herramientas de BIG DATA, que utilizan tecnologías multinúcleo para ofrecer mayor capacidad de procesamiento a través de altas prestaciones, en base de datos y de análisis en memoria que ofrecen un mayor conocimiento más rápidamente de grandes volúmenes de datos y flujo de datos, independientemente de los formatos y las fuentes de los orígenes de datos.

Aprenda

• Que con las herramientas de BIG DATA se puede procesar información online proveniente de múltiples orígenes (redes sociales o grandes bases de datos no estructuradas),
• A tratar los datos de múltiples fuentes y formatos, ya sean texto, datos, imágenes o mezcla de todo ello. Actualmente es posible.

Desarrolle sus habilidades para:

• Implementar herramientas de BIG DATA en la forma que mejor se adapte a las necesidades de los usuarios.
• Superar con éxito el desafío del análisis de la información, dada la capacidad de almacenar cualquier cosa, lo que están generando datos como nunca antes en la historia

Contenido

BIG DATA – LUIS JOYANES AGUILAR Alfaomega
Parte I. La era de Big Data
CAPÍTULO 1
¿QUÉ ES BIG DATA? ………………………… 1
Definición de Big Data ……………………………. 2
Tipos de datos ………………………………………. 3
Datos estructurados ………………………… 4
Datos semiestructurados …………………. 4
Datos no estructurados ……………………. 5
Integración de los datos: oportunidades de
negocio de los Big Data ………………………….. 5
Características de Big Data ……………………… 7
Volumen ………………………………………… 7
Velocidad ………………………………………. 8
Variedad ………………………………………… 8
Veracidad ………………………………………. 10
Valor ……………………………………………… 10
El tamaño de los Big Data……………………….. 10
¿Cómo se ha llegado a la explosión de Big Data?
…………………………………………………………… 11
El Big Data eclosiona en España (IDC) … 12
Cómo crear ventajas competitivas a partir de
la información: IDC Big Data 2012 ……… 13
Retos empresariales de Big Data ……………… 14
El gran negocio de Big Data ………………. 14
Big Data: the next thing(la siguiente gran
tendencia) ……………………………………… 15
La empresa inteligente …………………………… 15
Casos de estudio …………………………………… 16
Una breve reseña histórica de Big Data ……. 18
El origen moderno de Big Data …………. 18
Resumen ……………………………………………… 20
Notas …………………………………………………… 21
CAPÍTULO 2
FUENTES DE GRANDES VOLÚMENES DE
DATOS ………………………………………………. 23
Origen de las fuentes de datos ……………….. 24
Tipos de fuentes de Big Data ……………. 25
Los datos de la Web ………………………………. 27
El peso de los datos de la Web …………. 29
Los datos de texto ………………………………… 30
Aplicaciones del análisis de texto ……… 31
Otras aplicaciones del análisis de texto
…………………………………………………….. 32
Datos de sensores …………………………………. 33
Datos de posición y tiempo: geolocalización 34
Datos de RFID y NFC ……………………………… 36
Datos de redes sociales …………………………. 37
Análisis de redes sociales …………………. 38
Datos de las operadoras de telecomunicaciones
…………………………………………………………… 40
El valor del tráfico de datos ……………… 41
Datos de las redes inteligentes de energía (smart
grids) …………………………………………………… 41
El contador inteligente (smart meter) .. 42
Otros datos de las redes inteligentes …. 42
Resumen ……………………………………………… 43
Notas ………………………………………………….. 44
CAPÍTULO 3
EL UNIVERSO DIGITAL DE DATOS. EL
ALMACÉN DE BIG DATA ………………….. 45
“La era del petabyte” (Wired, 2008) ………… 46
XII | Contenido _________________________________________________
Alfaomega BIG DATA – LUIS JOYANES AGUILAR
El universo digital de EMC/IDC (2007-2010)
…………………………………………………………… 47
Datos en todas partes (The Economist, 2010)
…………………………………………………………… 50
El universo digital de datos: “Extrayendo valor
del caos” (2011)
…………………………………………………………… 52
La sobrecarga de información cobra forma
física
…………………………………………………………… 55
El almacenamiento también supera las
expectativas ………………………………….. 55
La revolución de los datos está cambiando el
paisaje de los negocios (The Economist, 2011)
…………………………………………………………… 56
La era del exabyte (Cisco, 2012). Hacia la era del
zettabyte …………………………………………….. 57
El universo digital de datos IDC/EMC (diciembre,
2012). El camino a la era del zettabyte …….. 60
Resumen ……………………………………………… 61
Notas …………………………………………………… 62
CAPÍTULO 4
SECTORES ESTRATÉGICOS DE BIG DATA
Y OPEN DATA ……………………………………. 63
Dominios estratégicos de Big Data …………… 64
Informe McKinsey Global Institute
…………………………………………………………… 64
¿Por qué se ha llegado a la explosión de los Big
Data? ……………………………………………………
…………………………………………………………… 66
Sectores dominantes en Big Data ……………. 67
Sector de la salud ………………………………….. 68
El informe “Big Data Healthcare Hype
and Hope” …………………………………….. 71
Conclusiones del Digital Health Summit,
Las Vegas (Enero 2013) ……………………. 72
Otras consideraciones prácticas ………………. 72
Un anticipo a Hadoop ……………………… 74
Open Data. El movimiento de los datos abiertos
…………………………………………………………… 74
Iniciativas Open Data ………………………. 76
La información pública al servicio del
ciudadano ……………………………………… 79
La iniciativa de la Unión Europea (enero
2013) …………………………………………….. 80
Open Data Alliance ………………………….. 81
Open Data Institute (ODI) ………………… 81
Resumen ……………………………………………… 82
Recursos ……………………………………………… 83
Notas ………………………………………………….. 84
CAPÍTULO 5
BIG DATA EN LA EMPRESA. LA
REVOLUCIÓN DE LA GESTIÓN, LA
ANALÍTICA Y LOS CIENTÍFICOS DE
DATOS ………………………………………………. 85
Integración de Big Data en la empresa ……. 86
Presencia del modelo 3 V de Big Data
en las empresas ……………………………… 87
Big Data: la revolución de la gestión ………… 89
¿Qué es lo nuevo ahora? …………………. 89
Los cinco retos de la gestión …………….. 90
Profesionales de análisis de datos:
analistas y científicos de datos ……………….. 92
Ciencia de los datos ………………………………. 94
El científico de datos ……………………………… 96
¿Qué habilidades necesita un científico
de datos? ………………………………………. 96
Casos de estudio: el ITAM de México DF ….. 99
¿Cómo encontrar los científicos de datos que se
necesitan? …………………………………………… 99
La inteligencia de negocios en Big Data ……. 100
OLAP …………………………………………….. 102
Minería de datos …………………………….. 102
Sistemas de apoyo a la decisión (DSS) .. 103
Herramientas de informes y de
visualización …………………………………… 103
Tecnologías de visualización de datos .. 104
Analítica de Big Data: una necesidad ……….. 105
Seguridad y privacidad en Big Data ………….. 107
La iniciativa de Cloud Security Alliance (CSA)
…………………………………………………….. 108
Privacidad ……………………………………… 109
Foursquare. Un caso de estudio en
privacidad ……………………………………… 109
La seguridad en la Unión Europea …….. 110
Resumen ……………………………………………… 110
Recursos ……………………………………………… 111
Notas ………………………………………………….. 112
Parte II. Infraestructura de los Big Data
CAPÍTULO 6
CLOUD COMPUTING, INTERNET DE LAS
COSAS Y SOLOMO ……………………………. 113
_____________ Big Data. Análisis de grandes volúmenes de datos en organizaciones| XIII
BIG DATA – LUIS JOYANES AGUILAR Alfaomega
Origen y evolución de cloud computing ……. 114
Definición de la nube …………………………….. 115
Características de cloud computing …………. 117
Modelos de la nube (cloud) …………………….. 120
Modelos de servicio ………………………… 121
Modelos de despliegue de la nube ……. 123
¿Cómo adaptar la nube en organizaciones y
empresas? ……………………………………………. 124
Consideraciones económicas ……………. 124
Características organizacionales ……….. 125
Acuerdos de nivel de servicio (SLA, Service
Level Agreement) ……………………………. 125
Seguridad ………………………………………. 126
Los centros de datos como soporte de
cloud computing …………………………………… 126
Internet y los centros de datos: una
industria pesada ……………………………… 127
Internet de las cosas ……………………………… 128
IPv4: El cuello de botella. IPv6: el
desarrollo de la Internet de las cosas …. 132
Sensores ………………………………………… 133
Bluetooth 3.0/4.0 ……………………………. 134
RFID ………………………………………………. 135
NFC ……………………………………………….. 136
SIM integrada …………………………………. 137
Códigos QR y BIDI …………………………… 138
Ciudades inteligentes (smart cities) …… 139
¿Qué son los medios sociales (social
media)? ……………………………………………….. 139
El panorama de los medios sociales …… 141
Geolocalización …………………………………….. 142
Movilidad …………………………………………….. 144
Plataformas móviles ………………………… 145
Plataformas móviles de código abierto . 147
Resumen ……………………………………………… 149
Recursos ………………………………………………. 150
Notas …………………………………………………… 152
CAPÍTULO 7
ARQUITECTURA Y GOBIERNO DE BIG
DATA …………………………………………………. 153
La arquitectura de Big Data …………………….. 154
Fuentes de Big Data ………………………………. 155
Almacenes de datos (Data Warehouse y Data
Marts) …………………………………………………. 156
Bases de datos ……………………………………… 157
Hadoop ……………………………………………….. 158
Plataformas de Hadoop …………………………. 158
Integración de Big Data …………………………. 158
Analítica de Big Data ……………………………… 159
Reporting, query y visualización………… 159
Analítica predictiva …………………………. 160
Analítica Web ………………………………… 160
Analítica social y listening social ……….. 160
Analítica M2M ……………………………….. 161
Plataformas de analítica de Big Data …. 162
Cloud computing …………………………….. 162
Gobierno de los Big Data ……………………….. 163
Gobierno de TI ……………………………….. 163
El gobierno de la información …………… 165
Gobierno de Big Data ………………………. 165
Calidad de los Big Data ………………………….. 166
Administración de datos maestros ………….. 167
El ciclo de vida de los Big Data ………………… 168
Seguridad y privacidad de Big Data ………….. 168
Metadatos de Big Data ………………………….. 169
Arquitectura de Big Data de Oracle …………. 169
Capacidades de la arquitectura de Big
Data ……………………………………………… 169
Arquitectura de información de Big Data
de Oracle ………………………………………. 170
Plataforma de Big Data de Oracle:
productos y soluciones ……………………. 171
Arquitectura de Big Data de IBM …………….. 173
Resumen ……………………………………………… 174
Notas ………………………………………………….. 175
CAPÍTULO 8
BASES DE DATOS ANALÍTICAS: NOSQL Y
“EN MEMORIA” ……………………………….. 177
Tipos de base de datos actuales ……………… 178
Bases de datos relacionales ……………… 178
Bases de datos heredadas (legacy) ……. 179
Bases de datos NoSQL …………………….. 180
Bases de datos “en memoria” ………….. 180
Sistemas de base de datos MPP ……………… 181
¿Qué es NoSQL? …………………………………… 182
Bases de datos NoSQL …………………………… 183
Diferencias esenciales entre NoSQL y
SQL……………………………………………….. 185
Tipos de base de datos NoSQL ………………… 185
Bases de datos clave- valor ………………. 186
Bases de datos orientadas a grafos……. 188
Bases de datos orientadas a BigTable
(tabulares/columnares) …………………… 189
XIV | Contenido _________________________________________________
Alfaomega BIG DATA – LUIS JOYANES AGUILAR
Bases de datos orientadas a documentos
…………………………………………………….. 191
Bases de datos “en memoria” caché ….. 193
Las bases de datos NoSQL en la
empresa ………………………………………… 193
Breve historia de NoSQL ………………………… 194
Tendencias para 2013 en bases de datos NoSQL
…………………………………………………………… 195
Computación “en memoria” …………………… 196
Tecnología “en memoria” ………………… 196
Tipos de tecnologías “en memoria” …… 197
Proveedores de tecnología “en
memoria” ………………………………………. 198
Analítica “en memoria” ……………………. 198
Proveedores de computación y bases de
datos “en memoria” ………………………… 199
Bases de datos “en memoria” …………………. 200
Uso de la memoria central como almacén de
datos …………………………………………….. 200
Almacenamiento por columnas ………… 202
Paralelismo en sistemas multinúcleo …. 203
SAP HANA ……………………………………………. 203
SAP HANA cloud ……………………………… 204
SAP HANA para análisis de sentimientos
…………………………………………………….. 205
Oracle ………………………………………………….. 205
Microsoft …………………………………………….. 206
Resumen ……………………………………………… 206
Recursos ………………………………………………. 207
Notas …………………………………………………… 209
CAPÍTULO 9
EL ECOSISTEMA HADOOP ………………. 211
El origen de Hadoop ………………………………. 212
The Google File System ……………………. 212
MapReduce ……………………………………. 213
BigTable ………………………………………… 213
¿Qué es Hadoop? ………………………………….. 213
Historia de Hadoop ……………………………….. 216
El ecosistema Hadoop ……………………………. 218
Componentes de Hadoop ………………………. 218
MapReduce ……………………………………. 220
El enfoque de gestión de MapReduce … 221
Hadoop Common Components …………. 222
Desarrollo de aplicaciones en Hadoop ……… 222
Hadoop Distributed File Systems (HDFS)
…………………………………………………….. 223
Consideraciones teórico-prácticas …….. 224
Mejoras en la programación de Hadoop ….. 225
Pig ………………………………………………… 225
Hive ………………………………………………. 226
Jaql……………………………………………….. 227
Zookeper……………………………………….. 227
HBase ……………………………………………. 228
Lucene ………………………………………….. 228
Oozie …………………………………………….. 228
Avro ……………………………………………… 228
Cassandra ……………………………………… 229
Chukwa …………………………………………. 229
Flume ……………………………………………. 229
Plataformas de Hadoop …………………………. 229
Resumen ……………………………………………… 231
Recursos ……………………………………………… 232
Notas ………………………………………………….. 234
Parte III. Analítica de Big Data
CAPÍTULO 10
ANALÍTICA DE DATOS (BIG DATA
ANALYTICS) ……………………………………… 237
Una visión global de la analítica de Big Data 238
¿Qué es analítica de datos? ……………………. 240
Tipos de datos de Big Data …………………….. 241
Datos estructurados ……………………….. 242
Datos semiestructurados …………………. 242
Datos no estructurados …………………… 242
Datos en tiempo real ………………………. 242
Analítica de Big Data ……………………………… 243
Tecnologías, herramientas y tendencias en
analítica de Big Data ……………………………… 244
Proveedores de analítica de Big Data
(distribuciones comerciales) …………………… 245
Tecnologías de código abierto de Big Data .. 251
Casos de estudio …………………………………… 254
Características de una plataforma de integración
de analítica de Big Data …………………………. 255
Resumen ……………………………………………… 256
Notas ………………………………………………….. 257
CAPÍTULO 11
ANALÍTICA WEB ………………………………. 259
Analítica Web 2.0 ………………………………….. 260
Breve historia de la analítica Web …………… 261
Enfoques de analítica Web …………………….. 262
Métricas ………………………………………………. 262
______________ Big Data. Análisis de grandes volúmenes de datos en organizaciones| XV
BIG DATA – LUIS JOYANES AGUILAR Alfaomega
Visitas ……………………………………………. 263
Visitante ………………………………………… 263
Visitante único ……………………………….. 264
Tiempo en la página y en el sitio ……….. 265
Tasa de rebote ……………………………….. 265
Tasa de salida …………………………………. 265
Tasa de conversión ………………………….. 266
Compromiso …………………………………… 266
Otras métricas ………………………………… 267
Indicadores clave de rendimiento (KPI)…….. 268
Casos prácticos ……………………………….. 269
Informes (Google Analytics) ……………… 270
Informes estándar …………………………… 270
Informes personalizados ………………….. 271
Informes sociales ……………………………. 271
Segmentación ………………………………………. 271
Herramientas de analítica Web ……………….. 272
Analítica Web móvil (Mobile analytics) …….. 274
Información de las herramientas de analítica
móvil …………………………………………….. 275
Herramientas de analítica móvil ……….. 275
Caso de estudio: Google Analytics …….. 276
Resumen ……………………………………………… 277
Recursos ………………………………………………. 278
Notas …………………………………………………… 279
CAPÍTULO 12
ANALÍTICA SOCIAL ………………………….. 281
El exceso de información: un problema
global ………………………………………………….. 282
La proliferación de datos sociales ……………. 283
¿Qué es analítica social? ………………………… 284
Métricas sociales …………………………………… 285
Métricas de sitios Web …………………….. 286
Métricas de social media …………………. 286
Indicadores clave de rendimiento (KPI)…….. 288
Diferencias entre métricas y KPI ……………… 289
Ejemplo práctico simple de métrica versus KPI
…………………………………………………………… 289
Herramientas de analítica social ……………… 290
Estadística social …………………………….. 291
Herramientas de investigación. Monitorización
…………………………………………………………… 292
Herramientas globales muy reconocidas ….. 293
Herramientas de analítica Web social ………. 294
Herramientas de reputación e influencia
social …………………………………………………… 295
Herramientas de medida de influencia .
…………………………………………………….. 295
Herramientas de reputación corporativa
…………………………………………………….. 296
Herramientas de análisis de actividad en redes
…………………………………………………………… 297
Facebook ………………………………………. 297
Twitter ………………………………………….. 298
Herramientas de gestión de multiplataforma y
multiperfiles ………………………………………… 299
Análisis de sentimientos ………………………… 300
Herramientas de análisis de
sentimientos ………………………………….. 301
Casos de estudio de analítica social …………. 303
BBVA …………………………………………….. 303
Universidad de Alicante …………………… 303
Social Relationship Management de
Oracle …………………………………………… 303
Otras herramientas …………………………. 304
Resumen ……………………………………………… 304
Notas ………………………………………………….. 305
Parte IV. El futuro de la era Big Data
CAPÍTULO 13
LAS NUEVAS TENDENCIAS
TECNOLÓGICAS Y SOCIALES QUE TRAEN
LA NUBE Y LOS BIG DATA ………………. 307
El nexo de la fuerza ……………………………….. 308
BYOD…………………………………………………… 309
¿Qué es el movimiento BYOD? …………. 310
¿Cómo puede el departamento informático
gestionar y proteger los dispositivos móviles
de los empleados? ………………………….. 310
Ventajas y riesgos …………………………… 311
Los hábitos del trabajo ……………………. 311
El impulso debe venir de las compañías 312
Consumerización de TI …………………………… 313
El meteórico ascenso de los dispositivos
móviles personales …………………………. 315
¿Cómo puede beneficiarse su empresa
de la consumerización? ……………………. 315
El informe de ENISA sobre la
consumerización en las empresas ……… 316
Crowdsourcing ……………………………………… 317
Casos de estudio …………………………….. 318
Crowdfunding ………………………………………. 319
Características del crowdfunding ………. 320
Casos de estudio de crowdfunding ……. 320
XVI | Contenido _________________________________________________
Alfaomega BIG DATA – LUIS JOYANES AGUILAR
Reseña histórica del crowdfunding ……. 322
Gamificación /Ludificación ……………………… 322
¿Dónde utilizar la ludificación? …………. 323
Ventajas de la gamificación ……………… 323
Resumen ……………………………………………… 324
Recursos ………………………………………………. 324
Notas …………………………………………………… 325
CAPÍTULO 14
BIG DATA EN 2020 ………………………….. 327
Los retos del futuro ……………………………. 328
Los dominios de Big Data sin explorar … 328
Necesidad incumplida de proteger los
datos …………………………………………….. 329
El protagonismo de los países emergentes
…………………………………………………….. 329
La tercera plataforma…………………………….. 330
Analítica M2M: ¿El próximo reto para el Big
Data? …………………………………………………… 331
M2M: Oportunidad de Big
Data para operadores móviles ………….. 332
Internet de las cosas (the Internet of the
things) …………………………………………… 333
Analítica predictiva ……………………………….. 333
Análisis de sentimientos ………………………… 333
¿Cómo va a cambiar la vida por Big Data en el
año 2013? ……………………………………………. 334
¿Cómo Big Data y cloud computing van a cambiar
el entretenimiento en el año 2013? …………. 335
¿Cómo va a cambiar la salud por Big Data? . 336
¿Cómo pueden afectar los Big Data a la actividad
física y al deporte? ………………………………… 336
La cara humana de Big Data ……………………. 337
Big Data y las tendencias tecnológicas en 2013
(Gartner) ……………………………………………… 340
El mercado futuro de Big Data ………………… 341
Las cinco grandes predicciones “muy
profesionales” de Big Data para 2013 ………. 341
Emergencia de una arquitectura de Big
Data………………………………………………. 342
Hadoop no será la única oferta
profesional …………………………………….. 342
Plataformas de Big Data “llave en mano”
…………………………………………………….. 342
El centro de atención será el gobierno
de datos ………………………………………… 342
Emergencia de soluciones de analítica
“extremo a extremo” (end-to-end) ……. 343
El futuro seguirá sin ser lo que era ………….. 343
Notas ………………………………………………….. 344
APÉNDICE A
EL PANORAMA DE BIG DATA (THE BIG
DATA LANDSCAPE ) …………………………. 347
APÉNDICE B
PLATAFORMAS DE BIG DATA (DOUG
HENSCHEN) ………………………………………. 351
APÉNDICE C
PLATAFORMAS DE HADOOP (DOUG
HENSCHEN) ………………………………………. 361
APÉNDICE D
GLOSARIO …………………………………………. 373
APÉNDICE E
BIBLIOGRAFÍA Y RECURSOS WEB … 393