Fundamentos de ingeniería de datos. Planifique y desarrolle sistemas robustos de datos

Sinopsis del producto

La ingeniería de datos ha crecido rápidamente en la última década. Esto ha ocasionado que muchos ingenieros de software, científicos de datos y analistas se hayan quedado estancados y busquen conseguir una visión completa de esta materia. Si quiere estar a la última y desea aprender a planificar y desarrollar sistemas para satisfacer las necesidades de su organización y las de sus clientes, este es el libro indicado. En él se explica cómo evaluar las mejores tecnologías disponibles a través del ciclo de vida del framework de la ingeniería de datos. n nLos autores Joe Reis y Matt Housley detallan, en este libro, el ciclo de vida de la ingeniería de datos y muestran cómo unir una variedad de tecnologías en la nube para satisfacer las necesidades de los procesos consumidores de datos que se encuentran en las fases posteriores al ciclo de vida de la ingeniería de datos. n nGracias a esta lectura, entenderá cómo aplicar los conceptos de generación de datos, ingestión, orquestación, transformación, almacenamiento y gobernanza, que son críticos en cualquier entorno de datos, independientemente de la tecnología subyacente. Asimismo, con este libro: n n• Obtendrá una visión concisa de todo el panorama de la ingeniería de datos n n• Evaluará los problemas de ingeniería de datos mediante el uso integral de las mejores prácticas n n• Sabrá elegir el conjunto más adecuado de tecnologías, arquitecturas y procesos de datos n n• Utilizará el ciclo de vida de la ingeniería de datos para diseñar y desarrollar una arquitectura sólida n n• Incorporará la gobernanza y la seguridad de los datos en todo el ciclo de vida de la ingeniería de datos n nAUTORES n nJoe Reis nEs un “científico en recuperación de datos”, ingeniero y arquitecto de datos. n nMatt Housley nEs consultor de ingeniería de datos y especialista en la nube. n nCONTENIDO n nPrefacio ........................................................... xiii nParte I. Fundamentos y componentes n1. Descripción de la ingeniería de datos ..................... 3 n¿Qué es la ingeniería de datos? ............................... 3 nDefinición de ingeniería de datos .............................. 4 nCiclo de vida de la ingeniería de datos .................. 5 nEvolución del ingeniero de datos ............................ 6 nIngeniería de datos y ciencia de datos ................. 12 nHabilidades y actividades de la ingeniería de datos .. 13 nLa madurez de los datos y el ingeniero de datos n.................................... 14 nFormación y habilidades del ingeniero de datos ....... 18 nResponsabilidades empresariales .................... 19 nResponsabilidades técnicas.............................. 20 nEl progreso de las funciones de la ingeniería de datos, nde la A a la B .......................................... 23 nIngenieros de datos de la organización ................. 24 nIngenieros de datos de cara a la organización y de cara nal exterior ....... 24 nIngenieros de datos y otros roles técnicos ................ 26 nIngenieros de datos y liderazgo empresarial ............ 30 nConclusión ....................................................... 34 nRecursos adicionales ........................................ 34 n2. Ciclo de vida de la ingeniería de datos .............. 37 n¿Qué es el ciclo de vida de la ingeniería de datos? n................................... 37 nEl ciclo de vida de los datos frente al ciclo de vida de la ningeniería de datos .................................. 38 nGeneración: sistemas fuente ........................... 39 nAlmacenamiento ............................................. 42 nIngestión ......................................................... 44 nTransformación ............................................... 48 nServicio de datos .............................................. 49 nPrincipales undercurrents en el ciclo de vida de la ningeniería de datos ..... 54 nSeguridad ........................................................ 55 nGestión de datos .............................................. 56 nOperaciones de datos ...................................... 66 nArquitectura de datos ...................................... 71 nOrquestación ................................................... 72 nIngeniería de software ..................................... 74 nConclusión ....................................................... 76 nRecursos adicionales ........................................ 77 n3. Diseño de la buena arquitectura de datos ............. 79 n¿Qué es la arquitectura de datos? ....................... 79 nDefinición de arquitectura empresarial ................. 79 nDefinición de arquitectura de datos ...................... 83 nLa «buena» arquitectura de datos ...................... 84 nPrincipios de la buena arquitectura de datos ......... 85 nPrincipio 1: elegir bien los componentes comunes n.................................. 86 nPrincipio 2: planificar para el fracaso ................. 87 nPrincipio 3: ser arquitecto de la escalabilidad ......... 88 nPrincipio 4: la arquitectura es liderazgo ............. 89 nPrincipio 5: hay que ser siempre arquitecto ........ 90 nPrincipio 6: desarrollar sistemas poco acoplados ..... 90 nPrincipio 7: adoptar decisiones reversibles .............. 92 nPrincipio 8: dar prioridad a la seguridad ................... 92 nPrincipio 9: adoptar FinOps ............................. 94 nPrincipales conceptos de arquitectura ..................... 96 nDominios y servicios ....................................... 96 nSistemas distribuidos, escalabilidad y diseño para el nfracaso ................. 98 nAcoplamiento fuerte frente a acoplamiento débil: nniveles, monolitos y microservicios .......................... 99 nAcceso de usuarios: un usuario frente a varios usuarios n...................... 105 nArquitectura basada en eventos ............................ 105 nProyectos Brownfield frente a Greenfield ............. 106 nEjemplos y tipos de arquitecturas de datos ............ 108 nAlmacén de datos ........................................ 108 nLagos de datos ............................................... 112 nConvergencia, lagos de datos de próxima generación y nplataforma de datos ............................................. 114 nPila de datos moderna ............................................ 114 nArquitectura Lambda ..................................... 115 nArquitectura Kappa ........................................ 116 nEl modelo Dataflow y la unificación de lotes y nstreaming ..................... 117 nArquitectura para Internet de las cosas ................ 118 nMalla de datos ............................................ 121 nOtros ejemplos de arquitectura de datos ............... 122 n¿Quién participa en el diseño de la arquitectura de ndatos? ...................... 123 nConclusión ..................................................... 123 nRecursos adicionales ...................................... 123 n4. Elección de las tecnologías en todo el ciclo de vida nde la ingeniería de datos ......................... 129 nTamaño y capacidades del equipo ................ 130 nVelocidad de comercialización ....................... 131 nInteroperabilidad ........................................... 131 nOptimización de costes y valor empresarial ......... 132 nCoste total de propiedad ................................ 132 nCoste total de oportunidad de la propiedad .......... 133 nFinOps ......................................................... 134 nEl presente frente al futuro: tecnologías inmutables nfrente a transitorias ..................... 135 nNuestros consejos ........................................ 137 nUbicación ....................................................... 137 nUbicación en las instalaciones ........................ 137 nUbicación en la nube .................................... 138 nUbicación en la nube híbrida.......................... 142 nUbicación en la multinube ............................. 143 nUbicación descentralizada: blockchain y computación nde borde ......... 144 nNuestros consejos ........................................ 145 nArgumentos para la repatriación de la nube ....... 146 nCrear frente a comprar ................................. 148 nSoftware de código abierto .......................... 149 nJardines amurallados en propiedad ............... 153 nNuestros consejos ....................................... 155 nSistema monolítico frente a sistema modular ....... 155 nEl monolito .................................................... 156 nModularidad................................................... 157 nPatrón de monolito distribuido...................... 158 nNuestros consejos ......................................... 159 nSin servidores o con servidores ...................... 159 nSin servidores ................................................. 160 nContenedores ............................................ 161 nCómo evaluar la tecnología de servidores frente a la de nsin servidores ..................................... 162 nNuestros consejos .......................................... 163 nOptimización, rendimiento y los conflictos de análisis nde rendimiento ..... 164 nBig Data... de los años 90 ...................................... 165 nComparaciones absurdas de costes .............. 166 nOptimización asimétrica .............................. 166 nAdvertencia a los interesados ....................... 166 nLos undercurrents y su impacto en la elección de las ntecnologías ........... 166 nGestión de datos ........................................ 167 nOperaciones de datos (DataOps) ................... 167 nArquitectura de datos ................................ 168 nEjemplo de orquestación: Airflow ............ 168 nIngeniería de software ................................ 169 nConclusión ................................................ 169 nRecursos adicionales .................................. 170 nParte II. El ciclo de vida de la ingeniería de datos en nprofundidad n5. Generación de datos en los sistemas fuente ...... 173 nFuentes de datos: ¿cómo se crean los datos? ......... 174 nSistemas fuente: ideas principales ......................... 174 nArchivos y datos no estructurados .......................... 174 nAPI ................................................................. 175 nBase de datos de la aplicación (sistemas OLTP) n.................................. 175 nSistema de procesamiento analítico en línea ......... 177 nCaptura de datos de cambios ................................. 178 nRegistros .................................................. 178 nRegistros de la base de datos.................................. 180 nCRUD ........................................................ 180 nPatrón de solo inserción .............................. 181 nMensajes y flujos ...................................... 182 nTipos de tiempos ............................................ 183 nDetalles prácticos de los sistemas fuente ............... 184 nBases de datos ............................................... 184 nAPI .............................................................. 194 nIntercambio de datos ..................................... 196 nFuentes de datos de terceros ......................... 197 nColas de mensajes y plataformas de streaming de neventos ................. 198 nCon quién trabajará ..................................... 202 nLos undercurrents y su impacto en los sistemas fuente n.......................... 204 nSeguridad ..................................................... 204 nGestión de datos ......................................... 204 nOperaciones de datos (DataOps) ................... 205 nArquitectura de datos ................................. 206 nOrquestación ................................................. 207 nIngeniería de software ....................... 208 nConclusión ..................................................... 209 nRecursos adicionales ................................. 209 n6. Almacenamiento ................................... 211 nIngredientes básicos del almacenamiento de datos n........ 213 nUnidad de disco magnético ............................ 213 nUnidad de estado sólido ................................. 215 nMemoria de acceso aleatorio ......................... 216 nRed y CPU ..................................................... 218 nSerialización ................................................... 218 nCompresión .................................................. 219 nAlmacenamiento en caché ......................... 220 nSistemas de almacenamiento de datos .......... 221 nAlmacenamiento en una sola máquina frente al nalmacenamiento distribuido ....................... 221 nConsistencia eventual frente a consistencia fuerte n................................ 222 nAlmacenamiento de archivos ......................... 223 nAlmacenamiento en bloques ....................... 225 nAlmacenamiento de objetos ....................... 230 nSistemas de almacenamiento basados en caché y nmemoria ................ 236 nSistema de archivos distribuidos Hadoop ...... 237 nAlmacenamiento de streaming ................... 238 nÍndices, particiones y clustering .................... 238 nAbstracciones de almacenamiento en ingeniería de ndatos ...................... 241 nAlmacén de datos .......................................... 241 nLago de datos ............................................... 242 nData lakehouse .......................................... 242 nPlataformas de datos ................................. 243 nArquitectura de almacenamiento de streaming a lotes n.......................... 244 nGrandes ideas y tendencias en materia de nalmacenamiento .................. 244 nCatálogo de datos ...................................... 244 nIntercambio de datos ............................ 245 nEsquema ....................................................... 246 nSeparación del cómputo del almacenamiento ........ 247 nCiclo de vida del almacenamiento de datos y retención nde datos ......... 250 nAlmacenamiento de un solo cliente frente al de nmulticliente ................. 254 nCon quién trabajará .................................. 255 nUndercurrents ............................................ 256 nSeguridad .................................................. 256 nGestión de datos ........................................ 256 nOperaciones de datos (DataOps) .................. 257 nArquitectura de datos ................................ 258 nOrquestación ............................................. 258 nIngeniería de software .................................. 258 nConclusión ................................................. 259 nRecursos adicionales .................................. 259 n7. Ingestión ............................................... 261 n¿Qué es la ingestión de datos? ....................... 261 nConsideraciones clave de ingeniería para la fase de ningestión ................ 263 nDatos acotados frente a datos no acotados ........... 264 nFrecuencia...................................................... 265 nIngestión síncrona frente a asíncrona ..................... 266 nSerialización y deserialización ..................... 267 nTasa de transferencia efectiva y escalabilidad ....... 268 nFiabilidad y durabilidad .................................. 268 nCarga útil ........................................................ 269 nPatrones push frente a pull frente a sondeo ........... 272 nConsideraciones sobre la ingestión por lotes ......... 273 nExtracción instantánea o diferencial .............. 274 nExportación e ingestión basadas en archivos .......... 274 nETL frente a ELT .......................................... 275 nInserciones, actualizaciones y tamaño de los lotes n.............................. 275 nMigración de datos ........................................ 276 nConsideraciones sobre la ingestión de mensajes y nflujos ........................ 276 nEvolución del esquema ................................. 277 nDatos tardíos .............................................. 277 nPedidos y entregas múltiples ...................... 277 nRepetición ................................................... 278 nTiempo de vida ............................................. 278 nTamaño del mensaje ................................... 278 nTratamiento de errores y colas de letras muertas n................................. 279 nPush y pull del consumidor .......................... 279 nUbicación........................................................ 279 nFormas de ingestión de datos ........................ 280 nConexión directa a la base de datos .............. 280 nCaptura de datos de cambios ........................ 281 nAPI ................................................................. 284 nColas de mensajes y plataformas de streaming de neventos ................. 285 nConectores de datos gestionados .................. 286 nMovimiento de datos en el almacenamiento de nobjetos ........................ 286 nEDI.................................................................. 287 nBases de datos y exportación de archivos ............... 287 nProblemas prácticos con los formatos de archivo más nhabituales ........ 288 nShell ............................................................. 288 nSSH ........................................................... 289 nSFTP y SCP ...................................................... 289 nWebhooks ..................................................... 290 nInterfaz web ................................................. 290 nRaspado web ................................................ 291 nDispositivos de transferencia para la migración de ndatos ..................... 292 nIntercambio de datos ................................. 292 nCon quién trabajará .................................... 293 nPartes interesadas de las fases anteriores del proceso n........................ 293 nPartes interesadas de las fases posteriores del proceso n...................... 294 nUndercurrents ............................................... 294 nSeguridad ................................................... 294 nGestión de datos ............................................ 295 nOperaciones de datos (DataOps) ................... 297 nOrquestación .............................................. 299 nIngeniería de software ................................. 299 nConclusión .................................................. 300 nRecursos adicionales ................................ 300 n8. Consultas, modelización y transformación . 301 nConsultas ................................................... 302 n¿Qué es una consulta? ................................ 302 nVida de la consulta ..................................... 304 nOptimizador de consultas .............................. 305 nMejora del rendimiento de las consultas ............... 305 nConsultas sobre datos de streaming .............. 312 nModelado de datos ................................... 318 n¿Qué es el modelo de datos? ..................... 319 nModelos de datos conceptuales, lógicos y físicos .. 320 nNormalización ............................................. 321 nTécnicas de modelización de datos analíticos por lotes n....................... 325 nModelado de datos de streaming .............. 340 nTransformaciones .................................. 341 nTransformaciones por lotes ..................... 342 nVistas materializadas, federación y virtualización de nconsultas ............ 357 nTransformaciones y procesamiento de streaming .. 360 nCon quién trabajará ............................... 364 nPartes interesadas de las fases anteriores del proceso n....................... 364 nPartes interesadas de la cadena de suministro ....... 364 nUndercurrents .......................................... 365 nSeguridad ................................................. 365 nGestión de datos ........................................ 365 nOperaciones de datos (DataOps) ................. 366 nArquitectura de datos ................................. 367 nOrquestación .............................................. 368 nIngeniería de software ................................... 368 nConclusión ................................................. 369 nRecursos adicionales .................................... 370 n9. Servicio de datos para analítica, machine learning y nETL inversa ............. 373 nConsideraciones generales para el servicio de datos n.............................. 374 nConfianza ..................................................... 374 n¿Cuál es el caso de uso y quién es el usuario? ........ 375 nProductos de datos .................................... 376 n¿Autoservicio o no? ................................... 377 nDefiniciones de datos y lógica ....................... 379 nMalla de datos .............................................. 380 nAnalítica ......................................................... 380 nAnalítica empresarial ................................... 380 nAnalítica operativa ...................................... 382 nAnalítica integrada .................................... 385 nMachine learning .......................................... 386 nLo que el ingeniero de datos debe saber sobre ML n.................................. 387 nFormas del servicio de datos para analítica y ML n.................................... 388 nIntercambio de archivos ................................ 389 nBases de datos .......................................... 390 nSistemas de streaming .................................. 391 nFederación de Consultas .............................. 391 nIntercambio de datos ................................. 392 nCapas semánticas y métricas ..................... 393 nServicio de datos de notebooks ................ 394 nETL inversa ............................................... 396 nCon quién trabajará ................................... 398 nUndercurrents .......................................... 399 nSeguridad .................................................. 399 nGestión de datos ......................................... 400 nOperaciones de datos (DataOps) .................. 401 nArquitectura de datos ............................... 401 nOrquestación ............................................... 402 nIngeniería de software ................................. 403 nConclusión ..................................................... 403 nRecursos adicionales ................................... 404 nParte III. Seguridad, privacidad y el futuro de la ningeniería de datos n10. Seguridad y privacidad ......................... 409 nLas personas .................................................. 410 nEl poder del pensamiento negativo ............... 410 nSea siempre precavido ........................... 411 nProcesos.................................................. 411 nEl teatro de la seguridad frente al hábito de la nseguridad .................... 411 nSeguridad activa ........................................ 412 nPrincipio del mínimo privilegio ................... 412 nResponsabilidad compartida en la nube ....... 413 nHaga siempre una copia de seguridad de sus datos n............................. 413 nEjemplo de política de seguridad ................ 413 nTecnología ............................................... 415 nSistemas de parcheo y actualización ............. 415 nCifrado ........................................................ 415 nRegistro, monitorización y alertas ................. 416 nAcceso a la red .......................................... 417 nSeguridad para la ingeniería de datos de bajo nivel n.............................. 418 nConclusión ..................................................... 419 nRecursos adicionales ................................... 419 n11. El futuro de la ingeniería de datos ............ 421 nEl ciclo de vida de la ingeniería de datos no va a ndesaparecer ............... 421 nDeclive de la complejidad y auge de las herramientas nde datos fáciles de usar ........... 422 nSistema operativo de datos a escala de la nube y nmejora de la interoperabilidad ...................... 423 nIngeniería de datos «empresarial» ................ 425 nLas titulaciones y las responsabilidades se ntransformarán... ................... 426 nMás allá de la pila de datos moderna, hacia la pila de ndatos vivos ......... 427 nPila de datos en vivo ................................. 428 nPipelines de streaming y bases de datos analíticas en ntiempo real .......................................... 428 nFusión de datos con aplicaciones ................ 430 nRetroalimentación fuerte entre aplicaciones y ML n................................ 430 nLos datos de la materia oscura y el auge de... ¿las hojas nde cálculo? ................................ 430 nConclusión ................................................... 431 n12. Detalles técnicos de serialización y compresión 433 n13. Redes en la nube ................................... 441

9786075760940

Matt Housley, Joe Reis Y