Data Mesh

Descripción

En materia de datos, actualmente se atraviesa por un punto de inflexión, en el que las soluciones de gestión ya no se encuentran a la altura de la complejidad de las organizaciones, de la proliferación de las fuentes de datos y del alcance de las aspiraciones de obtener valor de estos con inteligencia artificial y analítica.

En este libro práctico, la autora Zhamak Dehghani presenta Data Mesh, un paradigma sociotécnico descentralizado, basado en una arquitectura distribuida moderna que proporciona un nuevo enfoque para la obtención, el intercambio, el acceso y la gestión de datos analíticos.

Dehghani guía a profesionales, arquitectos, líderes técnicos y responsables de la toma de decisiones en sus propósitos, desde la arquitectura tradicional de Big Data hasta un enfoque distribuido y multidimensional de la gestión de datos analíticos. En Data Mesh, se trata a estos como un producto, se consideran los dominios como una cuestión primordial, se utiliza el concepto de «plataforma» para crear una infraestructura de datos de autoservicio y se presenta un modelo informático federado de gestión de datos.

Gracias a la lectura de este libro:

Obtendrá una introducción completa a los principios de la malla de datos y sus componentes
Podrá diseñar una arquitectura de Data Mesh
Conseguirá guiar una estrategia de Data Mesh y su ejecución
Navegará por el diseño organizativo hacia un modelo descentralizado de datos
Irá más allá de los repositorios y lagos de datos tradicionales hacia una malla de datos distribuida
Sin duda, en cuanto a datos se refiere, se hace presente un nuevo paradigma que será crucial para el desarrollo de los profesionales. Con este libro, podrá formar parte de él y disfrutará de los beneficios de Data Mesh desde su origen.

Zhamak Dehghani es miembro de varios consejos asesores de tecnología, entre ellos el de Thoughtworks. Zhamak es una defensora de la descentralización de todas las cosas, incluida la arquitectura, los datos y, en última instancia, el poder. Es la fundadora de Data Mesh.

Preámbulo …………………………………………………………………………………. xv
Prefacio ……………………………………………………………………………………. xvii
Prólogo: Imagine una malla de datos ……………………………………………. xxv
Parte I. ¿Qué es Data Mesh o la «malla de datos»?
1. Data Mesh en pocas palabras …………………………………………………….. 3
Los beneficios …………………………………………………………………………………………. 3
Los cambios ……………………………………………………………………………………………. 4
Los principios ………………………………………………………………………………………….. 6
Principio de propiedad del dominio ………………………………………………………………… 6
Principio de los datos como producto ……………………………………………………………… 7
Principio de la plataforma de datos de autoservicio ………………………………………….. 8
Principio de gobernanza informática federada …………………………………………………. 9
Interacción de los principios……………………………………………………………………… 9
Vistazo del modelo de Data Mesh ……………………………………………………………. 11
Los datos………………………………………………………………………………………………. 12
Los datos operativos ……………………………………………………………………………………. 12
Los datos analíticos …………………………………………………………………………………….. 13
El origen ……………………………………………………………………………………………….. 14
2. Principio de propiedad del dominio …………………………………………… 17
Información breve sobre el diseño orientado al dominio ……………………………. 19
Uso del diseño estratégico del DDD para los datos ……………………………………. 20
Arquetipos de datos de dominio ……………………………………………………………… 23
Datos de dominio alineados con la fuente ……………………………………………………… 25
Datos de dominio agregados ………………………………………………………………………… 26
Datos de dominio alineados con el consumidor ……………………………………………… 27
Transición hacia la propiedad del dominio ……………………………………………….. 28
Impulse la propiedad de los datos hacia arriba ……………………………………………….. 28
Defina «múltiples modelos conectados» ……………………………………………………….. 29
Aproveche los datos de dominio más relevantes: no espere
una única fuente de la verdad ………………………………………………………………………. 30
Oculte las tuberías de datos como implementación interna del dominio …………… 30
Repaso …………………………………………………………………………………………………. 31
3. Principio de los datos como producto ………………………………………… 33
Uso del concepto de «producto» en los datos…………………………………………… 35
Atributos básicos de uso de un producto de datos ………………………………………….. 38
Transición hacia los datos como producto ………………………………………………… 47
Incluya la propiedad de los productos de datos en los dominios ………………………. 48
Reformule la nomenclatura para crear un cambio ………………………………………….. 49
Piense en los datos como un producto, no como un simple activo ……………………. 49
Establezca una cultura de confianza, pero con verificación de datos …………………. 50
Una datos y cálculo como una unidad lógica ………………………………………………….. 51
Repaso …………………………………………………………………………………………………. 52
4. Principio de la plataforma de datos de autoservicio …………………….. 53
Plataforma de la malla de datos: compare y contraste ………………………………. 55
Servicio a los equipos autónomos orientados al dominio …………………………………. 57
Gestión de productos de datos autónomos e interoperables ……………………………. 57
Una plataforma continua de recursos operativos y analíticos …………………………… 58
Diseñado para la mayoría en general …………………………………………………………….. 59
En favor de las tecnologías descentralizadas ………………………………………………….. 60
Agnóstica respecto al dominio ……………………………………………………………………… 61
El concepto de «plataforma de la malla de datos» …………………………………….. 61
Habilite a los equipos autónomos para obtener valor de los datos ……………………. 64
Intercambie valor con productos de datos autónomos e interoperables ……………. 65
Acelere el intercambio de valor reduciendo la carga cognitiva …………………………. 66
Comparta datos a escala ……………………………………………………………………………… 68
Apoye una cultura de innovación integrada …………………………………………………… 69
Transición hacia una plataforma de malla de datos de autoservicio …………….. 70
Diseñe primero las API y los protocolos …………………………………………………………. 70
Prepárese para la adopción en general ………………………………………………………….. 71
Haga un inventario y simplifique …………………………………………………………………… 72
Cree API de nivel superior para gestionar productos de datos ………………………….. 72
Construya experiencias, no mecanismos ……………………………………………………….. 72
Comience con la raíz más pequeña y coseche para crecer ……………………………….. 73
Repaso …………………………………………………………………………………………………. 74
5. Principio de gobernanza informática federada ……………………………. 75
Uso del concepto de «sistema» en la gestión de la malla de datos ………………. 78
Mantener el equilibrio dinámico entre la autonomía del dominio y
la interoperabilidad global …………………………………………………………………………… 79
Adoptar la topología dinámica como estado inicial …………………………………………. 84
Utilizar la automatización y la arquitectura distribuida ……………………………………. 84
Uso de la federación en el modelo de gobernanza …………………………………….. 85
Equipo federado …………………………………………………………………………………………. 86
Valores guía ……………………………………………………………………………………………….. 88
Las políticas ……………………………………………………………………………………………….. 91
Incentivos ………………………………………………………………………………………………….. 93
Uso de la informática en el modelo de gobernanza …………………………………… 94
Estándares como código………………………………………………………………………………. 95
Las políticas como código …………………………………………………………………………….. 96
Pruebas automatizadas ……………………………………………………………………………….. 97
Control automatizado …………………………………………………………………………………. 97
Transición a la gobernanza informática federada ………………………………………. 97
Delegue la responsabilidad en los dominios …………………………………………………… 98
Integrar la ejecución de políticas en cada producto de datos ……………………………. 98
Automatice la habilitación y el control en vez de intervenir ……………………………… 99
Modele las deficiencias ……………………………………………………………………………….. 99
Mida el efecto de la red……………………………………………………………………………… 100
Prefiera el cambio a la constancia ……………………………………………………………….. 100
Repaso ……………………………………………………………………………………………….. 100
Parte II. ¿Por qué Data Mesh?
6. El punto de inflexión ……………………………………………………………….105
Grandes expectativas acerca de los datos ………………………………………………. 106
La gran divisoria de los datos ………………………………………………………………… 108
Escala: encuentro de un nuevo tipo ……………………………………………………….. 110
Más allá del orden ……………………………………………………………………………….. 112
Aproximación a la etapa de rendimiento ………………………………………………… 113
Repaso ……………………………………………………………………………………………….. 113
7. Después del punto de inflexión …………………………………………………115
Responda al cambio con elegancia en una empresa compleja …………………… 116
Alinee el negocio, la tecnología y, ahora, los datos analíticos …………………………. 117
Disminuya la distancia entre los datos analíticos y los operativos ……………………. 118
Localice los cambios de datos en los dominios empresariales …………………………. 120
Reduzca la complejidad accidental de las tuberías y la copia de datos …………….. 121
Mantenga la agilidad frente al crecimiento …………………………………………….. 122
Elimine los cuellos de botella centralizados y monolíticos ………………………………. 122
Reduzca la coordinación de los conductos de datos ………………………………………. 123
Reduzca la coordinación de la gobernanza de datos ……………………………………… 124
Habilite la autonomía ………………………………………………………………………………… 125
Aumente la relación entre el valor de los datos y el de la inversión …………… 126
Abstraer la complejidad técnica con una plataforma de datos ………………………… 127
Incorporar el concepto de «producto en todo» …………………………………………….. 127
Trascienda los límites ………………………………………………………………………………… 128
Repaso ……………………………………………………………………………………………….. 128
8. Antes del punto de inflexión …………………………………………………….131
La evolución de las arquitecturas de datos analíticos ……………………………….. 131
Primera generación: arquitectura del almacén de datos ………………………………… 132
Segunda generación: arquitectura del lago de datos ……………………………………… 133
Tercera generación: arquitectura de nube multimodal ………………………………….. 135
Características de la arquitectura de datos analíticos ………………………………. 136
Monolítica ……………………………………………………………………………………………….. 138
Propiedad centralizada de los datos ……………………………………………………………. 143
Orientación tecnológica …………………………………………………………………………….. 144
Repaso ……………………………………………………………………………………………….. 148
Parte III. Cómo diseñar la arquitectura de Data Mesh
9. Arquitectura lógica …………………………………………………………………153
Interfaces de intercambio de datos analíticos orientados al dominio …………. 157
Diseño de la interfaz operativa …………………………………………………………………… 158
Diseño de la interfaz de datos analíticos ………………………………………………………. 159
Dependencias de datos analíticos entre dominios …………………………………………. 160
El producto de datos como cuanto arquitectónico …………………………………… 161
Componentes estructurales de un producto de datos ……………………………………. 162
Interacciones de intercambio de datos del producto de datos………………………… 168
API de detección y observación de datos ……………………………………………………… 170
La plataforma de datos multiplano ………………………………………………………… 171
Un plano de plataforma …………………………………………………………………………….. 172
Plano (de utilidad) de la infraestructura de datos ………………………………………….. 173
Plano de experiencia del producto de datos …………………………………………………. 174
Plano de experiencia de la malla …………………………………………………………………. 174
Ejemplo ……………………………………………………………………………………………………. 174
Políticas informáticas integradas …………………………………………………………… 175
Sidecar del producto de datos …………………………………………………………………….. 177
Contenedor informático del producto de datos ……………………………………………. 178
Puerto de control ……………………………………………………………………………………… 179
Repaso ……………………………………………………………………………………………….. 180
10. La arquitectura de la plataforma de datos multiplano ………………….183
Diseñar una plataforma basada en los roles de los usuarios ……………………… 186
Rol del desarrollador de productos de datos …………………………………………… 188
Conciba, explore, arranque y genere …………………………………………………………… 190
Construya, pruebe, instale y opere ……………………………………………………………… 193
Mantenga, desarrolle y retire ……………………………………………………………………… 196
Rol del consumidor de productos de datos …………………………………………….. 198
Conciba, explore, arranque, genere …………………………………………………………….. 201
Construya, pruebe, instale, opere ……………………………………………………………….. 201
Mantenga, desarrolle y retire ……………………………………………………………………… 203
Repaso ……………………………………………………………………………………………….. 203
Parte IV. Cómo diseñar la arquitectura del producto de datos
11. Diseño de un producto de datos a partir de los permisos ………………207
Permisos de los productos de datos ………………………………………………………. 208
Características de la arquitectura de productos de datos …………………………. 212
Diseño inspirado en la simplicidad de los sistemas adaptables complejos …… 213
Comportamiento emergente a partir de políticas locales simples……………………. 213
Sin orquestador central ……………………………………………………………………………… 215
Repaso ……………………………………………………………………………………………….. 215
12. Diseño de consumo, transformación y servicio de datos ……………….217
Servicio de datos …………………………………………………………………………………. 217
Las necesidades de los usuarios de datos …………………………………………………….. 217
Propiedades del diseño del servicio de datos ……………………………………………….. 220
Diseño del servicio de datos ……………………………………………………………………….. 235
Datos para consumo…………………………………………………………………………….. 236
Arquetipos de fuentes de datos ………………………………………………………………….. 237
Localización de los datos para consumo ………………………………………………………. 241
Diseño de los datos para consumo ………………………………………………………………. 243
Datos para transformar ………………………………………………………………………… 245
La transformación programática frente a la no programática …………………………. 246
La transformación basada en el flujo de datos………………………………………………. 248
El ML como transformación ……………………………………………………………………….. 249
Transformación de la variable de tiempo ……………………………………………………… 249
Diseño de la transformación ………………………………………………………………………. 250
Repaso ……………………………………………………………………………………………….. 251
13. Diseño de la detección, la comprensión y
la recopilación de datos …………………………………………………………..253
Descubra, comprenda, confíe y explore ………………………………………………….. 253
Inicie la detección con el autorregistro ………………………………………………………… 257
Descubra el URI global ……………………………………………………………………………….. 257
Comprenda los modelos semánticos y sintácticos …………………………………………. 258
Establezca confianza con las garantías de los datos ……………………………………….. 260
Explore la estructura de los datos ……………………………………………………………….. 263
Aprenda con la documentación ………………………………………………………………….. 264
Descubra, explore y comprenda el diseño ……………………………………………………. 265
Recopilación de datos ………………………………………………………………………….. 266
Propiedades de diseño de los datos de consumo ………………………………………….. 268
Enfoques tradicionales de la recopilación de datos ……………………………………….. 269
Diseño de la recopilación de datos ………………………………………………………………. 273
Repaso ……………………………………………………………………………………………….. 276
14. Diseño de la gestión, el gobierno y la observación de datos …………..279
Gestione el ciclo de vida ……………………………………………………………………….. 279
Diseño de la gestión del ciclo de vida …………………………………………………………… 280
Componentes del manifiesto del producto de datos ……………………………………… 281
Gestione los datos ……………………………………………………………………………….. 282
Gestione el diseño de los datos …………………………………………………………………… 283
Unifique las políticas …………………………………………………………………………………. 284
Integración de datos y políticas …………………………………………………………………… 287
Vinculación de políticas ……………………………………………………………………………… 287
Observe, depure y audite ……………………………………………………………………… 287
Diseño de la observación ……………………………………………………………………………. 289
Repaso ……………………………………………………………………………………………….. 293
Parte V. Cómo empezar
15. Estrategia y ejecución ……………………………………………………………..297
¿Debería adoptar la malla de datos hoy? ……………………………………………….. 297
La malla de datos como elemento de la estrategia de datos……………………… 302
Marco de ejecución de la malla de datos ………………………………………………… 306
Ejecución orientada al negocio……………………………………………………………………. 307
Ejecución integral e iterativa ………………………………………………………………………. 313
Ejecución evolutiva ……………………………………………………………………………………. 314
Repaso ……………………………………………………………………………………………….. 332
16. Organización y cultura …………………………………………………………….335
Cambio ………………………………………………………………………………………………. 337
Cultura ……………………………………………………………………………………………….. 340
Valores …………………………………………………………………………………………………….. 341
Recompensa ……………………………………………………………………………………….. 344
Motivaciones intrínsecas ……………………………………………………………………………. 344
Motivaciones extrínsecas …………………………………………………………………………… 345
Estructura …………………………………………………………………………………………… 346
Supuestos de la estructura organizativa ………………………………………………………. 347
Descubra los límites de los productos de datos …………………………………………….. 355
Personal ……………………………………………………………………………………………… 360
Roles ……………………………………………………………………………………………………….. 360
Desarrollo de habilidades …………………………………………………………………………… 363
Proceso ………………………………………………………………………………………………. 366
Cambios clave en los procesos ……………………………………………………………………. 367
Repaso ……………………………………………………………………………………………….. 369