¿Qué diferencia hay entre un Data Marketplace y un Data Catalog?
Por Michele Iurillo
Responsable de Formación DAMA España
Como algunos sabéis, he dedicado los días de verano a la escritura de mi nuevo libro: «99 preguntas sobre Data Management», que sigue de alguna forma el libro «20 Cosas que tienes que saber sobre Data Management», el cual está teniendo un discreto éxito. Tras las preguntas que he recibido, me parece interesante contestar a esta: ¿Qué diferencia hay entre un Data Marketplace y un Data Catalog?
Un Data Marketplace es una plataforma donde se pueden contratar y poner a disposición conjuntos de datos. Difiere del Data Catalog por su enfoque.
Ya que presupone que haya “transacciones” entre las partes no necesariamente “externas” ni monetizadas.
Si en un Data Catalog ponemos a disposición los datos de una organización, un Data Marketplace presupone que haya unas series de procesos controlados para que estos datos se puedan utilizar. Si bien un Data Catalog suele ocuparse de una sola organización, aunque tenga diferentes dominios, un Data Marketplace se puede desplegar para que los activos de datos puedan ponerse a disposición de otras organizaciones como socios comerciales o stakeholders.
“Un Data Marketplace es una plataforma donde se pueden contratar y poner a disposición conjuntos de datos. Difiere del Data Catalog por su enfoque”
Los datos se ponen a disposición, se pueden probar, y en el momento de tener acceso a ellos quizá, debido a la naturaleza reservada de los mismos, será necesario que el utilizador firme un “contrato” y que el Data Owner pueda en todo momento hacer seguimiento del uso de los datos y que haya en todo momento una trazabilidad de los procesos.
El Data Owner otorgará el permiso de acceso al dato o a un conjunto de datos. Por un periodo de tiempo concreto. También puede otorgar el permiso a “inscribirse” a los datos y recibir todas las variaciones que los datos pueden representar en el tiempo.
Un data marketplace usa “Data Sharing Agreements”
En un Data Marketplace es fundamental la presencia de los que se denominan “Data Sharing Agreements”
Los Data Sharing Agreements (Acuerdos de Compartición de Datos, en español) son contratos o acuerdos legales entre las partes involucradas en el intercambio de datos. Estos acuerdos establecen las condiciones, los términos y las responsabilidades relacionadas con el uso y la compartición de datos entre las organizaciones o entidades participantes.
Los Data Sharing Agreements son importantes porque definen los derechos y las obligaciones de cada parte involucrada en el intercambio de datos. Estos acuerdos generalmente incluyen los siguientes elementos:
Propósito y alcance: Establece el propósito y los objetivos del intercambio de datos, así como el alcance de la compartición de datos.
Definiciones y terminología: Define los términos y las definiciones clave utilizadas en el acuerdo para garantizar un entendimiento común entre las partes. Estos términos deberían recopilarse de un Business Glossary.
Responsabilidades y obligaciones: Especifica las responsabilidades y las obligaciones de cada parte involucrada en el intercambio de datos.
Esto puede incluir cómo se recopilarán, almacenarán, protegerán y compartirán los datos, así como las medidas de seguridad y las prácticas de privacidad que se deben seguir.
Permisos y licencias: Determina los permisos y las licencias necesarias para el uso y la compartición de los datos. Esto puede incluir el uso de derechos de autor, propiedad intelectual u otras consideraciones legales.
Confidencialidad y privacidad: Establece los términos relacionados con la confidencialidad y la privacidad de los datos compartidos. Esto puede incluir cláusulas sobre la no divulgación de información confidencial, el cumplimiento de las regulaciones de protección de datos y la gestión de riesgos relacionados con la privacidad.
Retención y eliminación de datos: Define los plazos y los procedimientos para la retención y la eliminación de los datos compartidos y controlan el ciclo de vida.
Cumplimiento normativo y legal: Establecen el cumplimiento de las leyes, regulaciones y estándares aplicables al intercambio de datos. Esto puede incluir el cumplimiento de la legislación de protección de datos, la seguridad de la información y otros requisitos legales relevantes. También pueden influir los diferentes compliance industriales como RDA, IFRS17, IDMP o ESG.
Solución de conflictos: Establece los mecanismos y las medidas para la resolución de conflictos que puedan surgir en relación con el intercambio de datos.
Vigencia y terminación: Determina la duración del acuerdo y las condiciones bajo las cuales puede ser terminado por cualquiera de las partes.
Trazabilidad: En cada momento tiene que haber la posibilidad de trazar el uso de los datos para fines de compliance o de auditoría.
Los Data Sharing Agreements son fundamentales para establecer una base legal y contractual sólida para el intercambio de datos, garantizando que se cumplan las regulaciones y las obligaciones legales, y protegiendo los intereses de todas las partes involucradas. Estos acuerdos también ayudan a establecer la confianza y la transparencia entre las organizaciones que intercambian datos.
Para que un Data Marketplace sea efectivo y atractivo para los usuarios, debería tener las siguientes características:
Variedad de datos: Debe ofrecer una amplia variedad de conjuntos de datos de diferentes fuentes y en diferentes formatos. Esto permitirá a los usuarios encontrar los datos que se ajusten a sus necesidades específicas. Lo ideal es que se pueda usar una búsqueda semántica, ontologías, taxonomías u otra forma de consulta para facilitar la búsqueda efectiva para los usuarios.
Calidad de los datos: Los datos ofrecidos en el Data Marketplace deben ser de alta calidad y confiables. Esto implica que los datos estén actualizados, sean precisos, estén completos y sean relevantes para su propósito previsto. Idealmente, el Data Marketplace debería tener un proceso de verificación y validación de datos para garantizar su calidad. Además, el usuario tiene que poder conocer incluso la tendencia de cumplimiento de las dimensiones de calidad acordada por la organización.
Privacidad y seguridad: La protección de la privacidad y la seguridad de los datos es fundamental. El Data Marketplace debe contar con medidas de seguridad robustas para proteger los datos almacenados y garantizar que solo las partes autorizadas puedan acceder a ellos. Además, debe cumplir con las regulaciones de privacidad de datos aplicables, como el Reglamento General de Protección de Datos (RGPD) en la Unión Europea. En todo momento tiene que haber un acceso legítimo a los datos y la seguridad no tiene que ser un impedimento a la hora de acceder a los activos.
Facilidad de uso: La plataforma debe ser fácil de usar y navegar tanto para los compradores como para los vendedores de datos. Debe tener una interfaz intuitiva que permite buscar, visualizar y comparar conjuntos de datos, así como realizar transacciones de manera sencilla. Para hacer un ejemplo, debería parecerse a algo como Spotify,
donde encuentro lo que busco o que los usuarios de mis características puedan encontrar sugerencia dependiendo del rol y del histórico de mis consultas.
Funciones de descubrimiento: Debería haber funciones de búsqueda y filtrado avanzadas que permitan a los usuarios encontrar rápidamente los datos que necesitan. Esto puede incluir la capacidad de buscar por categorías, palabras clave, atributos específicos y otros criterios relevantes. Incluso debe poder “aconsejar” los conjuntos de datos más útiles dependiendo de los hábitos del usuario o de su departamento. Como ya decimos el ideal es usar búsqueda semántica, ontologías o taxonomías.
Información detallada: Cada conjunto de datos debe tener una descripción detallada que proporcione información relevante sobre su contenido, calidad, formato, licencia y condiciones de uso. Esto ayudará a los “compradores” a tomar decisiones informadas sobre la adquisición de datos.
“La plataforma debe ser fácil de usar y navegar tanto para los compradores como para los vendedores de datos. Debe tener una interfaz intuitiva que permite buscar, visualizar y comparar conjuntos de datos”
Parte de esta información puede surgir directamente desde el Data Dictionary y contener por ejemplo rangos válidos de datos, nombre de tablas de referencia o capacidad de acceso y marca de tiempo. Y parte puede derivar directamente del Business Glossary debido al enriquecimiento de la información relativa al negocio o al dominio.
Transparencia en la transacción: El Data Marketplace debe ser transparente en cuanto a los términos y condiciones de las transacciones. Debe proporcionar información clara sobre los precios, las licencias, las restricciones de uso y cualquier otro detalle relevante para que los usuarios puedan evaluar adecuadamente los datos y su adquisición.
Comentarios y valoraciones: Los usuarios deberían tener la opción de dejar comentarios y
valoraciones sobre los conjuntos de datos que han adquirido. Esto ayuda a mantener la calidad y la reputación de los datos ofrecidos en el mercado, y permite a otros usuarios tomar decisiones basadas en las experiencias anteriores.
Integración y compatibilidad: La plataforma debe ser compatible con diferentes formatos de datos y sistemas para facilitar su integración con las herramientas y aplicaciones existentes. Esto permitirá a los usuarios utilizar los datos de manera eficiente en sus proyectos y análisis.
Soporte técnico: Un buen Data Marketplace debería proporcionar un soporte técnico adecuado para los usuarios, ya sea en forma de documentación, tutoriales, foros de discusión o asistencia personalizada. Esto ayudará a resolver cualquier problema técnico o responder preguntas relacionadas con los datos y la
plataforma. Tiene que presentar un flujo de autorización y un sistema de ticketing para resolver dudas o sugerir cambios que deben presentarse a los Data Owner y que tienen que ser trazados.
Data Marketplace y Data Catalog
Un Data Marketplace y un Data Catalog son dos conceptos relacionados, pero con enfoques y funciones ligeramente diferentes:
Un Data Marketplace: Un Data Marketplace se centra en facilitar las transacciones y la comercialización (aunque sea interna) de los datos, proporcionando un entorno donde los “vendedores” pueden listar sus datos y los “compradores” pueden buscar, explorar y adquirirlos o subscribirse a ellos siempre que el flujo de autorización se cumpla y que el Data Owner otorgue el permiso.
Un Data Catalog: Un Data Catalog es una herramienta o sistema que actúa como un repositorio centralizado de metadatos sobre los conjuntos de datos disponibles en una organización. Un Data Catalog proporciona una descripción y un inventario de los datos disponibles, incluyendo información sobre su estructura, contenido, calidad, fuente, propietario, uso permitido y otros detalles relevantes. El objetivo principal de un Data Catalog es facilitar la búsqueda y el descubrimiento de los datos, permitiendo a los
usuarios encontrar y comprender qué datos existen dentro de una organización y cómo pueden acceder a ellos. Como subrayado en el DmBok2 de DAMA el Data Catalog es el último paso para poner a disposición de la organización los activos de datos después de la creación satisfactoria tanto del Data Dictionary (Metadatos Básicos) y del Business Glossary (Metadatos de Negocios).
En resumen, la principal diferencia entre un Data Marketplace y un Data Catalog radica en su enfoque principal. Un Data Marketplace se enfoca en la transacción un Data Catalog se centra en proporcionar una visión general de los datos disponibles dentro de una organización, facilitando la búsqueda y el descubrimiento de los datos Ambos conceptos pueden complementarse en un ecosistema de datos más amplio, donde un Data Marketplace puede aprovechar un Data Catalog para organizar y presentar los conjuntos de datos disponibles para la venta.
Siempre será necesario tener un entorno de Data Governance y una sólida capa de integración para que todo esto funciones y sea embebido e incremental.
Por qué tu aporte es importante para mi libro
La gestión de datos se trata de colaboración y conocimiento compartido. Tus preguntas, conocimientos y experiencias pueden realmente agregar profundidad y valor al libro.
Ya seas un profesional experimentado en datos o simplemente tengas curiosidad por el mundo de los datos, tu perspectiva es sumamente valiosa. Así que participa con tus preguntas…
Cómo participar
Haz tus Preguntas Urgentes: ¿Tienes una pregunta sobre gobierno de datos, calidad de datos, privacidad de datos o cualquier aspecto de la gestión de datos? ¡Compártela en los comentarios debajo de esta publicación! (de momento estoy a 57 preguntas…
Comparte tus Experiencias: ¿Has superado algún desafío en la gestión de datos o tienes una historia de éxito que contar? Tus experiencias del mundo real pueden proporcionar contexto valioso para el libro.
Puedes enviar tus preguntas a michele.iurillo@synergo.es o a través de mi perfil LinkedIn enviaré una copia PDF del libro a cada persona que participe!
Conectemos y colaboremos
Transformemos este libro en un esfuerzo colectivo que refleje las diversas perspectivas y el conocimiento de nuestra comunidad de LinkedIn. Juntos, podemos explorar las complejidades de la gestión de datos y brindar información valiosa a quienes desean comprender y navegar por este campo vital.
No pierdas esta oportunidad de contribuir a «99 Preguntas sobre Data Management». Tus preguntas y conocimientos podrían ser destacados en el libro y ayudar a otros a obtener una comprensión más profunda del mundo de los datos.
