Ausblick auf das Data Mesh: 4 Schritte für den Paradigmenwechsel

Doch warum ist das Data Mesh ein Game-Changer? Zunächst die Definition:

Ein Data Mesh (auf Deutsch etwa: Datennetz) ist ein Konzept für die Organisation von Datenarchitekturen. Dieses basiert auf der Idee, dass die Verantwortung für Daten auf einzelne Teams oder Domänen verteilt wird. Was das konkreter heißt?

Richtig aufgesetzt, wird sich die Skalierbarkeit und Flexibilität von Datenarchitekturen verbessern.

Beim Verständnis hilft ein plastisches Beispiel.

Stellt euch vor, ihr postet bei LinkedIn. Ihr würdet die Likes und Kommentare, die euer Netzwerk hinterlässt, aber nicht live, sondern im mehrstündigen Versatz bekommen. Unvorstellbar und lästig, oder?

Wir sind es mittlerweile gewohnt, dass wir sofort eine Antwort erhalten. Das ist aber beileibe nicht selbstverständlich. Die IT-Infrastruktur muss das erst mal leisten können. Wir bleiben beim Beispiel LinkedIn-Post. Denn es kommt noch schlimmer.

Stellt euch vor, ihr habt einen Post abgesetzt und erhaltet unzählige Kommentare und Nachrichten. Bisher ist es in Unternehmen so geregelt, dass jemand anderes für euch diese Daten sammelt und clustert. Das Problem: Anders als ihr, weiß die Person nicht, welche Nachrichten für euch wichtig sind und welche nicht. Unter Umständen werden die für euch essenziellen Daten heraus gesiebt – oder in falsche Zusammenhänge gestellt. Ihr bekommt die Daten nicht nur spät – sondern auch verfälscht.

Viel besser: Alle Fachbereiche dürfen die für sich wichtigsten Informationen in Echtzeit aus dem Datenpool schöpfen. Und, das ist NEU: selbstbestimmt.

Doch noch sind wir weit von diesem Angebot entfernt. In den allermeisten Organisationen läuft es stattdessen so: Ein Team widmet sich der Datenaufbereitung. Diese werden nach dem besten Gewissen gesammelt und kuratiert. Das Problem: Diese Daten-Teams können oft die Qualität der Informationen nicht ansatzweise so präzise bewerten wie die Fachbereiche.

Durch zentrale Datenteams sind alle anderen Abteilungen abhängig von der Arbeit eines Fachbereichs. Das ist nicht nur ein Flaschenhals, sondern ein wirtschaftliches Risiko. Denn was soll passieren, wenn Menschen ohne Fachexpertise für die entsprechenden Fachbereiche eine Vorauswahl der Informationen treffen? Richtig: Chaos.

Mit Aufbruch. Wir müssen das Datenmanagement neu ordnen. Und zwar so, dass Fachteams sich selbst um ihre Datenprodukte kümmern dürfen. Und sie diese geprüften und sortierten Daten später allen anderen – veredelt – zur Verfügung stellen.

Das heißt nicht, dass die zentralen Daten-Teams bald keinen Job mehr haben. Im Gegenteil: Sie stellen über Apache Kafka die Infrastruktur bereit und schaffen eine Umgebung, in der Fachbereiche effizient mit ihren relevanten Daten jonglieren können. Das ist und bleibt ein komplexer wie wichtiger Job, auf den sich die Betroffenen noch stärker fokussieren können. Denn: Nur wenn die Daten-Plattform leicht bedient werden kann, werden die Fachbereiche sie auch bilateral nutzen. Also nicht nur Daten ziehen, sondern die geclusterten Informationen auch zurückgeben.

Denn künftig sollten die Fachbereiche die Informationen analysieren, die Qualität prüfen und die extrahierten Daten in einer neuen Wertigkeit publizieren. Diese wiederum werden im Data Mesh für alle Beteiligten in Echtzeit einsehbar.

Dieser Aufbruch wäre mit einem Paradigmenwechsel verbunden.

Wir müssen weg von einem zentralen Team, das Daten auswertet. Es braucht ein Self-Service-Portal, in dem Fachbereiche für die Aufbereitung der relevanten Informationen zuständig sind.

Mit einem Data Mesh schaffen wir genau diese Dateninfrastruktur. Wir beschaffen Daten ohne Tausende Verarbeitungsprogramme und ohne Datensumpf. Stattdessen können unterschiedliche Teams mit wenig Aufwand diese Systeme bedienen und die entsprechenden Daten für sich und alle anderen aufbereiten. Das ist die Idee hinter dem Data Mesh – und damit die Basis dafür, dass wir Daten als interne Produkte begreifen können.