Sie sind hier: Startseite » Markt » Hintergrund

Daten-Streaming-Pipelines gehört die Zukunft


Weshalb Daten-Streaming-Pipelines anders sind
Warum ältere Daten-Pipelines nicht mehr geeignet sind


Von Roger Illing, Vice President Sales CEMEA bei Confluent

Daten sind das Kapital eines Unternehmens. Dennoch werden sie trotz ihrer immensen Relevanz immer noch fragmentiert und in unterschiedlichen Formaten in zahlreichen Legacy- und Cloud-basierten Systemen gespeichert. Um den Zugriff auf diese Daten zu erleichtern, zentralisieren die meisten IT-Abteilungen so viele Informationen wie möglich.

Sie verwenden in der Regel Punkt-zu-Punkt-Daten-Pipelines, um Daten zwischen operativen Datenbanken und einem zentralisierten Data Warehouse oder Data Lake zu verschieben. ETL-Pipelines (Extrahieren, Transformieren und Laden) zum Beispiel nehmen Daten auf, transformieren sie in regelmäßigen Batches und leiten sie später an ein nachgelagertes analytisches Data Warehouse weiter. ETL-Pipelines und Reverse-ETL-Pipelines senden zudem Ergebnisse von Datenanalysen, die im Warehouse stattfinden, zurück an operative Datenbanken und Anwendungen

Auch wenn Unternehmen heutzutage oft Dutzende bis Hunderte Punkt-zu-Punkt-Daten-Pipelines betreiben, kommen immer mehr IT-Verantwortliche zu dem Schluss, dass Punkt-zu-Punkt- und Batch-basierte Daten-Pipelines nicht mehr zeitgemäß sind.

Ältere Pipelines sind in der Regel nicht sehr flexibel und werden von Entwicklern als "Black Boxes" wahrgenommen, da sie nicht angepasst werden können und sich nur schwer in andere Umgebungen übertragen lassen. Wenn betriebliche Prozesse oder Daten angepasst werden müssen, vermeiden es Datenentwickler deshalb, bestehende Pipelines zu ändern. Stattdessen fügen sie noch mehr Pipelines und die damit verbundenen technischen Schulden hinzu. Im Endeffekt benötigen herkömmliche ETL-Pipelines zu viel Rechenleistung und Speicherplatz, was mit zunehmendem Datenvolumen und Anforderungen zu Skalierungs- und Leistungsproblemen sowie hohen Betriebskosten führen kann.

Weshalb Daten-Streaming-Pipelines anders sind
Daten-Streaming-Pipelines sind ein moderner Ansatz zur Bereitstellung von Daten als Self-Service-Produkt. Anstatt Daten an ein zentrales Warehouse oder ein Analyse-Tool zu senden, können Daten-Streaming-Pipelines Änderungen in Echtzeit erfassen, sie im Fluss anreichern und an nachgelagerte Systeme senden. Teams können mit einem eigenen Self-Service-Zugriff Daten verarbeiten, freigeben und wiederverwenden, wo und wann immer sie benötigt werden.

Im Gegensatz zu gewöhnlichen Pipelines können Daten-Streaming-Pipelines mit deklarativen Sprachen wie SQL erstellt werden. Dabei werden unnötige operative Aufgaben mit einer vordefinierten Logik der erforderlichen Vorgänge gemieden. Dieser Ansatz trägt dazu bei, das Gleichgewicht zwischen zentralisierter kontinuierlicher Observability, Sicherheit, Policy-Management, Compliance-Standards und der Notwendigkeit für leicht durchsuchbare und auffindbare Daten zu wahren.

Darüber hinaus können IT-Abteilungen mit Daten-Streaming-Pipelines agile Entwicklungsverfahren anwenden und modulare, wiederverwendbare Datenflüsse erstellen, die mit Version-Control- und CI/CD-Systemen getestet und debuggt werden. Daten-Streaming-Pipelines lassen sich auf diese Weise einfacher ausbauen und pflegen, was im Vergleich zu konventionellen Ansätzen die Gesamtbetriebskosten (TCO) reduziert. So können Unternehmen ihre Daten in Echtzeit auf eine skalierbare, elastische und effiziente Weise auf dem neuesten Stand halten

Heute müssen Unternehmen in der Lage sein, Daten in Echtzeit zu nutzen. Sie erhalten dadurch Echtzeiteinblicke in Geschäftszahlen und ermöglichen es Daten-Teams, zeitnah auf Veränderungen im Markt zu reagieren. Schnellere und intelligentere Abläufe, basierend auf Daten-Streaming-Pipelines, ermöglichen die Erfüllung von heutigen und künftigen Daten- und Geschäftsanforderungen und können die operativen Kosten nachhaltig senken. (Confluent: ra)

eingetragen: 14.05.24
Newsletterlauf: 16.07.24

Confluent: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.


Kostenloser PMK-Verlags-Newsletter
Ihr PMK-Verlags-Newsletter hier >>>>>>


Meldungen: Hintergrund

  • Datenschutzstrategien für hybride IT

    Eine von Arcserve beauftragte unabhängige Befragung unter IT-Führungskräften ergab, dass 80 Prozent schon einmal von Ransomware betroffen waren. Während 82 Prozent der Betroffenen angaben, dass sie den Schaden innerhalb von 48 Stunden beheben konnten, war dazu knapp ein Fünftel nicht in der Lage. Problematisch ist auch, dass bis zu 30 Prozent der Daten bei einem erfolgreichen Ransomware-Angriff nicht wiederhergestellt werden konnten.

  • Cloud-basierte Monetarisierung löst Probleme

    Mit ihrer jahrzehntelangen Erfahrung im Management wiederkehrender Kundenbeziehungen sind Telekommunikationsunternehmen (Telcos) attraktive Partner in der Abonnement-Wirtschaft. Ihr großer Kundenstamm, der sich durch historisch niedrige Abwanderungsraten auszeichnet, bietet eine solide Grundlage, um vom wachsenden Abonnementmarkt zu profitieren.

  • Fokus auf Datenschutz & Compliance

    IT-Ausgaben in der Finanzbranche werden 2025 auf über 58 Milliarden USD steigen, während Technologien wie generative Künstliche Intelligenz (GenAI) Arbeitsabläufe, Datenmanagement und Kundeninteraktionen revolutionieren. Gleichzeitig wird der sich vollziehende Generationswechsel bei den Anlegern endgültig ein neues Level an Digitalisierung fordern. Fünf zentrale Trends werden diesen Wandel prägen: die Optimierung von Kundenerlebnissen, die Einführung modularer Architekturen, datengetriebene Innovationen, die Konvergenz von Branchen und ein verstärkter Fokus auf Datenschutz und Compliance.

  • Optimierung der Cloud-Kosten oberste Priorität

    Das Jahr 2024 war das "Jahr der generativen KI", was zu einer raschen Ausweitung der Datenerzeugung, -verwaltung und -konsolidierung führte. Dieser Anstieg zeigt keine Anzeichen einer Verlangsamung. Darüber hinaus kam es 2024 zu den ersten großen Angriffen auf die Lieferkette auf globaler Ebene, angeführt von CrowdStrike, die Unternehmen dazu zwangen, die Cybersicherheit auf allen Ebenen zu überdenken.

  • Hybrid-Cloud als ausgewogenere Lösung

    Durch den rasanten technologischen Wandel sind datengesteuerte Initiativen in modernen Geschäftsstrategien wichtiger denn je. Im Jahr 2025 stehen die Unternehmen jedoch vor neuen Herausforderungen, die ihre Datenstrategien, ihre Bereitschaft für Künstliche Intelligenz (KI) und ihr allgemeines Vertrauen in Daten auf die Probe stellen werden. Insgesamt ist die Bereitschaft für KI in internationalen Unternehmen sehr gering (17 Prozent).

  • Hybride Ansätze statt Cloud Only

    Wie sieht die Perspektive für das Dokumentenmanagement im Jahr 2025 aus? Die Zukunft ist digital, so viel ist sicher. Mit der E-Rechnungspflicht, künstlicher Intelligenz und Cloud-Technologien stehen grundlegende Veränderungen bevor. Der DMS-Experte easy software AG hat die relevantesten Branchentrends zusammengefasst.

  • Migration in die Cloud

    Die Versicherungsbranche befindet sich in einem rasanten Wandel. Fadata, Anbieterin von Softwarelösungen für die Versicherungsbranche, wirft einen Blick auf das Jahr 2025 und beleuchtet die wichtigsten Entwicklungen und Trends in den Bereichen Versicherung und digitale Transformation. Die wichtigsten Trends, die laut Fadata die Zukunft der Versicherung prägen werden, sind Internalisierung, Prävention, Cloud-Migration, Embedded Insurance, Ökosystem-Entwicklung und Talent-Transformation. Diese sechs Trends treiben transformative Veränderungen in der gesamten Branche voran, wobei die Versicherer innovative Ansätze verfolgen, um Kundenbedürfnisse, betriebliche Effizienz, Sicherheit, Risiken und Marktanforderungen zu adressieren. Versicherer werden im Jahr 2025 ihre wichtigsten Abläufe zunehmend internalisieren. Sie wollen ihre Abläufe straffen, Kosten senken und die Datensicherheit erhöhen. All dies kann durch die verbesserte Steuerung der Prozesse erreicht werden, die eine Internalisierung ermöglicht.

  • NIS2 wird Bewusstsein für CPS-Sicherheit stärken

    Und wieder liegt ein herausforderndes Jahr hinter uns. Die geopolitische Lage insbesondere in der Ukraine und im Nahen Osten ist weiterhin angespannt, während die innenpolitische Situation in den zwei stärksten Volkswirtschaften Europas derzeit ungewiss erscheint. All dies hat auch Auswirkungen auf die Cybersecurity. Schon längst sollten wir dabei nicht nur an IT-Sicherheit denken, sondern auch an IoT und Betriebstechnik (OT), also an cyber-physische Systeme (CPS).

  • Generative KI mit bemerkenswerten Fortschritte

    Generative Künstliche Intelligenz (generative KI) hat in den letzten Jahren bemerkenswerte Fortschritte erzielt. Dies ist auch auf die steigende Zahl von Entwicklern zurückzuführen, die über ein immer umfangreicheres Know-how verfügen. Doch eine Frage brennt Unternehmen wie Investoren unter den Nägeln: Wann lässt sich mithilfe von KI die betriebliche Effizienz auf das nächste Level heben?

  • Datendschungel: Herausforderung & Chance

    Das Jahr 2024 markierte einen Wendepunkt für die generative KI. Chat GPT und andere Akteure haben sich zu einigen der am schnellsten wachsenden Plattformen der letzten Zeit entwickelt. Doch inmitten dieser aufregenden KI-Revolution wird ein entscheidender Aspekt oft übersehen: das Datenmanagement. Ein starkes und durchdachtes Datenmanagement könnte der Schlüssel sein, um das volle Potenzial von KI-Lösungen zu entfalten.

Wir verwenden Cookies um unsere Website zu optimieren und Ihnen das bestmögliche Online-Erlebnis zu bieten. Mit dem Klick auf "Alle akzeptieren" erklären Sie sich damit einverstanden. Erweiterte Einstellungen