5 Gründe, warum Sie bei Ihrer nächsten Daten-Pipeline ohne Server auskommen sollten

Fühlen Sie sich von den unzähligen Optionen für den Aufbau Ihrer nächsten Daten-Pipeline überfordert? Sie sind nicht allein.

Selbst große Unternehmen haben Mühe, eine flexible und robuste Lösung für die Verbindung all der Tausenden von Anwendungen, Datenbanken und anderen Informationsquellen zu entwickeln, die tiefe Einblicke ermöglicht, um das Management für fundierte Entscheidungen zu stärken.

Einige dieser Unternehmen entschieden sich dafür, auf ihre Bedürfnisse zugeschnittene interne Lösungen zu entwickeln. Unter ihnen können wir Spotify und sein Pipeline-Framework Luigi nennen. Ein weiteres Framework, das bei Dateningenieuren beliebt ist, ist Airflow, das von Airbnb entwickelt wurde und jetzt von der Apache Software Foundation gewartet wird.

Aber seien wir ehrlich, viele Unternehmen haben kein großes Team, das sich dem Aufbau einer weiteren internen, zeitaufwändigen Entwicklung widmen könnte, die das nächste „Silver Bullet“-Framework werden soll. Wenn Sie zu diesen Unternehmen gehören oder vielleicht einfach das Rad nicht neu erfinden wollen, werden wir Ihnen in diesem Artikel 5 Gründe vorstellen, warum Sie für Ihre nächste Daten-Pipeline auf Server verzichten sollten.

Dann wollen wir mal loslegen!

Bevor wir anfangen, beachten Sie, dass sich dieser Artikel auf Step Functions, den serverlosen Funktionsorchestrator von AWS, konzentriert. Die hier beschriebenen Vorteile gelten jedoch für die meisten der großen Player, die heute auf dem Markt existieren.

1. Es ist kosteneffektiv

Der Service ist sowohl hinsichtlich der Ressourcen als auch des Wartungsaufwandes kosteneffektiv. Die kostenlose Variante von Step Functions umfasst 4.000 kostenlose Zustandsübergänge pro Monat und danach $0,000025 pro Zustandsübergang. Im Vergleich dazu würde der Einsatz von Airflow in einer EC2 t2.large-Instanz auf AWS zusätzlich $67,93 pro Monat kosten. Je nachdem, wie viele Instanzen und verschiedene Umgebungen Sie in Ihrem Unternehmen haben, wenn Sie die Kosten aufsummieren, können die jährlichen Einsparungen erheblich sein.

2. Nahtlose Integration

Step Functions bietet eine native Integration in verschiedene AWS-Dienste. Das bedeutet, dass Dienste wie AWS Glue, Amazon DynamoDB, Amazon SNS und Amazon EMR direkt in Step Functions referenziert werden können. Für Dienste, die nicht nativ in Step Functions unterstützt werden, können sie mit Hilfe von Lambda-Funktionen integriert werden. Hier finden Sie die vollständige Liste der Dienste.

3. Mühelose Wartung

Step Functions ist ein verwalteter Dienst und erfordert keine vom Benutzer gewartete Infrastruktur. Es besteht also keine Notwendigkeit, eine zusätzliche Infrastruktur und ein Team für deren Wartung bereitzustellen.

4. Garantierte Zuverlässigkeit

Step Functions ist nativ mit Hochverfügbarkeit aufgebaut. Es besteht also keine Notwendigkeit, einen Load Balancer oder gewichtetes Routing einzurichten, um Ihre Pipelines zu orchestrieren. Das bedeutet, wenn die Arbeitslast steigt, besteht kein Risiko eines Service-Ausfalls.

5. Bedarfsgerechte Skalierbarkeit

Step Functions skaliert, um Orchestrierungsanforderungen und Gleichzeitigkeit zu erfüllen. Das heißt, der Dienst skaliert von selbst entsprechend der Nachfrage. Es besteht also keine Notwendigkeit, die Software zu containerisieren oder die automatische Skalierung und den Lastausgleich von EC2 zu nutzen, um die Nachfrage zu befriedigen, wie es einige der alternativen Frameworks erfordern würden. Wenn die Nachfrage gering ist, werden die Ressourcen korrekt zugewiesen, wodurch die Kosten optimiert werden.

Abschließende Gedanken

Eine serverlose Daten-Pipeline kann Ihnen Zeit und Geld sparen, da sich Ihre Dateningenieure auf andere geschäftliche Angelegenheiten konzentrieren können, z. B. auf die Suche nach neuen Quellen für die Datenintegration, die Entwicklung von Diensten zur Gewährleistung der Datenintegrität, die Entwicklung eines Datensees und alle anderen Aktivitäten, die dem Unternehmen einen echten Mehrwert bringen.

Wenn Sie praktische Hilfe mit den Step-Funktionen oder anderen AWS-Tools benötigen, wenden Sie sich an den Leiter des Nortal-Datenteams, Indrek Velthut, und einer unserer AWS-Experten wird Ihnen helfen!