Data Engineering on AWS

Dieser Kurs richtet sich an Fachleute, die sich für das Entwerfen, Erstellen, Optimieren und Sichern von Data-Engineering-Lösungen unter Verwendung von AWS-Diensten interessieren.

Wir empfehlen, dass die Teilnehmer dieses Kurses über folgende Voraussetzungen verfügen:

• Vertrautheit mit grundlegenden Konzepten des maschinellen Lernens, wie beispielsweise überwachtes und unüberwachtes Lernen, Regression, Klassifizierung und Clustering-Algorithmen.
• Praktische Kenntnisse der Programmiersprache Python und gängiger Data-Science-Bibliotheken wie NumPy, Pandas und Scikit-learn.
• Grundlegendes Verständnis der Cloud-Computing-Konzepte und Vertrautheit mit der AWS-Plattform.
• Kenntnisse in SQL und relationalen Datenbanken sind empfehlenswert, aber nicht zwingend erforderlich.
• Erfahrung mit Versionskontrollsystemen wie Git ist von Vorteil, aber nicht erforderlich.

In diesem Kurs lernen Sie Folgendes:

• Verstehen Sie die grundlegenden Rollen und Schlüsselkonzepte des Data Engineering, einschließlich Datenpersönlichkeiten, Datenermittlung und relevante AWS-Services.
• Identifizieren und erläutern Sie die verschiedenen AWS-Tools und -Services, die für das Data Engineering von entscheidender Bedeutung sind, darunter Orchestrierung, Sicherheit, Überwachung, CI/CD, IaC, Netzwerke und Kostenoptimierung.
• Entwerfen und implementieren Sie eine Data-Lake-Lösung auf AWS, einschließlich Speicherung, Datenaufnahme, Transformation und Bereitstellung von Daten für die Nutzung.
• Optimieren und sichern Sie eine Data-Lake-Lösung durch die Implementierung offener Tabellenformate, Sicherheitsmaßnahmen und die Behebung häufiger Probleme.
• Entwerfen und richten Sie ein Data Warehouse mit Amazon Redshift Serverless ein und machen Sie sich mit dessen Architektur, Datenerfassung, Verarbeitung und Bereitstellungsfunktionen vertraut.
• Wenden Sie Techniken zur Leistungsoptimierung auf Data Warehouses in Amazon Redshift an, darunter Überwachung, Datenoptimierung, Abfrageoptimierung und Orchestrierung.
• Verwalten Sie die Sicherheit und Zugriffskontrolle für Data Warehouses in Amazon Redshift und machen Sie sich mit Authentifizierung, Datensicherheit, Auditing und Compliance vertraut.
• Entwerfen Sie effektive Batch-Datenpipelines unter Verwendung geeigneter AWS-Dienste für die Verarbeitung und Transformation von Daten.
• Implementieren Sie umfassende Strategien für Batch-Datenpipelines, die die Datenverarbeitung, -transformation, -integration, -katalogisierung und -bereitstellung für die Nutzung abdecken.
• Optimieren, koordinieren und sichern Sie Batch-Datenpipelines und demonstrieren Sie dabei fortgeschrittene Kenntnisse in den Bereichen Datenverarbeitungsautomatisierung und -sicherheit.
• Entwickeln Sie Streaming-Datenpipelines, verstehen Sie verschiedene Anwendungsfälle, Erfassung, Speicherung, Verarbeitung und Analyse mithilfe von AWS-Diensten.
• Optimierung und Sicherung von Streaming-Datenlösungen, einschließlich Compliance-Aspekten und Zugriffskontrolle.