Was macht man als Dateningenieur?
Data Engineers sind hauptsächlich dafür zuständig, Daten in ein Format zu übertragen, welches leicht zu analysieren ist. Sie tun dies, indem sie Infrastrukturlösungen zur Erzeugung von Daten entwickeln, warten und testen. Data Engineers arbeiten eng mit Data Scientists zusammen und sind größtenteils dafür zuständig, Lösungen für Data Scientists zu entwickeln, damit diese ihre Aufgabe erledigen können.
Data Engineers haben für gewöhnlich einen Bachelor-Abschluss in Informatik, Informationstechnologie oder angewandter Mathematik sowie einige Data Engineering-Zertifikate, wie das IBM Certified Data Engineer-Zertifikat oder das Certified Professionals-Zertifikat von Google. Zusätzlich besitzen Data Engineers eine Füllen an technischen Fertigkeiten und die Fähigkeit Problemstellungen kreativ zu begegnen.
- Erstellung und Instandhaltung einer optimalen Data-Pipeline-Architektur,
- Zusammenstellung großer, komplexer Datensätze, die sowohl funktionale als auch nicht-funktionale Geschäftserfordernisse erfüllen.
- Identifikation, Entwurf und Implementierung interner Prozessverbesserungen: Automatisierung manueller Prozesse, Verbesserung der Datenübertragung, Umgestaltung der Infrastruktur für eine bessere Skalierung, etc.
- Bau einer Infrastruktur zur optimalen Gewinnung, Transformation und Ladung von Daten aus einer Vielzahl von Datenquellen unter Verwendung von SQL und AWS 'big data' Technologien.
- Bau von Analyse-Werkzeugen, die mithilfe der Data-Pipeline umsetzbare Erkentnisse hinsichtlich der Kundenakquise, betrieblicher Effizienz und anderer betrieblicher Erfolgskennzahlen liefern.
- Zusammenarbeit mit Stakeholdern, einschließlich dem Management, der Produktentwicklung sowie Data- und Design-Abteilungen, um bei datenbasierten technischen Sachverhalten zu unterstützen und Infrastruktur-Bedürfnisse zu bedienen.
- Sichere und gesonderte Verwahrung unserer Daten über Landesgrenzen hinweg, durch mehrer Datenzentren und AWS-Regionen.
- Entwicklung von Data Tools für die Kollegen aus den Analytik- und Data Science-Abteilungen, um diese beim Bau und der Verbesserung unseres Produktes zu unterstützen, sodass es zum innovativen Branchenführer wird.
- Zusammenarbeit mit Daten- und Analytikexperten, um eine höhere Funktionalität unserer Datensysteme zu erzielen.
- Erweitertes Fachwissen in SQL und Erfahrung aus der Arbeit mit relationalen Datenbanken, Erstellung von Abfragen (SQL) sowie Vertrautheit mit verschiedenen Datenbanktypen.
- Erfahrung im Aufbau und der Optimierung von 'Big Data'-Data-Pipelines, Architekturen und Datensätzen.
- Erfahrung in der Durchführung von Ursachenanalysen bezüglich interner und externer Daten und Prozesse, um Antworten auf spezifische betriebliche Fragestellungen zu finden und Optimierungsmöglichkeiten zu identifizieren.
- Ausgeprägte analytische Fähigkeiten in Bezug auf das Arbeiten mit unstrukturierten Datensätzen.
- Prozessaufbau zur Unterstützung von Datentransformation, Datenstrukturen, Metadaten und dem Abhängigkeits- und Workload-Management.
- Vergangene Erfolge in der Manipulation und Verarbeitung großer, unzusammenhängender Datensätzen und der Mehrwertgewinnung aus diesen.
- Arbeitserfahrung in Bezug auf Message Queuing, Stream Processing und hoch-skalierbare ‘big data’-Datenspeicher.
- Ausgeprägte Projektmanagementkompetenz und Organisationsfähigkeit.
- Erfahrung in der Unterstützung von und Arbeit mit abteilungsübergreifenden Teams in einem dynamischen Umfeld.
- Wie suchen nach einem Kandidaten/einer Kandidatin mit mindestens 5 Jahren Berufserfahrung als Data Engineer und einem Abschluss in Informatik, Statistik, Informationssystemen oder einem anderen quantitativen Bereich. Geeignete Bewerber sollten darüber hinaus Erfahrung in den folgen Softwarelösungen/Frameworks besitzen:
- Erfahrung mit Big Data-Frameworks: Hadoop, Spark, Kafka, etc.
- Erfahrung in der Arbeit mit relationalen SQL- und NoSQL-Datenbanken, inklusive Postgres und Cassandra.
- Erfahrung mit Anwendungen des Data Pipeline- und Workflow-Managements: Azkaban, Luigi, Airflow, etc.
- Erfahrung mit AWS Cloud Services: EC2, EMR, RDS, Redshift
- Erfahrung mit Stream Processing-Anwendungen: Storm, Spark-Streaming, etc.
- Erfahrung mit objektorientierten/funktionalen Skriptsprachen: Python, Java, C++, Scala, etc.
Gehälter für eine Beschäftigung als Dateningenieur in der Nähe von Österreich
Es gibt keine aktuellen Gehaltsangaben für eine Beschäftigung als Dateningenieur. Sie können in Ihren Wunschjobs weitere Stellenbezeichnungen angeben, um ähnliche Gehaltsangaben zu sehen.
Karriereweg: Dateningenieur werden
Erfahren Sie, wie Sie Dateningenieur werden, was für Fähigkeiten und Kenntnisse Sie für Ihren beruflichen Erfolg benötigen und welche Gehaltsstufen Sie bei jedem Schritt auf Ihrem Karriereweg erwarten können.
Verteilung der Jahre Berufserfahrung
Häufige Fragen zu Rollen und Verantwortlichkeiten als Dateningenieur
Für eine erfolgreiche Berufsausübung und Karriere als Dateningenieur werden am häufigsten SQL-Server, Big Data, Python, ETL und Shell-Scripting benötigt.
- datenbankadministrator (M/W/D)