Data Engineer

О вакансии

Обязанности: проектировать и реализовывать ETL/ELT-пайплайны для загрузки и обработки данных (включая DAG в Apache Airflow) оптимизировать и сопровождать процессы обработки больших данных (Apache Spark, Apache Flink) интегрировать источники данных (базы данных, API, файловые хранилища) в единую pipeline-архитектуру настраивать и администрировать Airflow для оркестрации workflows участвовать в разработке архитектуры хранения и обработки данных (включая Hadoop-экосистему) документировать решения и формировать базы знаний.