Data Engineer Middle+ Remote

#DE #dataengineer #vacancy #remote #вакансия #удаленно ✅ Data Engineer middle+ (ритейл) Компания: SPBDev Локация: Любая Формат: удаленно Период: Долгосрок Сфера: Ритейл Опыт - от 4х лет Оплата - 200-280тр/мес *Требования:* Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop - Сбор требований с бизнес-заказчиков и анализ источников данных - Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink - Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок - Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю. *Задачи:* - Общее представление о стеке технологий Lakehouse - Понимание различия работы между BigData/Lakehouse и с данными обычного размера - Знание SQL (индексы, функции, оптимизация, профилирование производительности - Знание языков программирования (JAVA, Python) - Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.) - Умение работать с Git (знание команд git pull/commit/push) - Опыт работы с DBT, Cosmos, Ni-Fi - Опыт разработки на Spark - Понимание особенностей Trino - Понимание форматов данных Iceberg, Parquet, Avro - Понимание работы с minio или любого другого хранилища на основе S3 - Опыт использования системами ведения проектов и документации . Рекрутер @oleg_recruiter