Data Engineer Middle Remote

#вакансия #инженер #dataengineer #fulltime #remote #удаленка #middle Компания Centicore💙 находится в поисках Инженер данных. Наша компания занимается продуктовой разработкой проектов наших Заказчиков под ключ. Вакансия: Инженер данных Формат работы: удаленный (РФ) Вилка: 350-380к на руки (в зависимости от опыта и пожеланий кандидата) 🔷Технические знания и опыт: • Хороший уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование. • Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций. • Понимание принципов распределенных вычислений и обработки данных. • Понимание принципов потоковой обработки данных. • Понимание принципов работы систем распределенного хранения данных – Apache Cassandra, Hadoop/HDFS, S3, форматы таблиц Hive, Iceberg. • Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server. • Опыт работы с системой оркестрации задач Apache Airflow. • Опыт реализации промышленных отказоустойчивых сервисов на Python для пакетной загрузки и трансформации данных (ETL/ELT) на Spark под управлением Airflow. • Опыт работы с платформой потоковой обработки данных Apache Kafka. • Хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL 🔷Обязанности: • Разработка пакетных ETL/ELT процессов для расчета переменных для моделей машинного обучения • Создание витрин данных для моделей машинного обучения • Разработка ETL/ELT процессов для обработки результатов моделей машинного обучения и передачи результатов во внешние системы • Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры 🔷Критически важный стек: опыт разработки ETL/ELT – процессов на технологическом стеке Python, Spark, Hadoop/Hive/HDFS, Airflow Важен опыт работы с качеством данных 💌Для вопросов и резюме - просьба обращаться в лс @ktvsk_d Хорошего дня ❤️