Data Engineer Middle/Senior Project

#Dataengineer #Dataинженер #Dataengineerвакансии Data Engineer 🔥Мы в поиске Дата инженера на проектную занятость Грейд: middle+|Senior Ставка: от 272К до 285К Гражданство/Локация: РФ Загрузка: фуллтайм Срок: долгосрочный Оформление: только ИП 📌 ✅ Обязательные требования: - Опыт работы в роли Data Engineer от 4-х лет; - Опыт полного цикла создания данных: от проектирования пайплайнов и моделей до внедрения в production и мониторинга; - Системное мышление, способность проектировать масштабируемые и отказоустойчивые решения, учитывающие объем, скорость и разнообразие данных; - Навыки эффективной коммуникации с командами аналитики, бизнес-аналитиков, DevOps и разработки продуктов; - Опыт проведения нагрузочных тестов DataLake-платформ; - Практический опыт написания эффективных SQL-запросов для анализа и трансформации данных в StarRocks или аналогичных OLAP-системах (ClickHouse, Impala); - Умение создавать и поддерживать таблицы, партиции, представления; - Базовое понимание модели данных StarRocks (дублирующиеся/агрегатные таблицы) для реализации готовых решений; - Опыт загрузки данных (через файлы, INSERT, использование простых коннекторов); - Работа с HMS через Spark или Hive для создания/обновления таблиц, чтения метаданных. Понимание, для чего нужен каталог метаданных; - Уверенная работа с Parquet, Iceberg, JSON, CSV. Понимание преимуществ колоночных форматов; - Опыт написания DAG в Airflow (или аналоги) для планирования регулярных ETL-задач. Понимание принципов идемпотентности и перезапуска задач; - Интеграция Data Ocean Nova с источниками данных (базы данных, BI-инструменты). Понимание архитектуры таких платформ (часто микросервисной на базе K8s); - Понимание, как перечисленные компоненты взаимодействуют друг с другом в единой платформе. Например, как запрос из StarRocks через HMS получает метаданные таблиц, а Ranger проверяет права доступа; - SQL (Продвинутый уровень); - Сложные JOIN, оконные функции (window functions), агрегации; - Умение читать и анализировать план выполнения запроса (EXPLAIN) для базовой оптимизации; - Python (Средний уровень); - Разработка скриптов для ETL, работа с API, Pandas для обработки данных умеренного объема. Знание основ; - PySpark: Умение писать и оптимизировать Spark-приложения (DataFrame API) для пакетной обработки данных. Понимание основ работы трансформаций и действий (transformations/actions), принципов партиционирования данных в Spark; - Kubernetes: Базовое понимание концепций (Pod, Deployment, Service). Опыт запуска и мониторинга своих задач (Spark, контейнеры) в K8s. Умение работать с логами подов. 📆 Задачи: - Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow); - Определение стека технологий для конкретных проектов и задач; - Решать технически сложные задачи, которые не могут решить другие инженеры в команде; - Оперативно реагировать на информацию о проблемах в зоне ответственности, выполнять задачи в установленные сроки; - Разрабатывать и контролировать актуальность документации по взаимодействию конфигурационных единиц платформы больших данных; - Предоставлять отчеты о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством; - Контроль качества интеграционных решений с последующим созданием задач/дефектов для рефакторинга; - Определять технологическую стратегию развития проекта или продукта, работать на перспективу; - Выстраивать процессы (например, CI/CD, код-ревью), внедрять и развивать инженерные практики. @aliiS_a