🖥 Data Engineer
от 200 000 ₽
Офис (Астана)
BI Group — крупнейшая девелоперская компания Центральной Азии.
Требования:
– Опыт работы более 3 лет в роли Data Engineer или на смежной позиции с фокусом на построение data-пайплайнов;
– ClickHouse — глубокое понимание движков семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree), партиционирования, проекций, материализованных представлений;
– Опыт настройки шардирования и репликации;
– Навыки оптимизации тяжёлых запросов;
– Debezium + Kafka — опыт настройки CDC-коннекторов для реляционных и NoSQL-источников, понимание snapshot/streaming-режимов, обработка schema evolution, работа с Kafka Connect;
– Apache Airflow — уверенное написание DAG'ов, опыт с TaskFlow API, разработка кастомных операторов и хуков, понимание архитектуры (scheduler, executor, workers), настройка мониторинга и алертинга;
– DBT — построение моделей и тестов (generic и singular), макросы, инкрементальные модели, работа с источниками и снапшотами, ведение документации;
– Уверенный SQL: оконные функции, CTE, чтение и оптимизация планов выполнения;
– Python на уровне продакшн-кода;
– Опыт работы с качеством данных: написание тестов, data contracts, observability-практики.
➡️ Подробнее о вакансии на dreamjob.ru
🔜 А избранные IT-вакансии вы найдете в нашем канале IT Job Hub
[Ссылка: https://dreamjob.ru/employers/5882254/vakansii/133004281]
[Ссылка: https://t.me/proglib_jobs]
Навыки
AggregatingMergeTree
alerting (information systems)
Apache Airflow
change data capture (CDC)
ClickHouse
common table expressions (CTE)
custom hooks (software)
custom operators (software)
data build tool (dbt)
data contracts
data models
data projection
data quality assessment
Data replication
data sharding
data snapshots
data sources
Data Testing
Debezium
directed acyclic graph (DAG)
executor (computing)
incremental data models
Kafka
Kafka Connect
macros (programming)
materialized views (database)
MergeTree
monitoring (data processing)
observability (software systems)
partitioning (data management)
Python (computer programming)
Query execution plans
ReplacingMergeTree
scheduler (computing)
schema evolution (data management)
snapshot mode (data streaming)
SQL
streaming mode (data streaming)
SummingMergeTree
TaskFlow API
Technical Documentation
Window functions (SQL)
worker (software)
ИИ навыки
AggregatingMergeTree
Airflow executor
Airflow scheduler
Apache Airflow
Apache Airflow hooks
change data capture (CDC)
ClickHouse
common table expressions (CTE)
Custom operators (Airflow)
DAG (data pipeline)
database
data contracts
Data documentation (DBT)
ИИ домены
Big Data
Business Intelligence
Data Engineering
Data pipelines
Real estate development
* Домены определены автоматически с помощью нейросети