Data Engineer в команду CDP
🔹Тебе предстоит
-Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
-Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
-Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
-Решать сложные инженерные задачи: расчеты метрик, построение витрин.
-Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
-Влиять на архитектурные решения и качество кода.
-Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.
🔹Ждем от тебя
-Опыт работы с highload-системами.
-Опыт проектирования архитектуры данных или платформенного кода.
-Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
Хорошо понимает, как работает Spark и умеет его готовить. Хорошо владеешь одним из языков программирования (например, Python или Scala).
-Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
-Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.
Откликнуться
[Ссылка: https://job.2gis.ru/vacancies/data_science_ai/304]
Навыки
ClickHouse
Kafka
Python (computer programming)
Scala
Spark
ИИ навыки
Batch Processing
Data Architecture Design
Data Integration
Data Modeling
Data pipeline development
Data Warehousing
ETL development
Highload Systems
Python (computer programming)
Real-time Data Processing
Scala
Spark
SQL
* Навыки определены автоматически с помощью нейросети
ИИ домены
Big Data
Customer Data Platform
Data Engineering
* Домены определены автоматически с помощью нейросети