Data Engineer
Big Data Engineer Remote
3 дня назад
Активна
Oracul
300 000 ₽ - 450 000 ₽
Формат работы
Удаленная работа
📄 Оригинальный текст вакансии
💻 Big Data / ETL Engineer
от 300 000 до 450 000 ₽
Удалёнка
Oracul — строим инфраструктуру для ончейн-аналитики, автоматического ресёрча и генерации торговых стратегий.
Требования:
– ClickHouse (шардинг, репликация, агрегирующие движки, партиции, TTL, оптимизация)
– Опыт работы с бигдатой (ТБ+, миллиарды строк)
– Python (pandas/numpy) + создание и поддержка ETL/ELT-пайплайнов
– Оркестрация данных: Apache Airflow (DAG, Sensors, Operators, XCom)
– Опыт применения на практике алгоритмов для отслеживания выбросов: статистические (z-score, iqr, q-test), машинное обучение без учителя (DBSCAN / HDBSCAN, Isolation Forest)
– Интеграция с потоковыми/сырьевыми данными: Kafka или аналог, ingestion → трансформация → загрузка
– Работа с ончейн-данными: события блокчейна, calldata, трейсы, Web3 API
– Архитектурная дисциплина: понимание схем данных, partitioning, latency/throughput, мониторинг и качество данных
– Контейнеризация, CI/CD, автоматизация развёртываний
➡️ Подробнее о вакансии на career.habr.com
🔜 А избранные IT-вакансии вы найдете в нашем канале IT Job Hub
[Ссылка: https://career.habr.com/vacancies/1000163289]
[Ссылка: https://t.me/proglib_jobs]
🛠 Навыки
Apache Airflow
ClickHouse
data extraction, transformation and loading tools
DBSCAN
HDBSCAN
IQR
Isolation forest
Jenkins (tools for software configuration management)
Kafka
manage ICT virtualisation environments
pandas
Python (computer programming)
q-test
Web3 API
z-score
🎯 Домены
Blockchain
Crypto
Web3
🤖 ИИ навыки
Apache Airflow
Blockchain data
calldata
CI/CD
ClickHouse
Containerization
DAG
Data Architecture
data extraction, transformation and loading tools
data ingestion
data loading
Data monitoring
data partitioning
Data Quality
Data Transformation
DBSCAN
Deployment automation
HDBSCAN
IQR
Isolation forest
Kafka
latency
Operators
Outlier detection
pandas
Python (computer programming)
q-test
Sensors
software components libraries
Throughput
Traces
Web3 API
XCom
z-score
* Навыки определены автоматически с помощью нейросети
🤖 ИИ домены
Big Data
Blockchain
Data Analytics
Data Engineering
ETL/ELT Pipelines
Financial Technology
Machine Learning
Onchain Analytics
Trading strategies
Web3
* Домены определены автоматически с помощью нейросети
📢 Информация о публикации
🔗 Оригинальные посты (1)
Канал:datajob