Big Data Engineer Remote

#vacancy #job Вакансия: Big Data / ETL Engineer Формат работы: Удаленный Вилка: до 450 т.р на руки Что мы предлагаем: • Предлагаем оформление Контракт с UAE-компанией или самозанятость; • Испытательный срок — до 2х месяцев (можно закрыть быстрее); • Оплата в USDT, BTC, ETH или как тебе удобно; • График работы гибкий; • Удаленный формат работы из любой точки мира; Задачи: • Разрабатывать и оптимизировать ETL-пайплайны для обработки больших объемов данных (ClickHouse, Kafka, Airflow, Python); • Настраивать и поддерживать стабильную работу потоков данных между системами и сервисами; • Оптимизировать производительность хранилищ и запросов, устранять узкие места инфраструктуры; • Проектировать и внедрять алгоритмы детекции аномалий и анализа данных; • Следить за качеством данных: валидация, дедупликация, контроль целостности; Чего мы ожидаем: • ClickHouse (шардинг, репликация, агрегирующие движки, партиции, TTL, оптимизация); • Опыт работы с бигдатой (ТБ+, миллиарды строк); • Python (pandas/numpy) + создание и поддержка ETL/ELT-пайплайнов; • Оркестрация данных: Apache Airflow (DAG, Sensors, Operators, XCom); • Опыт применения на практике алгоритмов для отслеживания выбросов: статистические (z-score, iqr, q-test), машинное обучение без учителя (DBSCAN / HDBSCAN, Isolation Forest); • Интеграция с потоковыми/сырьевыми данными: Kafka или аналог, ingestion → трансформация → загрузка; • Работа с ончейн-данными: события блокчейна, calldata, трейсы, Web3 API; • Архитектурная дисциплина: понимание схем данных, partitioning, latency/throughput, мониторинг и качество данных; • Контейнеризация, CI/CD, автоматизация развертываний. Будет плюсом: • Rust (или готовность изучать); • Kafka / Prefect / Arrow / Parquet; • Опыт продакшена с ончейн-аналитикой или трейдинг-данными; • DDD / CQRS / event-sourcing — если интересуешься архитектурой; • Активный GitHub / pet-проекты в data-инженерии. По любым вопросам @ValeriyaStynke