Data Platform Engineer Senior Remote

#vacancy #вакансия #job #DataPlatformEngineer Senior Data Platform Engineer / Big Data SRE Грейд: Middle+/Senior Локация: РФ Формат работы: удаленный Срок привлечения: 7 месяцев с возможной пролонгацией Эксплуатация и развитие крупной корпоративной платформы данных в промышленной компании. Обязанности: - Эксплуатация и развитие платформы - Администрирование и сопровождение Data Platform (Arenadata DB / Greenplum, Kafka, ClickHouse) - Управление кластерами хранения и обработки данных - Настройка и поддержка отказоустойчивости (HA), репликаций, балансировки - Управление обновлениями, патчами и релизами Kafka и потоковые данные - Администрирование Kafka-кластеров (topology, partitioning, replication, retention) - Тюнинг producer/consumer, работа с lag и производительностью - Поддержка потоковых ETL и ingestion pipelines Интеграции и работа с данными - Интеграция платформы с DWH, BI и ML-системами (тоже обязательно явно) - Поддержка и развитие контуров передачи и обработки данных между системами - Участие в обеспечении стабильности data pipelines Производительность и надежность - Мониторинг платформы (Prometheus, Grafana, ELK/OpenSearch) - Анализ производительности (SQL, storage, network) - Оптимизация запросов и работы кластеров - Реагирование на инциденты (L2/L3), проведение root cause analysis Инфраструктура и автоматизация - Автоматизация эксплуатации (Bash / Python / Ansible / Terraform) - Развитие CI/CD для инфраструктуры данных - Управление конфигурациями (Infrastructure as Code) Интеграции и доступы - Интеграция с DWH, BI и ML системами - Настройка RBAC и контроль доступа Доступы и безопасность - Настройка RBAC и разграничения доступа Командная работа - Подготовка документации и инструкций - Передача знаний и участие в менторстве Требования: - Опыт администрирования Data Platform / Big Data / DWH от 3 лет - Уверенное знание Linux (RHEL/CentOS/Ubuntu) на уровне системного администрирования - Практический опыт эксплуатации production-кластеров: Arenadata DB / Greenplum (или аналогичные MPP-системы), Apache Kafka (обязательно с опытом администрирования, не только использования), ClickHouse - Понимание распределенных систем: репликация, партиционирование, отказоустойчивость, сетевые взаимодействия (TCP/IP), storage - Опыт работы с: PostgreSQL / Greenplum архитектурой, оптимизацией SQL-запросов - Практика работы с Kafka: настройка топиков и retention policy, работа с replication / partitioning, performance tuning producer/consumer - Навыки автоматизации: Bash и/или Python, Ansible и/или Terraform - Опыт мониторинга: Prometheus, Grafana, ELK / OpenSearch - Опыт работы с инцидентами: L2/L3 support, root cause analysis Будет преимуществом: - Docker / Kubernetes - Hadoop ecosystem - Spark / Flink - Airflow - Опыт работы с высоконагруженными enterprise DWH - Опыт в промышленности / телекоме / финтехе телеграм для связи @horoshkoaleksa