Data Engineer Senior Hybrid

Senior Data Engineer #гибрид #senior Локация: Москва Компания: Сбер 🔹Обязанности -разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства -разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG -проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи, связанные с RAG -применять машинное обучение и искусственный интеллект для улучшения результатов работы, поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых 🔹Требования -умение проектировать DWH, Data Lake, Data Management Platform -опыт построения и развития высоконагруженных систем -опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+) -продвинутый уровень владения Python и SQL -опыт работы с движками для распределенной обработки данных (Spark, Trino) -опыт работы с очередями сообщений (Kafka, RabbitMQ) -опыт работы с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica) -базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD -навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом -опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов инструментальное владение AI для анализа, генерации и автоматизации -навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом -опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов -инструментальное владение AI для анализа, генерации и автоматизации Контакты: https://rabota.sber.ru/search/4454112/ 🔥 Подписаться на наши каналы / @best_itjob / @it_rab