Data Engineer
Требования
Местоположение и тип занятости
Компания
Группа компаний, которые оказывают профессиональные услуги в области информационных и цифровых технологий
Описание вакансии
Наш проект - платформа по управлению данными для ведущего телеком-оператора РФ. В рамках нашего проекта будет реализовываться миграция корпоративных систем на данную платформу, настройка интеграций, внедрение искусственного интеллекта.
Твои задачи:
- Тестирование и доработка ETL инструментов (NewEtlTool, SeaTunnel) и оркестраторов, которые развивает команда (Airflow, DolphinScheduler)
- Консультации и ответы на вопросы пользователей
- Помощь в построении демо-пайплов и разборе кейсов пользователей
- Профилирование данных из источников
Мы ждем от тебя:
- Опыт работы с фреймворками Apache Spark, Apache Flink
- Опыт построения построчных потоковых и пакетных потоков данных
- Уверенное знание Scala/Java
- Знание Python
- Уверенный SQL
- Опыт работы с оркестраторами данных (Airflow и др.)
- Навыки работы c Kubernetes
Что мы обеспечим:
- Опыт на интересных и значимых проектах
- Передовые подходы и технологии, современный стек
- Экспертную команду, возможности обмена опытом и экспертизой
- Технику для комфортной работы
- Сессии профессионального развития два раза в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи
- Сообщества по интересам: Лига Спорта, Лига Music, Лига Интеллекта, а также возможность организовать свое сообщество и получить поддержку от компании