Data Engineer

Компания Cinimex – разработчик ПО и системный интегратор. Мы работаем с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями. К своему 28-летию компания имеет уникальный опыт разработки программных решений и продолжает развивать свою экспертизу: разработка на микросервисной архитектуре, машинное обучение и искусственный интеллект, IoT, продуктовое направление и автоматизация предприятий.

Приглашаем в команду Data Engineer на проект по разработке отчетности для финансового департамента в крупном банке.

Задачи:

• Разработка DAG’ов для оркестрации ETL-процессов;
• Разработка ETL-алгоритмов и витрин данных (Apache Spark, Hadoop, Hive);
• Автоматизация загрузки данных из Greenplum в ClickHouse;
• Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль);
• Подготовка кастомных операторов Airflow для работы с СУБД;
• Взаимодействие с BI-разработчиками для своевременной доставки данных в Superset.

Требования:

• Опыт работы с Apache Spark, Apache Airflow от 2 лет;
• Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет;
• Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
• Уверенное знание Java, опыт ETL-разработки;
• Продвинутые знания SQL;
• Понимание принципов работы распределенных систем.

Будет плюсом:

• Опыт работы в банковской сфере;
• Опыт работы в проектах, связанных с миграцией данных или BI-платформ;
• Опыт работы в крупных проектах с высокими требованиями к надежности.

Условия:

• Работу в аккредитованной IT-компании;
• Формат работы: офис/гибрид (г. Москва);
• Гибкое начало рабочего дня: с 08:00 до 11:00;
• ДМС со стоматологией, телемедициной и полисом ВЗР;
• Возможность взять больничный без больничного: 7 дней в году;
• IT-конференции, курсы, тренинги и сертификацию за счет компании;
• Внутренние митапы и семинары для обмена опытом и экспертизой;
• Курсы английского онлайн с компенсацией стоимости;
• Систему фидбеков, планов развития и роста в должности.