DataOps/DevOps инженер на DataLake

Мы - Центр развития искусственного интеллекта Ингосстраха. Развиваем продукты в области рисков, customer-relations, компьютерного зрения и обработки естественного языка.

В команду инфраструктуры нашего центра ищем DataOps/DevOps инженер на DataLake.

Присоединившись к нам Вы будете:

• Поддерживать работу системы обработки хранения, подготовки данных для сред моделирования (datalake – Kuber+S3);
• Заниматься администрированием и troubleshooting серверов Kubernetes;
• Администрировать серверы Linux;
• Управлять ролевой моделью доступа к данным для моделирования;
• Разрабатывать и развивать систему хранения данных;
• Управлять ресурсами datalake, администрировать Impala, Hive, Spark.

Стек: Kubernetes, Linux, S3, Spark, Impala, Trino, Airflow, Hive.

Мы ждем от Вас:

• Опыта работы по направлению DataOps/DevOps/Data Engineer от 3х лет;
• Опыта администрирования и troubleshooting кластеров Kubernetes;
• Уверенного владения (на уровне администратора) Linux (RHEL/CentOS/Ubuntu/Astra);
• Опыта работы с системами мониторинга (Prometheus, Grafana, ELK): настройка, создание дашбордов, алертинг;
• Понимания общих принципов Data Lake и/или Data Warehouse;
• Опыта технической поддержки, навыков анализа инцидентов и RCA.

Будет плюсом:

• Знание сетевых протоколов и troubleshooting (TCP/IP, DNS, HTTP/HTTPS), понимание сетевой архитектуры в K8s;
• Опыт работы с Hive Metastore: понимание принципов работы диагностика состояния;
• Опыт работы с Apache Spark: понимание архитектуры, диагностика производительности;
• Опыт работы с Apache Impala: настройка, мониторинг и решение проблем производительности;
• Опыт работы с Trino: настройка коннекторов, диагностика производительности;
• Опыт работы с Airflow: понимание конфигурации, настройка подключений и секретов;
• Опыт работы с S3-совместимыми хранилищами: конфигурирование, мониторинг, troubleshooting;
• Опыт работы с большими данными (10TB+).

Мы предлагаем:

• Оформление по ТК РФ, полностью белую заработную плату (оклад + премии);
• График 5/2, гибкое начало дня (в промежутке с 08:00 до 10:00);
• Гибридный (г. Москва) или полностью удаленный формат работы (на территории РФ);
• ДМС после испытательного срока;
• Подписку Добросервис (неограниченное количество консультаций у высококвалифицированных психологов);
• Платформу дистанционного обучения IngoStudy (возможность проходить курсы для прокачки soft и hard скиллов) + внешние обучения по согласованию с руководителем;
• Корпоративную сотовую связь;
• Льготные страховые продукты (страхование имущества физ.лиц, автотранспорта (Каско), страхование выезжающих за рубеж, страхование ипотеки, страхование от несчастных случаев и болезней);
• Скидки на обслуживание и ремонт автомобилей;
• Корпоративные предложения от сети фитнес-клубов: World Class, World Class Lite и UFC GYM;
• Активную корпоративную жизнь со спортивными секциями: бег, волейбол, йога и др.;
• Участие в разных благотворительных и экологических акциях, форумах, марафонах;
• Зарплатный проект от АО Инго Банка: повышенный кешбэк бонусами, льготы по кредитам, ипотеке, рефинансированию, выгодные ставки по вкладам, накопительным счетам.