Дата Инженер

Bell Integrator – один из ведущих системных интеграторов страны. 

Мы аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline.

Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – крупнейшие системообразующие финансовые, телеком и ритейл компании страны.

Описание проекта (подробное): мы занимаемся построением хранилища данных для внутренних нужд команды. Внедрением актуальных инструментов для работы с данными.
Автоматизацией рутинных задач. Созданием инструментов генерации кода, в том числе с применением AI.

Опыт работы: от 3х лет 

Основные требования:

Data Engineer (Инженер данных) с сильным уклоном в разработку инструментов для повышения эффективности разработки и снижения порога входа.
Обязательно: 3+ года коммерческой разработки на Python.
Обязательно: 2+ года опыта в роли Data Engineer или в проектах, связанных с построением и поддержкой ETL/ELT пайплайнов, использованием Big Data технологий (особенно Spark).
Python: Продвинутый уровень.
Знание современных стандартов (Python 3.8+), асинхронного программирования, популярных фреймворков (FastAPI, Flask - для инструментов), библиотек для работы с данными (Pandas, NumPy - хотя бы базово), тестирования (pytest).
SQL: Экспертный уровень. Сложные запросы, оптимизация, понимание различий в диалектах (BigQuery, PostgreSQL, Spark SQL и т.д.).
Стек Big Data:
Обработка Данных: Опыт с Apache Spark (PySpark) - обязательно. Знание концепций распределенных вычислений.
Оркестрация: Опыт работы с Airflow (предпочтительно) или аналогичными. Умение создавать и поддерживать сложные DAG.
Хранение Данных: Понимание различий и применение: Data Warehouses, Data Lakes, NoSQL (знание принципов, возможно опыт с MongoDB).

Стриминг (Плюс): Базовое понимание Kafka.
Инструменты Разработки & DevOps (Важно для инструментов):
Системы контроля версий (Git - продвинутое использование).
CI/CD (GitHub Actions, GitLab CI, Jenkins).
Контейнеризация (Docker).
Управление зависимостями (poetry, pipenv).

Разработка Инструментов & Кодогенерация (Ключевое направление):
Снижение порога входа: Опыт создания инструментов для автоматизации рутинных задач, шаблонизации кода, внутренних CLI, Low-Code/No-Code платформ для аналитиков или начинающих разработчиков.
Кодогенерация: Глубокое понимание принципов метапрограммирования, шаблонизации (Jinja2, Mako), AST (Abstract Syntax Tree) манипуляций в Python.
Интеграция с AI/LLM (Сильное преимущество): Опыт использования API OpenAI (GPT), Anthropic Claude, локальных LLM (через Hugging Face Transformers, llama.cpp и т.д.) для создания ассистентов, автодополнения, генерации кода/тестов/документации.
Анализ и Генерация SQL: Создание инструментов для анализа, оптимизации или генерации SQL-запросов на основе метаданных или конфигурации.
Продуктовое Мышление: Умение понять боль пользователя (разработчиков, аналитиков) и предложить эффективное инструментальное решение.
Абстрактное Мышление: Способность видеть общие паттерны в рутинных задачах и автоматизировать их.
Коммуникация: Четкое взаимодействие с командой (разработчики, аналитики, продакты), документирование инструментов, проведение демо.
Наставничество (Плюс): Готовность помогать коллегам в использовании созданных инструментов.
Решение Проблем: Глубокий анализ проблем и поиск оптимальных решений.
Самообучение: Быстрое освоение новых технологий, особенно в области AI/LLM и инструментов разработки.

Дополнительные (желательные) требования:

Опыт разработки внутренних инструментов, библиотек, фреймворков или систем автоматизации/кодогенерации для команды разработки или аналитики.
Опыт интеграции LLM в разработческие процессы или создания AI-ассистентов.
Конкретный стек технологий внутри BigData и облака может варьироваться. Гораздо важнее фундаментальные знания и опыт решения схожих задач, а также опыт в создании инструментов для упрощения разработки и кодогенерации.

Условия:

Возможность профессионального и карьерного роста в компании
Возможность поучаствовать в разных проектах
Опыт работы в распределенной команде профессионалов
Уровень заработной платы обсуждается индивидуально
Оформление в соответствии с ТК РФ в Bell Integrator https://bellintegrator.ru/
Формат работы Гибрид: МСК/ Вавилова 19
Допускается удаленный формат работы с готовностью приезжать в офис в случае необходимости.