Full-Stack разработчик

Full-Stack разработчик 

Компания: CreativeCode
Проект: Carfluence
Формат: Full time
Локация: Удалённо

О проекте

Carfluence — это современная платформа для агрегации данных и управления инвентаризацией, которая собирает, обрабатывает и анализирует данные с тысяч сайтов в масштабе. Система отслеживает сайты в реальном времени, извлекает структурированную информацию, фиксирует изменения и предоставляет полезные инсайты через современный веб-интерфейс.

Технологический стек

• Backend: Node.js, Express, PostgreSQL, Redis, RabbitMQ
• Frontend: React, Material-UI
• Инфраструктура: Docker, WebSocket
• Сбор данных: Cheerio, Puppeteer, ротация прокси
• API: RESTful API, обновления в реальном времени через WebSocket

Основные обязанности

• Разработка и поддержка веб-скрейперов для различных сайтов и их структур
• Реализация логики извлечения данных с поддержкой ленивой подгрузки и динамического JavaScript-рендеринга
• Создание систем обхода анти-скрейпинг мер и ограничений по частоте запросов
• Оптимизация запросов PostgreSQL и схемы БД для миллионов записей
• Разработка и улучшение админ-интерфейса на React для мониторинга операций
• Реализация распределённой обработки задач с RabbitMQ для масштабного сбора данных
• Разработка стратегий проверки данных, удаления дублей и обеспечения качества
• Создание отказоустойчивых систем с автоматическим повтором и обработкой ошибок

Требуемые навыки

• 3+ лет опыта разработки на Node.js
• Глубокая экспертиза в веб-скрейпинге, включая современные методы обхода анти-бот защит
• Опыт работы с PostgreSQL (включая JSONB и сложные запросы)
• Опыт работы с системами очередей сообщений (предпочтительно RabbitMQ)
• Навыки управления и ротации прокси
• Отличное знание HTML/DOM-парсинга (Cheerio и аналоги)
• Понимание принципов проектирования RESTful API
• Опыт работы с обработкой больших объёмов данных
• Владение Git

Будет плюсом

• Опыт с Puppeteer или Playwright для сайтов с тяжёлым JS
• Знание систем защиты (Cloudflare и аналогов)
• Опыт работы с Docker
• Опыт построения потоков данных в реальном времени
• Понимание распределённых систем и микросервисной архитектуры
• Опыт работы с кешированием в Redis

Чем предстоит заниматься

• Расширение покрытия скрейперов на новые типы сайтов и структуры
• Повышение точности и полноты извлечения данных
• Реализация алгоритмов интеллектуального обнаружения изменений
• Создание систем мониторинга качества данных и алертинга
• Оптимизация производительности скрейпинга и снижение вероятности блокировок
• Разработка аналитических дашбордов и инструментов отчётности
• Создание адаптивных стратегий скрейпинга для изменения сайтов

Идеальный кандидат

Вы — решатель задач, которому нравится реверс-инжиниринг сайтов и разработка надёжных систем для извлечения данных. Вы понимаете вызовы скрейпинга в большом масштабе и умеете строить отказоустойчивые распределённые системы. Вам комфортно работать с неструктурированными данными и создавать надёжные шаблоны для извлечения. Вы умеете обходить сложные сценарии аутентификации, управлять сессиями и динамическим рендерингом контента.

По условиям

Оплата почасовая. работаем через трекер hubstaff, оплата на карту или криптой раз в месяц в первых числах, первый месяц можем проплачивать каждую неделю

Как откликнуться

Пожалуйста, укажите:

• Примеры проектов по веб-скрейпингу, которые вы реализовали
• Ваш подход к обходу анти-скрейпинг систем
• Опыт работы с высоконагруженными системами обработки данных
• Профиль GitHub или примеры кода
• Ваш опыт работы с Node.js и PostgreSQL
• Контакт для связи: https://t.me/teslanikolai