data engineer

Компания разрабатывает набор инструментов, помогающих брендам масштабировать партнерства с создателями контента в социальных сетях. Команда аналитики данных создает интеллектуальный слой, который преобразует необработанные сигналы социальных сетей в надежные клиентские продукты с данными.

• Планировать, создавать, внедрять и выпускать высокоуровневые проекты от идеи до запуска;
• Создавать системы для определения местоположения, возраста и интересов создателей контента в больших масштабах;
• Разрабатывать системы для извлечения данных о сотрудничестве между создателями и брендами из необработанных социальных данных;
• Формировать будущее поиска с поддержкой искусственного интеллекта, исследуя возможности использования больших языковых моделей и эмбеддингов для улучшения поиска и рекомендаций;
• Создавать продукты с данными с нуля, которые напрямую влияют на клиентов.

• Глубокие знания Spark (Scala, Databricks или PySpark);
• Опыт работы с конвейерами обработки данных (ETL/ELT) и крупномасштабной обработкой данных;
• Умение работать с неструктурированными данными;
• Опыт использования инструментов оркестрации рабочих процессов, таких как Airflow или AWS Step Functions;
• Знание экосистемы AWS (Glue, EMR и другие);
• Опыт вывода полноценных функций в продакшн: от планирования и архитектуры до реализации и итерации;
• Практический опыт создания функций на базе больших языковых моделей в продакшн;
• Понимание компромиссов при использовании больших языковых моделей (стоимость, задержка, возможности);
• Проживание в Европе с возможностью пересечения рабочих часов с восточноевропейским временем;
• Не подходят кандидаты, чей опыт в инженерии данных ограничен аналитикой, бизнес-отчетами, дашбордами или моделированием хранилищ для аналитиков, а также те, кто не создавал продукты с данными для клиентских приложений;
• Будет плюсом опыт работы с инструментами искусственного интеллекта или большими языковыми моделями, знание стека GCP (особенно Vertex AI), работа с форматами озер данных типа Apache Iceberg, использование Pulumi или Terraform для инфраструктуры как кода, знание Node.js и TypeScript, понимание механики затрат AWS, стремление к качеству кода и архитектуре систем, интерес к экономике создателей контента.

• Полностью удаленная работа из любой точки Европы;
• Неограниченный оплачиваемый отпуск;
• Гибкий график и культура асинхронной работы;
• Поддержка профессионального развития (курсы, книги, конференции);
• Регулярные выездные мероприятия для команды.