Data Engineer высоконагруженных конвейеров

ASTON — аккредитованная аутсорсинговая IT-компания, которая с 2007 года разрабатывает программное обеспечение и IT-решения для сфер Finance, Healthcare, eCommerce, IoT, Media, Big Data и ML.

• Реализовывать высоконагруженные конвейеры обработки данных для надёжной и бесперебойной репликации данных из IT-систем;
• Реализовывать комплексные задачи по подготовке данных в аналитических хранилищах DataLake, SandBox и FeatureStore для построения признаков, необходимых для разработки моделей машинного обучения;
• Разрабатывать и поддерживать актуальную документацию по созданному функционалу;
• Отражать статусы выполнения задач в Jira;
• Проверять качество кода, написанного инженерами данных.

• Опыт работы в роли Data Engineer от 4 лет;
• Отличное знание Python: структуры данных и алгоритмы, ООП и функциональное программирование;
• Опыт написания модульных и интеграционных тестов;
• Знание и опыт применения NumPy и Pandas;
• Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных из внешних источников;
• Умение разбираться с API поставщиков данных по доступной документации;
• Отличное знание SQL, включая сложные запросы с аналитическими оконными функциями и профилирование для оптимизации производительности;
• Опыт работы с базами данных Oracle, Postgres и Greenplum;
• Опыт работы с Airflow;
• Опыт разработки сложных высоконагруженных приложений обработки данных на основе PySpark;
• Опыт работы с Apache Kafka, включая продюсеров, консьюмеров на Python и consumer groups;
• Опыт разработки сервисов потоковой обработки данных с использованием Spark Structured Streaming;
• Опыт работы с Flink.

• Конкурентная зарплата, сумму обсуждают отдельно с каждым кандидатом;
• Оформление по ТК РФ;
• Проекты от топовых компаний;
• ДМС со стоматологией;
• Частичная компенсация затрат на спорт;
• Sick-days;
• Оплачиваемый бенч;
• Компенсация расходов на коворкинг;
• Прозрачная система Performance Review и ментор на всё время работы;
• Поэтапная система адаптации новых сотрудников;
• Доплаты за менторство, ведение обучающих курсов, ревью проектов и участие в других профессиональных активностях компании;
• Корпоративный портал с материалами для обучения и развития;
• Регулярные технические митапы и конференции;
• Корпоративы и тимбилдинги;
• Детские праздники и мастер-классы с подарками и сладостями для семей сотрудников.