backend разработчик распределённых систем

YTsaurus — основная платформа Яндекса для аналитики и построения batch-процессов. Она включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — открытый фреймворк для распределённой обработки больших объёмов данных. Проект SPYT интегрирует Spark с YTsaurus; его исходный код доступен в открытом доступе, а инструмент используется внутри Яндекса и внешними пользователями.

• Повышать эффективность интеграции Apache Spark и YTsaurus;
• Интегрировать новые версии Apache Spark и YTsaurus для эффективного взаимодействия;
• Проводить регулярные бенчмарки;
• Определять проблемные зоны в интеграции и устранять их;
• Расширять область применения инструмента;
• Помогать дата-инженерам и опенсорс-пользователям эффективно решать задачи с помощью инструмента;
• Актуализировать план дальнейшей интеграции на основе обратной связи и трендов развития инструментов для дата-инженерии;
• Развивать внешнее комьюнити вокруг опенсорс-проекта.

• Опыт работы с Apache Spark не менее трёх лет;
• Умение разрабатывать под JVM на Java и Scala, а также на Python;
• Понимание принципов распределённого хранения и обработки больших объёмов данных;
• Будет плюсом опыт работы с Hadoop-стеком (HDFS, YARN), Docker и Kubernetes, участие в работе над опенсорс-проектом, знание C++.

• Расширенная медицинская страховка с первого месяца работы;
• Оплачиваются 30 дней больничного в году;
• ДМС покрывает чекапы, вакцинацию, стоматологию, коррекцию зрения и хирургическое лечение косоглазия после года работы;
• Оплачиваются ведение беременности и роды для сотрудниц и жён сотрудников, которые работают в компании более двух лет;
• ДМС для детей и супругов по системе 80/20.