Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
Data Engineer
генерация резюме
сопроводительное письмо
описание
Feedzai — первая в мире платформа RiskOps для управления финансовыми рисками, лидер рынка по защите глобальной коммерции с помощью облачной платформы на базе машинного обучения и ИИ. Платформа обеспечивает переход к безналичному миру, цифровое доверие в каждой транзакции и платеже. Крупнейшие банки, процессоры и ритейлеры доверяют Feedzai защите триллионов долларов, управлению рисками и улучшению клиентского опыта без ущерба приватности.
задачи
- Перестраивать и масштабировать компоненты обработки больших данных для DSF;
- Анализировать паттерны нагрузки (Spark-задачи, активность ноутбуков, использование DS API) и улучшать производительность, надёжность, снижать затраты;
- Обеспечивать стабильность Spark-задач на кластерах EMR или Kubernetes;
- Эксплуатировать и развивать компоненты экосистемы Hadoop (HDFS, YARN) и рантаймы Spark;
- Поддерживать и улучшать пайплайны ингеста между Runtime и DSF (Firehose, Glue → S3);
- Улучшать опыт разработчиков и продвинутых пользователей в JupyterLabs и DS API;
- Сотрудничать с продуктовыми инженерами, дата-сайентистами и платформенными командами по роадмапу DSF;
- Владеть сервисами на протяжении всего жизненного цикла по принципам DevOps («ты строишь — ты эксплуатируешь») и участвовать в дежурствах для круглосуточной надёжности платформы.
требования
- 5+ Лет опыта в построении и эксплуатации распределённых систем больших данных;
- Сильный опыт с Apache Spark — тюнинг, отладка, оркестрация;
- Сильные основы программирования (Java обязательно; Scala или Python — плюс);
- Хорошие знания экосистемы Hadoop (HDFS, YARN);
- Опыт эксплуатации Linux-систем в облаке;
- Знание workflow JupyterHub/JupyterLabs;
- Опыт проектирования и эксплуатации ETL/ELT-пайплайнов;
- Умение работать автономно с сложными техническими задачами;
- Будет плюсом опыт с Spark на EMR или Kubernetes, Kubernetes, AWS S3, AWS Glue, Nessie, Trino, Kafka, Iceberg, Airflow, построение пайплайнов данных или автоматизация для data-heavy workflow, вклад в OSS в экосистеме Big Data, разработка или поддержка платформ DS/ML-инженерии.
условия
- Политика Flex/Remote: полностью удалённо или гибрид (офис 1-2 дня в месяц, 2-3 дня в неделю или 4-5 дней);
- Доступ к широкому набору бенефитов для сотрудников по всему миру;
- Культура обучения, внутренняя мобильность, годовой бюджет на тренинги.
навыки