Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
Инженер данных
генерация резюме
сопроводительное письмо
описание
Salmon — лицензированный необанк, создающий современные банковские сервисы для миллионов жителей Филиппин и расширяющий присутствие в Южной Азии.
задачи
- Проектировать, создавать и поддерживать масштабируемые ETL/ELT конвейеры с использованием Databricks и Apache Spark;
- Реализовывать пакетную и потоковую передачу данных из различных источников;
- Обеспечивать отказоустойчивость, эффективность и оптимизацию затрат конвейеров на AWS;
- Разрабатывать и поддерживать архитектуру хранилищ данных с использованием AWS S3, Delta Lake и Databricks;
- Внедрять архитектуру медальонного типа;
- Оптимизировать форматы хранения данных и стратегии партиционирования;
- Работать с сервисами AWS, включая S3, IAM, Lambda и Step Functions;
- Управлять безопасным доступом к данным в средах AWS;
- Разрабатывать блокноты и задания с использованием PySpark, SQL и Python;
- Оптимизировать задания Spark для повышения производительности и снижения затрат;
- Управлять рабочими процессами, заданиями и конфигурациями кластеров в Databricks;
- Внедрять Unity Catalog для управления данными и контроля доступа.
требования
- Практический опыт работы с Databricks;
- Глубокое знание Apache Spark (PySpark и/или Scala);
- Уверенное владение Spark SQL и методами оптимизации производительности;
- Опыт работы с Delta Lake и архитектурами хранилищ данных;
- Владение Python для задач инженерии данных;
- Опыт написания чистого, тестируемого и поддерживаемого кода;
- Знание SQL для трансформации и анализа данных;
- Опыт работы с Git и процессами контроля версий;
- Развитые навыки решения проблем и аналитическое мышление;
- Умение работать самостоятельно и брать на себя ответственность за конвейеры данных;
- Хорошие коммуникативные навыки и способность к сотрудничеству в кросс-функциональных командах;
- Внимание к деталям и фокус на корректности и надежности данных;
- Будет плюсом знакомство с Unity Catalog или другими инструментами управления данными, опыт поддержки аналитических задач и BI, знание методов оптимизации затрат в AWS и Databricks, а также экспертные знания Spark.
условия
- Офис, есть релокация.
навыки