Инженер данных

Aston — аккредитованная аутсорсинговая IT-компания, разрабатывающая программное обеспечение и IT-решения в сферах финансов, здравоохранения, электронной коммерции, интернета вещей, медиа, больших данных и машинного обучения. Работа ведется над проектом заказчика — крупнейшего коммерческого банка, лидера по объему активов и цифровому развитию.

• Разрабатывать сервисы пакетной и потоковой обработки данных для вычисления их векторного представления и сохранения в векторном хранилище для обогащения больших языковых моделей релевантными контекстными данными;
• Реализовывать промышленные отказоустойчивые сервисы ETL на Python для пакетной загрузки и трансформации данных под управлением Apache Airflow, Argo Workflows;
• Осуществлять асинхронное программное взаимодействие с веб-сервисами по REST API.

• Опыт работы в роли Data Engineer от 3-х лет;
• Отличные знания Python;
• Отличные знания SQL;
• Опыт работы с Pyspark;
• Опыт асинхронного программного взаимодействия с веб-сервисами по REST API с использованием библиотек aiohttp, httpx;
• Знание реляционных СУБД (MySQL, PG, Oracle, MSSQL) на уровне написания сложных запросов;
• Опыт работы с любым объектным или файловым хранилищем;
• Опыт работы в интерактивных средах (Jupyter, Databricks, Datalore);
• Знание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных parquet, orc.

• Оформление по ТК РФ;
• ДМС со стоматологией;
• Частичная компенсация затрат на спорт;
• Оплачиваемый бенч и компенсация расходов на оплату коворкинга;
• Прозрачная система Performance Review и менторство;
• Доплаты за менторство, ведение обучающих курсов и ревью проектов;
• Корпоративный портал с материалами для обучения, технические митапы и конференции;
• Корпоративы, тимбилдинги и мероприятия для семей сотрудников.