Python Developer

Команда занимается сбором качественных данных, которые принципиально важны для обучения передовых моделей ИИ.

• Проектировать и разрабатывать ключевые компоненты распределённой системы массового краулинга;
• Оптимизировать пропускную способность системы: асинхронный I/O, connection pooling, DNS-кэширование, батчинг запросов;
• Проектировать и развивать архитектуру URL-фронтира: шардирование, приоритизация, дедупликация на масштабе миллиардов URL;
• Разрабатывать интеллектуальные crawl-планировщики: адаптивное расписание обхода, приоритизация по freshness и значимости;
• Реализовывать механизмы обнаружения и обхода crawler-ловушек;
• Проектировать пайплайны обработки данных: парсинг, нормализация, дедупликация контента, индексация;
• Обеспечивать отказоустойчивость на уровне архитектуры: stateless-воркеры, автоматический failover, graceful degradation;
• Оптимизировать использование ресурсов: CPU, память, сетевой bandwidth, стоимость облачных ресурсов;
• Разрабатывать системы мониторинга и observability для контроля здоровья краулера в реальном времени;
• Работать с геораспределённой инфраструктурой для снижения латентности и увеличения покрытия.

• Коммерческий опыт разработки на Python от 6 лет;
• Глубокая экспертиза в асинхронной и мультипоточной разработке (asyncio, uvloop, multiprocessing);
• Отличное понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, WebSocket;
• Опыт проектирования и эксплуатации распределённых систем высокой нагрузки;
• Практический опыт работы с веб-краулерами на масштабе десятки миллионов страниц в сутки;
• Опыт работы с распределёнными очередями и потоковыми системами (Kafka, Redis Streams, RabbitMQ);
• Опыт работы с реляционными (PostgreSQL) и нереляционными БД (Redis, ClickHouse, MongoDB);
• Понимание принципов consistent hashing, шардирования, репликации;
• Опыт работы с Docker, Kubernetes, CI/CD;
• Навыки глубокого troubleshooting: tcpdump, strace, perf, flamegraphs;
• Опыт проведения Code Review и формирования технических стандартов.

• Ежегодный пересмотр зарплаты, годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду;
• Доступ к DS&AI community, возможность быть соавтором НИРов и статей для международных конференций.