python разработчик высоконагруженных систем

Команда собирает качественные данные, которые необходимы для обучения передовых моделей ИИ.

• Определять техническую стратегию и целевую архитектуру системы;
• Проектировать системы с масштабированием от миллионов до миллиардов сущностей, включая горизонтальное масштабирование, шардирование и геораспределение;
• Принимать ключевые технологические решения: выбирать стек, стратегии хранения и архитектурные паттерны;
• Проектировать сквозные конвейеры: обнаружение URL, получение, разбор, дедупликация, хранение и доставка;
• Писать код самых сложных и критичных компонентов: планировщика обхода, URL-фронтира и дедупликации;
• Проводить оптимизацию производительности: профилирование, нагрузочное тестирование и устранение узких мест;
• Оптимизировать прокси-инфраструктуру и маршрутизацию трафика на глобальном уровне;
• Исследовать и внедрять новые технологии: HTTP/3, QUIC, eBPF и io_uring;
• Разрабатывать стратегии оптимизации стоимости инфраструктуры;
• Руководить командой из 3–6 инженеров: планировать, декомпозировать и приоритизировать работу;
• Формировать и поддерживать технические стандарты, включая Code Review, рекомендации по написанию кода и архитектурные ADR;
• Менторить разработчиков, проводить встречи один на один и помогать в профессиональном развитии;
• Взаимодействовать с потребителями данных и смежными командами при планировании дорожной карты.

• Коммерческий опыт разработки на Python от 7 лет, включая не менее 2 лет в роли технического или командного лида;
• Экспертиза в проектировании распределённых высоконагруженных систем: миллионы RPS и петабайты данных;
• Глубокое понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC;
• Практический опыт построения масштабных систем краулинга или аналогичных систем сбора данных;
• Экспертиза в асинхронном и параллельном программировании;
• Опыт проектирования микросервисной и событийно-ориентированной архитектуры;
• Опыт работы с Kafka, Redis, PostgreSQL, ClickHouse или аналогами;
• Уверенное владение Kubernetes, Docker, Terraform и CI/CD;
• Опыт работы с облачными платформами;
• Навыки глубокого поиска и устранения неисправностей с использованием tcpdump, strace, perf и инструментов eBPF;
• Опыт управления командой: планирование, Code Review, менторинг, встречи один на один и найм;
• Будет плюсом знание Go, Rust или C++ для написания высокопроизводительных компонентов, опыт работы в компаниях с масштабным краулингом, опыт работы с io_uring, eBPF и zero-copy networking, опыт построения геораспределённых систем, опыт применения ML для оптимизации стратегий краулинга, публичные выступления и статьи.

• Гибридный или офисный формат работы;
• Ежегодный пересмотр зарплаты;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития;
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа;
• Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.