Евгений Слайковский | Как добывать данные, когда их не хотят отдавать

Data Fest Online 2021 Data Collection track Спикер: Евгений Слайковский, Zyte (ScrappingHub), инженер Как добывать данные, когда их не хотят отдавать 1. Почему так происходит? Сервис хочет отдавать данные только реальным пользователям. Что нам делать? Пытаться выглядеть как реальный пользователь. 2. Уровни симуляции пользователя: заголовки, IP, Сессии, Javascript, Сложные отпечатки (js fingerprint, network fingerprint). 3. Заголовки: порядок важен, регистр важен. Пробелы важны 4. IP. Адреса Тора, плохие прокси, дата центр прокси, всё это можно проверить 5. Сессии 6. Javascript. Простые челенджи. Использование JS эмуляторов и браузеры 7. Js fingerprints. Canvas, webGL, webRTC leak. Автоматизация браузеров. (Splash, Puppeteer, Playwright) 8. Network fingerprint, http/2, tls fingerprinting 9. Каптчи. Recaptcha v2, v3, hcaptcha, geetest captcha 10. Обзор антибот систем и кейсы 11. Cloudflare 12. PerimeterX 13. Akamai 14. Datadome 15. А почему только десктоп? 16. Мобильная версия 17. Мобильное приложение 18. Будущее антибот систем Презентация: Посмотреть эфир и список треков и организаторов: Зарегистрироваться на фест и получить доступ к трекам: Вступить в сообщество: Соцсети Data Fest: