Загрузка...

Parser Youpin898 (Steam skins)

Thread in Python created by strelok_cccp Jul 29, 2025. 582 views

  1. strelok_cccp
    Задача:
    Получение минимальной цены и количества офферов по каждому уникальному market hash name раз в час.

    Текущий подход:
    1) нашёл api, который подгружает продаваемые предметы
    2) Вот по этому url в body лежат все данные.
    3) Минимальная цена в data[0] (см. скрин)
    4) Кол-во офферов в корне (TotalCount: 1366 - см. скрин)
    5) Опытным путём понял, что одно устройство (один curl) может получить 25-30 данных, а далее блокировка.
    6) Это не IP блок, т.к. бан не снимается при использовании ***, а снимается при открытии вкладки в инкогнито режиме.
    7) Блокировка вероятнее всего идёт по хэдерам, поэтому я решил что нужно использовать Selenium и собирать уникальные абсолютно новые хэдеры, чтобы менять сессию каждые 25-30 запросов после получения блокировки.
    8) Также для сбора новых хэдеров я использую библиотеку fake-useragent.
    9) ****** пока что не использую, потому что убедился что не по IP блокировка.

    По итогу: я застрял на моменте, как мне обходить детект сайта. В этой теме я новичёк, буквально дня 3-4 изучаю парсинг.
    Буду рад вашей помощи, спасибо!
    [IMG]
     
    1. Milfdomination
      avatarstrelok_cccp, если надо, могу на заказа тебе сделать
  2. Lologhh
    Lologhh Jul 29, 2025 Banned 61 Apr 17, 2023
    тебе короче нужно как что через менеджера селениум сделать антидетект полный
     
    1. View previous comments (8)
    2. strelok_cccp Topic starter
    3. strelok_cccp Topic starter
      avatarLologhh, Нашёл видео, наверно поможеь) - Парсинг сайтов на Python | Обходим обнаружение парсера с Selenium Stealth
  3. sunshine
    зачем ваще парсинг через селениум
     
    1. strelok_cccp Topic starter
      avatarsunshine, Слушай, ну я пару дней этим занимаюсь. Ты мне говори что делать, не задавай вопросы. Вопросов у меня самого много)
    2. sunshine
      avatarstrelok_cccp, закрывай селениум изучай запросы
  4. kekch127
    kekch127 Jan 19, 2026 1,273 Oct 5, 2020
    avatarstrelok_cccp,
     
Loading...