Загрузка...

Python Link Parser

Thread in Python created by renameduser_122026 Aug 24, 2019. 324 views

  1. renameduser_122026
    renameduser_122026 Topic starter Aug 24, 2019 46 Jun 3, 2017
    В общем, пишу одну штуку на пайтоне с использованием Selenium.
    Мне нужно спарсить опредленные ссылки, продемонстрирую на примере лолза:
    есть ссылки на темы типа: lolzteam.net/threads/12345, если она была уже прочитана, то она будет выглядеть так: lolzteam.net/threads/12345/unread
    Так вот, нужно спарсить ссылки только не прочитанные и записать их в файл, возможно ли такое сделать непосредственно в Selenium?
    И желательно с кусочком кода, я в долгу не останусь :)
     
    Aug 24, 2019
  2. MortiZ
    MortiZ Aug 25, 2019 540 May 13, 2017
    Aug 25, 2019
  3. Kyber_Zero
    Kyber_Zero Aug 25, 2019 Dead Inside 5 Jan 21, 2018
    avatarrenameduser_122026, Два вопроса - откуда будешь брать ссылки и мб выберешь другой модуль? Например bs4 + requests
     
    Aug 25, 2019
  4. renameduser_122026
    renameduser_122026 Topic starter Aug 25, 2019 46 Jun 3, 2017
    Да я решил вопрос, через requests/grab сайт ругался на отключенный JS, помогла библиотека requests-html, годная штука, поддерживает хромиуим и JS, можно спросить все ссылки буквально за 3-4 строки кода
     
    Aug 25, 2019
  5. Rostil
    Rostil Aug 25, 2019 Дай личный! 537 Nov 12, 2018
    Если request-html поддерживает js & chromium тогда тебе большое спасибо!
    The post was merged to previous Aug 25, 2019
    Я посмотрел документацию, спасибо тебе большое я долго рылся как парсить js, но никак немог найти! Press F to pay respect :press_f::press_f::press_f:!
     
    Aug 25, 2019
Loading...