Splash

Теги: crawlers  python 

Splash - A javascript rendering service

Splash — это сервис js-рендеринга. Это легкий веб-браузер с HTTP API, реализованный на Python3 с использованием Twisted и QT5. QT используется для того, чтобы сделать службу полностью асинхронной, что позволяет использовать параллелизм webkit через основной цикл QT. Некоторые функции Splash:

  • обрабатывать несколько веб-страниц параллельно;
  • получить HTML-результаты и/или сделать скриншоты;
  • отключить изображения или использовать правила Adblock Plus, чтобы ускорить рендеринг;
  • выполнять пользовательский JavaScript в контексте страницы;
  • писать сценарии просмотра Lua;
  • разрабатывать сценарии Splash Lua в блокнотах Splash-Jupyter
  • получить подробную информацию о рендеринге в формате HAR.

Install

sudo docker pull scrapinghub/splash

Start

sudo docker run -it -p 8050:8050 --rm scrapinghub/splash

Смотри еще: