piar1986/book_parser

Парсер книг с сайта tululu.org

Парсер книг с сайта tululu.org

Скачивание книги в текстовом формате из коллекции книг с научной фантастикой. В результате в папке с parse_tululu_category.py появятся папкиbooks/ и images/, а также файл books_data.json с описанием книг. В books/ скачаются файлы с текстами книг, в images/ - обложки книг.

Как установить

Для запуска парсера у вас уже должен быть установлен Python 3.

• Скачайте код
• Установите библиотеки командой pip install -r requirements.txt

Аргументы

Возможно выбрать диапазон страниц для скачивания книг.

• start_page — начальная страница, обязательный параметр.
• end_page — конечная страница, необязательный параметр.

Пример команды запуска: python parse_tululu_category.py --start_page 1 --end_page 5

В результате скачаются книги с 1 по 5 страницы. Если указать только начальную страницу, то парсер будет работать пока не закончатся страницы, их 701 на момент февраля 2020 года.

Цель проекта

Код написан в образовательных целях на онлайн-курсе для веб-разработчиков Devman.