voctenzuk/wiki_mipt_scraper

Парсер преподавателей wiki mipt

Описание

Парсер преподователей с сайта wikimipt.org.

Для работы требуется scrapy. Установить можно коммандой pip install scrapy

Запустить парсинг можно находясь в папке проекта коммандой: scrapy crawl lecturers

Структура проекта соответсвует типичному scrapy проекту. В настройках подключены пайплайны для обработки некоторых полей (ITEM_PIPELINES) и настроен экспорт в csv (FEEDS).

В items описан объект преподавателя с полями, как в дз. Добавлены пайплайны для обработки полей, информация по ним в докстринге.

Сам паук описан в spiders/lecturers.py. Html парсится с помощью xpath. Парсинг начинается со страницы с преподавателями.

Парсер собирает ссылки на преподавателей с помощью метода parse_lecturers_list, так же в нем ищется ссылка на следующую страницу со списком преподавателей. В функции parse_lecturer_data - парсятся данные по преподавателю.