Парсер преподователей с сайта wikimipt.org.
Для работы требуется scrapy. Установить можно коммандой pip install scrapy
Запустить парсинг можно находясь в папке проекта коммандой: scrapy crawl lecturers
Структура проекта соответсвует типичному scrapy проекту. В настройках подключены пайплайны для обработки некоторых полей (ITEM_PIPELINES) и настроен экспорт в csv (FEEDS).
В items описан объект преподавателя с полями, как в дз. Добавлены пайплайны для обработки полей, информация по ним в докстринге.
Сам паук описан в spiders/lecturers.py. Html парсится с помощью xpath. Парсинг начинается со страницы с преподавателями.
Парсер собирает ссылки на преподавателей с помощью метода parse_lecturers_list, так же в нем ищется ссылка на следующую страницу со списком преподавателей. В функции parse_lecturer_data - парсятся данные по преподавателю.