webvictory/parsing_store

ссылка на гугл документ https://docs.google.com/document/d/1kgZ3jqPA5v0lECwvtSq57HDSHrHpnAlkdE7dKap7Buw/edit

Техническое задание на разработку парсера.
Ссылка на источник: https://zootovary.ru
Цель - получение информации о товарах: цены, артикулы, штрихкоды, параметры; Получение списка доступных категорий товаров.

Общие требования к разработке:
разрабатывается консольное приложение;
язык разработки Python 3;
операционная система, на которой должен работать парсер: Ubuntu 18.04.3 LTS x64 или новее;
придерживаться принципам ООП, избегать высокого уровня вложенности.
написание кода в соответствии с PEP8, наличие необходимых комментариев;
реализовать обработку исключений, код должен продолжать отрабатывать несмотря на появление ошибок в обработке получаемых данных;
реализовать логирование работы (включая логирование ошибок) в TXT-файл;
предусмотреть возможность дальнейшего удобного расширения функционала.

Требования к функционалу:
Получение списка категорий товаров. У каждой категории необходимо получить уникальный id и по возможности id родительских либо дочерних категорий для понимания иерархии дерева категорий. Парсер должен конфигурироваться для сбора данных как по полному каталогу, так и по выбранным категориям.

Пример типовой структуры файла (categories.csv):

Получение списка товаров. Их цены, наименования, артикулы, штрихкоды, цепочки категорий в каталоге, параметры (страна, вес, объем, количество штук), ссылки на изображение, ссылки на страницу товара. Текстовые данные собираются в csv-файлы. Кодировка - Unicode UTF-8, разделитель полей - точка с запятой (;).
Настройка парсера через файл config.json

Файл конфигурации должен содержать следующие параметры:
“output_directory” - имя директории, в которую будут записываться csv-файлы c результатами парсинга. По умолчанию: “out”.
“categories” - список id категорий, которые будем парсить. Возможность указать несколько категорий через запятую. Если категорий не задано, перебираем полный каталог, т.е. все категории.
“delay_range_s” - Минимальное и максимальное значение искусственной задержки между товарами в секундах (чтобы избежать блокировки за спам). Программа должна выбирать задержку случайным образом в заданном интервале. По умолчанию 1-3 секунды. При значении 0 искусственная задержка отключается и скорость работы парсера зависит от аппаратного обеспечения.
“max_retries” - количество попыток повторного запроса, в случае некорректного ответа.
“headers” - Необходимые заголовки запросов (User-agent и т.п.).
“logs_dir” - имя директории, в которую будут записываться логи.
“restart” - Количество попыток перезапуска и задержка между ними при аварийном завершении парсинга.
Формат:
“restart”: {
“restart_count”: 3,
“interval_m”: 0.2
}

Перечень столбцов выходного CSV-файла с пояснениями по формированию:
price_datetime - Дата и время сбора данных по товару.
price - Регулярная цена.
price_promo - Акционная цена.
sku_status - 1/0 - наличие товара.
sku_barcode - Штрихкод товара. Если их несколько, дублируем строку для каждого из них.
sku_article - Артикул товара. Не записывать в результат парсинга товары, у которых совпадает и артикул, и штрихкод с уже найденными товарами.
sku_name - Наименование товара.
sku_category - Название категории товара в каталоге. Сбор данных должен происходить по иерархии сверху вниз, от родительских категорий к дочерним. Например: ”Колбасные изделия|Сосиски, сардельки, шпикачки|Сосиски”.
sku_country - страна.
sku_weight_min - вес.
sku_volume_min - объем.
sku_quantity_min - количество единиц, например, 100 салфеток в пачке.
sku_link - ссылка на товар в интернет-магазине. Собираем без лишних параметров, в максимально лаконичном виде.
sku_images - Прямые ссылки на каждую фотографию товара.

Примечания:
При парсинге продукта перехват ошибок должен быть изолированным по каждому атрибуту. Например, проблемы с извлечением параметра sku_images не должны приводить к пропуску всего товара, достаточно оставить поле sku_images незаполненным.

По ходу парсинга в консоль должна выводиться информация, по которой можно судить о текущем статусе парсера (например, обрабатываемый в данный момент товар, категория товаров)

Используемые функциональные библиотеки:
Requests
BeautifulSoup

Результат выполнения ТЗ выложить на Гитхаб.