ivov160/diary_parser

diary_parser

Описание

Парсер собирает посты внутри дневников пользователей в указанном диапазоне дат (даты задаются в unix timestamp). Все посты записываются в выходной файл, указаный в конфигурационном файле.

Архитектура

Основой парсера является планировщик задач. Планировщик имеет очередь задач, куда помещаются все задачи, которые необходимо выполнить. Для выполнения задач планировщик использует пул процессов, которые выполняют обработку задач. Обработчики задач, как и сами задачи, пишутся с наружи планировщика. Для связывания обработчиков и задач используется диспетчер, который передается в конструктор планировщика. Для регулирования нагрузки планировщику указывается 2 параметра (пока жеский хардкод):

• размер пула процессов

• кофициент нагрузки

  Note:

  Кофициент нагрузки регулирует отношение между количеством задач в очереди и отправленных на выполнение в пул. Пример k = 3, pool_size = 8, тогда максимальное кол-во задач отпровляемых в пул будет: 3 (k) * 8 (pool_size) = 24. Как только кол-во задач отправленных в пулл на выполнение становиться меньше 24 планировщик забирает новые задачи с начала очереди и отпровляет их в пул.

Алгоритм поиска постов (обхода сайта) строится по типу конечного автомата, на основе пользовательских задач. При обработки задачи, обраотчик возврощает массив с новыми задачами, либо None, если таковых нет. На данный момент конвеер выглядит следующим образом

bruteforce_user_id -> diary_posts -> post_filter -> data_extractor -> file_writer
^           |		  ^           |
|___________|		  |___________|

###bruteforce_user_id Задача генерации задач diary_posts, с разными user_id. Данная задача позволяет осуществить перебор user_id более быстрым и конфигурируемым способом.

• user_id, последний выданный id.

###diary_posts Задача для получения постов пользователя, используется для подбора id пользователя и обхода списка его постов:

• user_id, ид пользователя на сайте (владелец постов)
• offset, смещение относительно начала списка, шаг 20
• fails, отмечает кол-во неудачных попыток подобрать user_id. Если данное значение становиться больше или равно соответствующему значению в конфиге, то задача подбор ид пользователя не пораждается (конец подбора пользователей, что значит, конец обхода сайта)

post_filter

Задача для фильтрации поста. Данная задача прверяет удовлитворяет пост критерию поиска или нет.

data_extractor

Задача для извлечения нужных данных из поста

###file_write Задача записи полученных данных в файл

##Конфиг Конфигурационный файл сделан в виде ini файла, пример:

[account]
"имя зарегистрированного пользователя"
username = vasya

"пароль зарегистрированного пользователя"
password = 123

[output]
# тег для записи в файл
tag=data 

# путь до файла для записи постов
file=./data.json

[api]
# кол-во попыток получить посты
fail_count = 10 

# максимальное значение при подборе user_id (максимальный user_id)
bruteforce_max_value = 10000000

# количество порождаемых задач на поддор пароля
# for i in range(prev_value, bruteforce_step):
bruteforce_step = 100

# базовый урл для доступа к api
endpoint=http://www.diary.ru/api/

# приватный ключ для доступа к api
secret_key=

# публичный ключ для доступа к api
public_key=

##Запуск

Запуск парсера производиться следующей командой:

usage: parser.py [-h] -c CONFIG -b BEGIN -e END

Аргументы:

• -c, --config - путь до конфигурационного файла
• -b - начала интервала поиска (задается в unix timestamp)
• -e - конце интервала поиска (задается в unix timestamp)

diary_parser's Issues

Удалить константы из кода (magic numbers)

Заменить все константы в коде, на значения из конфига. Для облегчения тонкой настройки парсера.