Orion by CodeX

Contributors

Stargazers

Watchers

codex-orion's Issues

Спарсить комментарии из Russia Today

Комментарии там используются через сторонний виджет. Нужно будет разобраться в скриптах и получать число и содержание комментариев отдельным запросом для каждой статьи.

Подумать не вынести ли это в child actor.

Создать докер конфигурацию

Создать парсинг стримов твиттера

Изучить примеры использования Akka Streams.
Сделать демо-версию работы с Twitter Api #7.
Перевести работу с Twitter Api на Akka Http + Akka Streams #8.
Разобраться в апишке твиттера и написать доку про то, что и как будет использоваться:
https://dev.twitter.com/streaming/overview
Сделать заглушку для аналитики потоков.
Добавить простую аналитику.
Выводить аналитику в качестве Rest-страницы.

Создать схему парсинга статей на основе Russia Today

Сейчас у нас есть очень простой парсер Russia Today и на его примере мы можем создать каркас.
Пока что, мы (@eliseealex и @n0str) решили делать парсинг в три этапа:

Получение списка новостей по таймеру, вызванному из Main. И передача результата запроса следующему актору.
Разбиение списка новостей на отдельные новости и передача этого списка следующему актору.
Парсинг статьи в общий формат для всех издательств и передача, следующему актору для аналитики.

Предполагается, что каждый из этих акторов будет в единственном экземпляре для всех источников новостей и в каждом из них будет содержаться только логика по передаче сообщения обработчику и, может быть, вызову следующего актора.