В рамках данного проекта необходимо осуществить парсинг данных с веб-сайта. В качества веб-сайта взят habr.com. Необходимо осуществить парсинг лучших постов за все время. Данные для парсинга: 1) параметры - наименование статьи, дата загрузки, категория, к которой пост относится; количество голосов и 2) целевой показатель - число просмотров.
Параметр 'количество голосов' можно также использовать как целевой показатель, поэтому и информация по нему была собрана. Более того, рейтинг постов определяется именно количеством голосов, а не просмотров. Однако в качестве независимого параметра 'количество голосов' не подходит, поскольку может сильно зависеть от количества просмотров.
В дальнейшем можно рассмотреть не только лучшие за все время посты, но и увеличить выборку еще большим объемом повседневных постов.
Объем выборки составил 997 статей (для 3 не было обнаружено количество просмотров, поэтому от них решено было избавиться. В дополнение, результат работы парсера (база данных) был сохранен в отдельный файл 'posts_data.csv')
- Импортирование библиотек
- Парсинг данных
- Предобработка данных и Feature Engineering
- Исследовательский анализ данных
matplotlib, nltk, numpy, pandas, pymystem3, re, seaborn, selenium, time
В процессе разработки.
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent