lucindaya Goto Github PK

2016540636

awesome-bigdata

A curated list of awesome big data frameworks, ressources and other awesomeness.

chinesenlpcorpus

搜集、整理、发布 中文 自然语言处理 语料/数据集，与 有志之士 共同 促进 中文 自然语言处理 的 发展。

craw_jd_comments-master

爬取京东商城商品信息以及用户评论信息

crawler_jd

Selenium自动化测试工具 爬取 京东商品评论信息

customer_satisfaction_analysis

基于在线民宿 UGC 数据的意见挖掘项目，包含数据挖掘和NLP 相关的处理，负责数据采集、主题抽取、情感分析等任务。目的是克服用户打分和评论不一致，实时对在线民宿的满意度评测，包含在线评论采集和情感可视化分析。搭建了百度地图POI查询入口，可以进行自动化的批量查询 POI 信息的功能；构建了基于在线民宿语料的 LDA 自动主题聚类模型，利用主题中心词能找出对应的主题属性字典；以用户打分作为标注，然后 litNlp 自带的字符级 TextCNN 进行情感分析，将情感分类概率分布作为情感趋势，最后通过 POI 热力图的方式对不同地域的民宿满意度进行展示。软件版本请见链接。

data-science-ipython-notebooks

Data science Python notebooks: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, Python essentials, AWS, and various command lines.

data_analysis

基于Python的南京二手房数据采集及可视化分析

datasciencepython

common data analysis and machine learning tasks using python

financial_fraud_detection.ipynb

公开课--Python数据分析之金融欺诈行为检测

give-me-some-credit

kaggle贷款违约预测

learn_python3_spider

python爬虫教程系列、从0到1学习python爬虫，包括浏览器抓包，手机APP抓包，如 fiddler、mitmproxy，各种爬虫涉及的模块的使用，如：requests、beautifulSoup、selenium、appium、scrapy等，以及IP代理，验证码识别，Mysql，MongoDB数据库的python使用，多线程多进程爬虫的使用，css 爬虫加密逆向破解，JS爬虫逆向，分布式爬虫，爬虫项目实战实例等

my-file

nltk_data

NLTK Data

ok_ip_proxy_pool

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池,先做给自己用着~

pandas

Flexible and powerful data analysis / manipulation library for Python, providing labeled data structures similar to R data.frame objects, statistical functions, and much more

pkuseg-python

pkuseg多领域中文分词工具; The pkuseg toolkit for multi-domain Chinese word segmentation

pyhanlp

中文分词

python

Python

python-nidsdata

这是一个封装了KDDCup99、NSL-KDD、UNSW-NB15等入侵监测数据集的Python包。

quant-resources

resources of quantitative trading

recruitment-data-crawl-and-analysis

利用python抓取BOSS直聘和拉勾上杭州和深圳两地数据分析相关的岗位招聘信息，并用pandas和matplotlib进行分析和可视化

sentimentanalysisdictionary

中文情感词典汇总（**大学NTUSD简体中文情感词典，清华大学李军中文褒贬义词典，知网Hownet情感词典等）

smartproxypool

高质量, 高灵活的IP代理池服务

spiders

包含爬取商品信息的京东，天猫，苏宁的三个爬虫，以及一个对京东商品评论进行爬取和分析的脚本

weibo-analysis-and-visualization

使用python抓取微博数据并对微博文本分析和可视化，LDA（树图）、关系图、词云、时间趋势（折线图）、热度地图、词典情感分析（饼图和3D柱状图）、词向量神经网络情感分析、tfidf聚类、词向量聚类、关键词提取、文本相似度分析等