yibu619 Goto Github PK

anti-anti-spider

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

blogimage

个人图床

cix-extractor-py

基于行块分布函数的通用网页正文（及图片）抽取 - Python版本

contentextractor

网页正文提取

crawlarticle

基于文字密度的新闻正文提取模块，兼容python2和python3，传入新闻网址或者网页源码即可返回标题，发布时间和正文内容。

cx-extractor-python

基于行块分布函数的通用网页正文抽取算法的Python版本实现，添加了英文支持/ Web page content extraction algorithm, support both Chinese and English

extract_content.py

Extract content from html

extractor

A simple html document content extractor.

github-markdown-css

The minimal amount of CSS to replicate the GitHub Markdown style

htmlcontent

extract meaningful text content from html of web page

htmlcontentextractor

网页正文及正文图片提取，基于哈工大的《基于行块分布函数的通用网页正文抽取》算法

mergeexcel

合并一个excel中的多个sheet到一个新的excel

python-db

python操作数据库的相关代码

pythoncrawler-scrapy-mysql-file-template

scrapy爬虫框架模板，将数据保存到Mysql数据库或者文件中。

sixgod

正文提取｜extract content from html

textsimilarity

基于向量空间模型（VSM）和潜语义索引（LSI）实现的多种文本相似度计算

wechat_articles_spider

微信公众号的爬虫

yibu619.github.io