threekiii/awesome-scrapy

一个基于Scrapy的数据采集爬虫代码库

Scrapy Spiders

【免责声明】

本仓库所涉及的技术、思路和工具仅供学习，任何人不得将其用于非法用途和盈利，否则后果自行承担。

《中华人民共和国网络安全法》第二十七条规定：

• 任何个人和组织使用网络应当遵守宪法法律，遵守公共秩序，尊重社会公德，不得危害网络安全，不得利用网络从事危害国家安全、荣誉和利益，煽动颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，传播暴力、淫秽色情信息，编造、传播虚假信息扰乱经济秩序和社会秩序，以及侵害他人名誉、隐私、知识产权和其他合法权益等活动。

环境部署

• ScrapydWeb集群管理：ScrapydWeb
• Windows+夜神模拟器+Appium：Windows+夜神+Appium
• Windows + mumu模拟器 + Fiddler：Windows + mumu + Fiddler

安全平台爬虫

• 安全牛 Aqniu
• CNVD CNVD

音乐爬虫

• 网易云音乐 Neteasemusic
• QQ音乐 QQmusic
• 背景音乐 BGMmusic

社交平台爬虫

• 微博 Weibopost

• 微博图片 Weiboimage

• 小红书 Xiaohongshu

• 抖音 Douyin

• Instagram Instagram

应用市场爬虫

• 应用市场排名 Market
• 应用市场评论 Comment

其他

• 邮编库 Youbianku
• 招标网 Zhaobiao
• 猎聘网 Liepin

awesome-scrapy's Issues

你好，我们是做IP代理的，想跟你合作

你好，我们是做IP代理的，想跟你合作