qq703048949 / python3-spider Goto Github PK

This project forked from xianyucoder/python3-spider

🎯Python3爬虫实战、加解密、教程、原创工具 🎯 拼多多登陆解密、大众点评字体解密、淘宝自动登陆、美团爬虫、中关村网、51Job、github 、逗游、查快递、9377游戏网 🎯博客 https://www.zhangkunzhi.com

Python 55.37% JavaScript 43.38% TSQL 1.25%

python3-spider's Introduction

Python Crawler

Author	Zok
Email	[email protected]
BLOG	https://www.zhangkunzhi.com
Introduce	数据解密、反爬处理、学习教程

记录并分享进步的过程

一、案例

二、教程

三、原创工具

此工具包在我另外一个项目中，欢迎 star

四、爬虫项目

反爬处理案例
│
├── PinDuoDuo                           // -----拼多多解密-----
├── DianPing                            // -----大众点评-----
│   ├── parse_address_poi.py            // 坐标加密
│   └── parse_font_css.py               // CSS字体解密
├── ZhongGuanChun                       // ------中关村加密解析-----
├── 9377游戏平台                         // ------9377自动登陆-----
├── GitHub                              // ------GitHub-----
│   └── login.py                        // GitHub自动登陆
├── JingDong                            // -------京东-------
├── 9377                                // ---9377游戏平台自动登陆---
├── BaiDu                               // -------百度-------
│   └── translation.py                  // 百度翻译
├── MeiTuan                             // -------美团-------
│   ├── get_login_cookies.py            // 基于pyppeteer登陆并获取cookies
│   ├── parse_play_areas.py             // 三级区域解析器(休闲板块)
│   ├── parse_play_info.py              // 休闲会所商铺数据解析
│   ├── parse_hotel_info.py             // 酒店基础数据解析
│   ├── parse_hotel_comments.py         // 酒店评论解析
│   ├── create_food_token.py            // 餐饮页Token生成器
│   ├── parse_food_comments.py          // 获取用户评论数据
│   └── parse_food_info.py              // 解析餐馆数据
├── TaoBao                              // -------淘宝-------
│   ├── login_for_sina.py               // 淘宝自动登陆-新浪入口
│   ├── auto_login_pyppeteer.py         // 淘宝自动登陆-淘宝账号
│   ├── login_for_pyppeteer.py          // 利用pyppeteer过webdriver检测
│   └── login_for_mitmproxy.py          // 利用mitmproxy过webdriver检测
├── BiliBili                            // -------BiliBili-------
│   └── login.py                        // 视频下载器
├── MeiTuanArea                         // -------基于美团全国区域采集器-------
├── KuaiDi                              // -------快递单号快速查询-------
│── 51Job                               // -------51job-------
│   └── select_job.py                   // 编码转换，岗位查询
└── RSA_AES_DES_DES3                    // 主流编码加密解密


教程    
│
├── 爬手机APP
│    ├── 自动化框架Airtest.md
│    └── 抓包工具.md 
├── pyppeteer
└── 爬虫相关博客公众号推荐   


原创工具
├── Proxy                               //      代理工具包 
│   ├── ZhiMaProxyPool.py               // 芝麻代理ip清洗工具
│   ├── ZhiMaProxyUseDemo.py            // 芝麻代理池客户端使用Demo
│   ├── XDLProxyPool.py                 // 讯代理ip清洗工具
│   └── XDLProxyUseDemo.py              // 讯代理池客户端使用Demo
├── Register                            //      注册类工具
│   └── MessageCode.py                  // 异步验证短信接收器
├── Cookies                             //      Cookies获取
│   └── MeiTuan                         // 异步并发批量获取美团登陆Cookies
├── DataMigration                       //      跨数据库迁移
│   ├── db                              // 基础数据库封装包
│   └── migration                       // 迁移器
├── Decode                              //      可拓展式解密器
├── Jsencrypt                           //      自动生成encrypt加密
└── README.md


爬虫项目   
│
├── MeiTuanArea                         //美团全国区域采集器(scrapy)

Recommend Projects