andrewchien/blog

个人博客，以后博客就在这里写了。。。。

blog's Issues

网盘网站抓取（9）——下载文件管理

网盘网站抓取（9）——下载文件管理

网盘网站抓取（10）——终极大招：破解VIP下载

网盘网站抓取（10）——终极大招：破解VIP下载

网盘网站抓取（4）——洗出网盘下载地址

网盘网站抓取（4）——洗出网盘下载地址

网盘网站抓取（2）——分析

网盘网站抓取（2）——分析

  一切都缘起于这个网站：https://www.ziyuan.tv/game/yxym ，“资源分享网”。名字取得倒是很有时代特色，不过国人的把戏都是这样的，打着“分享”、“共享”这么神圣的名号来干收费的龌龊事而已！（当然收费本身不是龌龊的，他龌龊就龌龊在打着冠冕堂皇道德至上的旗号来干这件反道德的事。国人无论是做此事还事看见此事的人都习以为常了，劣根啊！）

  好了不做道德婊，干正事:joy:。当初从这网站搜到游戏源码下载而且尝试了一下里面的普通下载，虽然速度慢（只有可怜的50k左右，被服务端限速了），但最后确实下载到了某个页游全部或部分源码。所以来源是可靠的，可以抓（确定抓之前得排除纯流量网站，不做无用功）。此网站引入眼帘的就是几大行非主流的闪瞎我这钛合金狗眼的banner，一股浓郁的小众H网吸引流量骗点击的风格。。。应该是这个网站平时也赚不到什么钱，所以从流量商搞一堆广告链接来刷。这不是我的重点。

  这个资源分享网，是我们需要爬取的网盘网站（六盘网）的一个入口，www.ziyuan.tv 这个域名应当是他三个导流域名之一，另外两个见 http://www.liupan.net 他们的网站介绍上（自己找吧）。

  以展示为主的网站爬取逻辑一般是这样的：

st=>start: 入口
op1=>operation: 列表页
op2=>operation: 详情页
e=>end: 结束
st->op1->op2->e

  分析了一下这个网站的结构，列表页、详情页都有，还多了一个下载页。列表页（入口地址）是 https://www.ziyuan.tv/game/yxym ，详情页是 https://www.ziyuan.tv/xxxx.html (从列表页链接得到)，最终下载页是 http://www.liupan.net/file-xxxx.html 。

  于是该网站爬取流程逻辑为：

st=>start: 开始爬取
op1=>operation: https://www.ziyuan.tv/game/yxym
op2=>operation: https://www.ziyuan.tv/xxxx.html
op3=>operation: https://www.liupan.net/file-xxxx.html
e=>end: 结束爬取
st->op1->op2->op3->e

  另外，为了知道这个流程是否完整及能否走得通，我们需要把整个过程实现一遍。从列表页点击游戏下载项进入详情页，没有问题。且从详情页进入下载页的按钮在下方：

  然后点击按钮进入下载页，第一个坑来了，那就是要交钱。为什么我前面说“普通下载”，因为它还有个“VIP下载”；为什么普通下载只有50k，因为他有一个收费下载进行比较。当然从内心来讲，我是不想交钱的，我写本系列博客的最终目的是最后一个：网盘网站抓取（10）——终极大招：破解VIP下载。不过，想达到破解此网站VIP下载，得先了解此网站构造才能有的放矢，所以得有第一个人肯出来交这钱。我搜了一下百度，并没有发现之前有人写过该网站的VIP下载破解过程，所以，那我就当第一个吧，以后别人都不用交了。于是花了10块钱买了7天会员（注意：在了解下载源是否真实之前，我不建议如我这般的开发者随便花钱去测试一个商业网站。毕竟我并不是以商业为目的的下载和使用）。

（注意：本博客所有文章及源码禁止任何商业目的转载和使用，其他目的转载和使用请注明来源）

网盘网站抓取（7）——自动识别验证码登录网站

网盘网站抓取（7）——OCR识别验证码登录

网盘网站抓取（5）——selenium+phantomjs

网盘网站抓取（5）——selenium+phantomjs

网盘网站抓取（3）——从列表抓取详细页

网盘网站抓取（3）——从列表抓取详细页

网盘网站抓取（8）——selenium获取ajax回传

网盘网站抓取（8）——selenium获取ajax回传

网盘网站抓取（6）——selenium+headless chrome

网盘网站抓取（6）——selenium+headless chrome

网盘网站抓取（1）——概述

网盘网站抓取（1）——概述

  元旦三天，老婆带儿子回姥姥家办理户口去了，外面下大雪一个人在家正无聊，于是想到前几天找到的一个网盘网站。这个网站可屌炸天，居然有网游源码，这东西一般可难找到，公司也不太可能会出售这个。这么宝贝的东西不据为己有简直对不起自己:joy:。话说回来，人家可是公开下载的，我只是想拿得比别人快一步而已。。。

  好了，以下是完成后的视频录像：

  以下是我MarkDown测试添加视频用的（点击会跳转优酷视频）：

目录

• 网盘网站抓取（1）——概述
• 网盘网站抓取（2）——分析
• 网盘网站抓取（3）——从列表抓取详细页
• 网盘网站抓取（4）——洗出网盘下载地址
• 网盘网站抓取（5）——selenium+phantomjs
• 网盘网站抓取（6）——selenium+headless chrome
• 网盘网站抓取（7）——OCR识别验证码登录
• 网盘网站抓取（8）——selenium获取ajax回传
• 网盘网站抓取（9）——下载文件管理
• 网盘网站抓取（10）——终极大招：破解VIP下载

（注意：本博客所有文章及源码禁止任何商业目的转载和使用，其他目的转载和使用请注明来源）