tysontxli/qiangguo

QG-Database

qiangguo's Issues

作者还在吗？

看了你的文章，现在还能爬取到数据列表吗

About video spider

Hey elder brother,

I have seen your video spider code, you choose to spider the videos on the main page (called video database) of xuexi.cn central website.

However, the videos on the central website update not frequently, so it couldn't satisfy the video amount (8 scores of video watching every day). There should be more video source.

I have wroten a python spider using "selenium" (using headless chrome) to spide local videos such as "shanxi" or "zhejiang" everyday. It runs on my server everyday. Do you need my contribute my spider code, or public my api (returns with a json) to you to get the video data (title, url, insertTime) every day? Wish to help you.

分享一个现在能用的

http://axuhongbo.top/file/?dl=763a4958ebb953f097a32198a740feec

好久没更新进度了 😄 每天都进来看

如何解决自动扫码登陆的问题？

要实现自主扫码登陆，单靠一台主机是无法完成的。

网页版的二维码相当于是给当前浏览器生成一个Key，手机客户端在已登录的状态下可以通过扫码获取这个Key，并告诉服务器，这个Key就是这个已登录的用户，因此PC端浏览器被授权访问主页。

要实现自主扫码登陆，必须得有安卓虚拟机

1. 自动化测试框架的方案

• appium就可以模拟，但是需要硬件支持二次虚拟化，云主机是不支持二次虚拟化的
• pass

2. 用河马云手机的方案：

• 个人没有资金
• pass

3. 不用安卓虚拟机，靠requests发送请求的方案

• 单靠一台没有跑安卓虚拟机的主机是无法完成扫码登陆的

其他方案

• 拿到登陆二维码，推送到公众号，然后用户保存到本地，用户再打开强国app通过本地导入图片的方式完成登陆动作，云端中的登陆操作，然后由云端自动完成模拟观看的动作。
• 这样用户每天只需要用30秒时间，就可以换来31积分，好像也不亏了。

想请教各位大佬，在缺乏资金的情况下，且无法在云端搭建虚拟安卓机的情况下，还有没有其他方案能够实现不需要人工参与的扫码登陆？

直接就可以用吗

可以用吗兄弟？

大伙能看看这个栏目的文章是否能得分

https://www.xuexi.cn/6db80fbc0859e5c06b81fd5d6d618749/9a3668c13f6e303932b5e0e100fc248b.html

测试的时候发现这一个栏目的文章貌似加不了分？

解决登陆问题？

网页版登陆超过一定时限好像是会强制退出登陆的。

无数水深火热的编制内人员

这个怎么得分？

扫一遍文章就能得分了，分没见增加啊

虽然已经做出来一个东东

真的不怕老大哥嘛←_←我都不敢明目张胆传播的，而且如果你想上架微信小程序是肯定会被强制下架滴。求这个东西的帖子，也有很多都被封了。

需求血妈高

真的

建议coder做到py版本就好了。。。顺便鼓励大家学习python

做成桌面版影响比较大。。但是易被ban吧

另外还有收藏、转发、订阅的接口要分析

以后更新只更新新的api和加密模式即可

纯安全考虑，不引战

加油开发兄弟

加油啊兄弟

大哥，考虑下小白

大哥，希望能让小白会操作，真棒

数据库结构

兄弟，目前只使用了QGNews这张表，没有使用你数据设计的那些表结构吧？

作者你好，我有个疑问

print ("现在对第%s个栏目进行检测" % (columnNum))这一句，对栏目进行检测是时候遍历的不应该是合并的全部的completedArticleColumnUrl列表吗，而在代码中遍历的好像只是从txt读取的validUrlList列表

每个礼拜打卡一次🙂看看

大兄弟！啥时候分享下docker镜像😄顺便来个教程

兄弟加油！！期待可用的时候！

大兄弟加油

大兄弟能把你的数据库直接导出放上来么，这样就方便多了。谢谢兄弟

大兄弟，什么时候出桌面版？太帅了

期待的不行不行的了，什么时候出呢？

我win7配置了环境，怎么运行后没反应？需要Linux？

我win7配置了环境，怎么运行后没反应？需要Linux？

安全性？

不论是使用selenium模拟动作还是直接用他们的api来构造请求，都会留下痕迹，例如selenium的headless模式有痕迹、selenium驱动高版本chrome时有在windows.navigator对象中有webdriver属性，除了一些必要的请求头构造之外，还需要进行哪些操作？

大兄弟，有一点小小的意见

辛苦了大兄弟。
这个需求确实很高。现在有个问题，就是能不能教程写得更详细一些。方便我们这些小白。多谢了。

大兄弟，你今天更新了什么？

大兄弟，我今天只看到你更新了开发理念，哇哈哈

开发进度现在怎么样了，后面怎么搭建的？

现在能得分了吗？

大兄弟可以写写现在代码怎么用吗？

关于模拟登录的建议

兄弟，提个建议，能不能这么做：
1、在钉钉中自建一个小范围的群，应用钉钉的”自定义机器人“。
2、获取到机器人对应的Webhook地址，格式如下 https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxx，即为Post接口。
3、采用机器人的”独立跳转ActionCard类型“格式，构造登录链接，每天早上定时发送给这个群。
类似于：
{    "actionCard": {        "title": "今天需要学习吗",         "text": "点击后后台自动学习",         "hideAvatar": "0",         "btnOrientation": "0",         "btns": [            {                "title": "需要",                 "actionURL": "https://www.dingtalk.com/自构造登录链接"            },             {                "title": "不需要",                 "actionURL": "https://www.dingtalk.com/"            }        ]    },     "msgtype": "actionCard"}
4、在学习网站二维码登录页面爬取二维码对应的字段，base64逆向解出链接，提取code、appid、redirect_uri等信息，作为”自构造登录链接“，让机器人发送。

专门过来加颗星星，顺便支持大佬！

大佬太威武了~期待自动化学习早点搞定：）