fantasticlbp/anti-webspider

Web 端反爬技术方案

Hey

• 杭城小刘 - 1995 - HangZhou - Entj

• 📚 Software engineering

• 💻 iOS | Web-Frontend & Backend development | Application Security | Anti-Spider

• 🎤 "Stay hungry, stay foolish."

• 💖 Movie、Ragdoll Cat、Table tennis、Foodie

• ✉️ contact me:

---

Profile Trophies

---

How about some stats ?

---

📊 Most Used Languages

anti-webspider's Issues

数字不能映射回去

Util下没有analysis和map
//根据当前时间返回字体文件
if (pathname.indexOf("analysis") > -1)
这段代码不是很懂

这种unicode进行反爬虫，会不会影响seo

关于对canvas指纹反爬。。。

早期我们和竞争对手打的时候，双方的技术都比较初级。后来慢慢的，爬虫在升级，反爬虫也在升级。这个我们称为“进化”。我们曾经给对方放过水，来试图拖慢他们的进化速度。然而，效果不是特别理想。爬虫是否进化，取决于爬虫工程师自己的KPI，而不是反爬虫的进化速度。

后期打到白热化的时候，用的技术越来越匪夷所思。举个例子，很多人会提，做反爬虫会用到canvas指纹，并认为是最高境界。其实这个东西对于反爬虫来说也只是个辅助，canvas指纹的含义是，因为不同硬件对canvas支持不同，因此你只要画一个很复杂的canvas，那么得出的image，总是存在像素级别的误差。考虑到爬虫代码都是统一的，就算起selenium，也是ghost的，因此指纹一般都是一致的，因此绕过几率非常低。

但是！这个东西天生有两个缺陷。第一是，无法验证合法性。当然了，你可以用非对称加密来保证合法，但是这个并不靠谱。其次，canvas的冲突概率非常高，远远不是作者宣称的那样，冲突率极低。也许在国外冲突是比较低，因为国外的语言比较多。但是国内公司通常是IT统一装机，无论是软件还是硬件都惊人的一致。我们测试canvas指纹的时候，在携程内部随便找了20多台机器，得出的指纹都完全一样，一丁点差别都没有。因此，有些“高级技巧”其实一点都不实用。

404错误

你好，git下您的项目后，本地按照步骤搭建起来，发现报错了：

Server is runnig at http://127.0.0.1:8080/
url->/
404 undefined

是否有反反爬方案? (狗头保命