leizongmin/book-crawler-mysql-cron

爬虫，MySQL，定时任务

book-crawler-mysql-cron's Issues

改进列表

• “设置环境变量 debug=blog:*” 在不同操作系统下的操作：
  • Windows：执行命令 set debug=blog:*
  • Linux/Unix：执行命令 export DEBUG=blog:*
• 创建数据表，参考SQL文件 https://github.com/leizongmin/book-crawler-mysql-cron/blob/master/example/tables.sql
• 数据表结构不合理：article_detail.content和article_detail.tags应改为longtext类型

出现了一个bug

在进行到将数据存到数据库中的时候 ，即在应用根目录下执行 node update/all.js后，控制台出现了Error: ER_TRUNCATED_WRONG_VALUE_FOR_FIELD: Incorrect string value: '\xE4\xBF\xA1\xE5\x85\xAC...' for column 'content' at row 1
这个要怎么解决呢

更新前端HTML界面

网络爬虫未获取文章列表，Windows环境下

你好，参照NODE.JS实战中的第六章，试着实现网络爬虫，但是，在启动服务后，并未获得到抓取的文章列表，望解答。
1.在工程目录下 node app.js
2.打开浏览器 localhost:3900，显示【我的博客首页】，但下方未显示出文章列表，不知道问题出在哪里，请不吝赐教。
BEST REGARDS!

需要登录验证的爬虫问题

您好，因为我参加学校的一个小项目，然后需要一些数据，看到您的爬虫教程。但是有些其他细节问题想问您。
1.如果我想做一个需要登录验证才能获取的数据html页面（从教务处内获取课程表），请问怎么爬取呢？（如果不登录，是否能爬去所有学生的课程表）
2.需要爬去一个公众号的历史消息记录，还有详情，但是我网页打开历史记录提示（请在微信客户端打开链接。）该如何避免这个提示，获取所有历史记录。

set debug 那个地方 还有 创建index.ejs写错了 第二次是应该创建article.ejs

from Missing