xuxueli/xxl-crawler

A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

xxl-crawler's Issues

JsoupUtil工具类loadPageSource()方法里Connection没有调用requestBody

JsoupUtil工具类loadPageSource()方法里Connection没有调用requestBody，有的接口要求只能通过Connection.requestBody()传递参数，这种情况下，抓取不到数据。

扩散全站功能异常问题.

打开了扩散全站的功能, 但是在 JsoupUtil.findLinks()方法中筛选到的url不全, 标签获得的href是相对路径, 不是决定路径. 使用下面三种方法获得的值全部是相对路径, 校验url不通过导致, 扩散爬取失败, 大佬有遇到过这种情况吗 ?
tips: 使用 JS渲染方式采集数据，"selenisum + phantomjs" 方案

1. item.absUrl("abs:href");
2. item.attr("abs:href");
3. item.attr("href");

爬取的url是 http://www.bootcss.com/

maven引入1.2.2版本，测试07报错

请问该项目还维护和更新吗

如题

使用SeleniumPhantomjsPageLoader后，jsoup解析后document对象中的baseUri为空

使用SeleniumPhantomjsPageLoader后，jsoup解析后document对象中的baseUri为空

线程安全问题

LocalRunData 中 使用 LinkedBlockingQueue 来记录需要爬取的url, 这是一个线程安全的队列, 还需要加 volatile 关键字吗 ?

selectType.VAL 貌似存在问题

无法读取到下拉选择框的当前选择项,在浏览器Console可以获取

com.xuxueli.crawler.thread.CrawlerThread#processPage问题

com.xuxueli.crawler.thread.CrawlerThread#processPage中以下代码应该return false比较合适吧？

if (!crawler.getRunConf().validWhiteUrl(pageRequest.getUrl())) {     // limit unvalid-page parse, only allow spread child, finish here
            return true;
        }

发送post请求时返回400

你好，我在测试用例中没有找到post请求的模板调用

这是我的调用代码
` Map<String,String> dataMap = new HashMap<>();
dataMap.put("category","**");
dataMap.put("currentPage","1");
dataMap.put("pageSize","30");

    Map<String,String> headerMap = new HashMap<>();
    headerMap.put("Accept-Encoding","gzip");
    headerMap.put("Content-Type","application/json;charset=UTF-8");
    headerMap.put("User-Agent","Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36");

    XxlCrawler xxlCrawler = new XxlCrawler.Builder()
            .setUrls(url)
            .setAllowSpread(false)
            .setIfPost(true)
            .setHeaderMap(headerMap)
            .setParamMap(dataMap)
            .setPageParser(new PageParser() {
                @Override
                public void parse(Document html, Element pageVoElement, Object pageVo) {
                    XxlJobLogger.log("html:{}",html);
                }
            })
            .build();
    xxlCrawler.start(true);
    return SUCCESS;`

这是报错：
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=400

是否允许基于身份认证的爬虫

实现简单的只有用户名与密码的登陆授权，获取token或session来爬其他的页面。

优化setPageParser避免匿名函数

Document 和 Element对象可以在其他地方取出,使用匿名函数的调用方式并不是很方便

CrawlerThread的process方法里判断当前链接是否是白名单链接逻辑有问题

// ------- pagevo ----------
if (!crawler.getRunConf().validWhiteUrl(link)) { // limit unvalid-page parse, only allow spread child
return false;
}

这一段代码返回false，如果用户设置了重试次数，会导致无意义的重试。这里应该返回true

pageVo对象注入使用get/set

直接用反射还是不太好吧!

接入xxl-crawler的公司请留下 ”公司名称 + 公司官网地址“，谢谢。

[新需求]针对post请求，相同的url，根据参数不同返回不同结果的页面抓取实现

针对post请求，相同的url，根据参数不同返回不同结果的页面抓取实现
是否可考虑在解析页面结果的类中返回当前爬虫对象，这样可以在处理完上一个页面抓取后，向爬虫对象中的url队列添加新的url。增强现在的只能在爬虫初始化的时候添加url（或者只能粗犷的扩散爬取）功能。

请问一下，有登录后再爬取内容的功能吗？

请问一下，有登录后再爬取内容的功能吗？

建议使用jdk1.8

• 建议使用jdk 1.8

setWhiteUrlRegexs正则传参不起作用

setWhiteUrlRegexs("https://www.kuaidaili.com/free/inha/\\b[1-2]/")
例如这种方式它不会匹配两个url，whiteUrlRegexs.length为1

爬取到的页面可能出现"截断"问题-----网瘾少年徐志摩

Jsoup默认页面内容大小限制为1M,设置为0则不限制大小

参考文档:
http://chenrongrong.info/2014/11/16/Jsoup-skill.html
http://leobluewing.iteye.com/blog/1997906

目前可使用用的选择器过少

建议首先考虑正则选择器

能否支持获取js执行之后的网页

类似下面那样，或者是js生成的节点。
`

<script type="text/javascript"> document.getElementById("abc").src = "xxx"; </script>

`

ajax请求爬取

• 是否支持ajax(json响应)请求的爬取

【需求】VO嵌套

PageFieldSelect能否使用复杂类型？希望爬取1-N的数据结构

[issue] 多线程情况下，tryFinish()很小的概率会误判当前运行状态

• issue description：

多线程情况下，tryFinish()会误判CrawlerThread的运行状态，导致提前stop，以下是运行XxlCrawlerTest，开启3个thread，并打印日志：

概率比较小，大概试10次能出现一次，原因可能如下：
thread-3调用tryFinish()并提前获取了3个CrawlerThread的isRunning状态均为false，刚好此时thread-1调用了crawler.getRunData().getUrl()并将running设为true（但thread-3已经无法知晓），最后thread-3判断runData.getUrlNum()==0为true，由此isEnd为true，导致了误判：

• solution：

1. 改写tryFinish()，先判断runData.getUrlNum()==0，再逐一获取CrawlerThread的状态，防止调用crawler.getRunData().getUrl()无法获取running的最新状态：

public void tryFinish(){
    boolean isEnd = runData.getUrlNum()==0;
    boolean isRunning = false;
    for (CrawlerThread crawlerThread: crawlerThreads) {
        if (crawlerThread.isRunning()) {
            isRunning = true;
            break;
        }
    }
    isEnd = isEnd && !isRunning;
    if (isEnd) {
        logger.info(">>>>>>>>>>> xxl crawler is finished.");
        stop();
    }
}

2. CrawlerThread的running参数加上volatile关键字，保证可见性：

private volatile boolean running;

connect timeout超时处理

如何针对对某个url的connect timeout超时做出判断处理，或者重新加入待爬取内容