codingxiaxw/crawler

a simple crawler by java

crawler's Issues

关于知乎部分问题无法抓取完整的问题

由于知乎改版了我把正则表达式改成了这样
System.out.println("正在抓取链接"+zhihuUrl);

          String content=Spider.sendGet(zhihuUrl);
       
          Pattern pattern;
          Matcher matcher;

          pattern=Pattern.compile("<h1 class=\"QuestionHeader-title\">(.+?)</h1>");
          matcher=pattern.matcher(content);
          if (matcher.find()) {
              title = matcher.group(1);
          }

          pattern=Pattern.compile("<span class=\"RichText\".+?>(.+?)</span>");
          matcher=pattern.matcher(content);
          if (matcher.find()) {
              titleDescription=matcher.group(1);
          }

          pattern=Pattern.compile("<span class=\"RichText"
          		+ " CopyrightRichText-richText.+?>(.+?)</span>");
          matcher=pattern.matcher(content);
          while (matcher.find())
          {
        	
        	  answers.add(matcher.group(1));
          }

      }

然后部分问题就无法抓取了完整了，有些是标题描述抓取不到，有些是只能抓取到一个回答，不知道什么地方出错了