stanzhai / html2article Goto Github PK

View Code? Open in Web Editor NEW

486.0 36.0 174.0 747 KB

Html网页正文提取

Home Page: http://www.cnblogs.com/jasondan/p/3497757.html

License: Other

C# 100.00%

html content article topic spider crawler

html2article's Introduction

Html2Article

.NET平台下，一个高效的从Html中提取正文的工具。
正文提取采用了基于文本密度的提取算法，支持从压缩的Html文档中提取正文，每个页面平均提取时间为30ms，正确率在95%以上。

Html2Article特色

标签无关，提取正文不依赖标签；
支持从压缩的html文档中提取正文内容；
支持带标签输出原始正文；
核心算法简洁高效，平均提取时间在30ms左右。

让你的项目支持Html正文提取

PM> Install-Package Html2Article
引入命名空间using StanSoft;。
添加如下代码：

// html为你要提取的html文本
string html = "<html>....</html>";
// article对象包含Title(标题)，PublishDate(发布日期)，Content(正文)和ContentWithTags(带标签正文)四个属性
Article article = Html2Article.GetArticle(html);

Html2Article类

Html2Article类是提取正文的核心类
Html2Article配置说明
- AppendMode：是否使用正文追加模式，默认为false，设置为true会将更多符合条件的文本添加到正文。
- Depth：分析的深度，默认为5，对于行空隙较大的页面可增加此值。
- LimitCount：字符限定数，当分析的文本数量达到限定数则认为进入正文内容，默认为180个字符。
- GetArticle(string html)：从Html文本中获取Article。

License

Apache 2.0

html2article's People

Contributors

Stargazers

Watchers

Forkers

zhaoyin xiaojunchan weiguang3100 bryanyang yesnomore luckjun cloudtrends yishh songboriceboy kamiba ukjxa ciker mushu1990 chenying99 leopc fashtimedotcom simonclouds ghostsun toptom chenkaigithub liulu081227 yuebinlog jadderbao sansheng5shen zzk1021 ericzhou1982 putaozhuose giserh caihaifeng bbbeeennnppp victordion ideda8 colinstonema bingocherry ahweb shuiqianyushen taikorroy graceact1989 t-web lovethisgame renny-xu weixu8 gfoxiii mozii nicevoice kltt22 iyuohz zhaodonghui3939 huwenqiang jay-25 ruziniu sundebin yanyaming920817 nylqd myclry kinggod cyy0523xc suifenggyy dwflzxj windli4367 luomingui markgorden chadwa iraychen alleniver electrycache2 nsdown tuian panpan90 liupan182 windygu ncepuhxh flysoso albertwy gantoday-spider lingsu bqlwx111 yangmian7721 shangshujie365 redhobor yuanych yuwenlidao 344303947 caihuattkl zhukezhuke blankxyz galendai zhixingheyi666 kangkangv5 gracesmile eachlee njwangwei wizlijun leeamen immense8342 cnryb sushang123 yafey jjg0519 xunux

html2article's Issues

对于图片的处理

我使用js写过相似的算法，不过写得比较复杂，有很多基于标签语义的判断。我对比了一下，发现Html2Article的代码确实非常简洁，效率也非常高，但是对图片的处理较弱，不知道有没有这方面的想法可以碰撞一下？

对于图片的处理

提取结果小bug

提取结果的开头是一个反标签，按说这样是不合理的

感谢开源，顺便请教下，准确率如何评估呀

希望写个nodejs版本的...急需啊!!!

支持多线程吗

我用多线程进行抓取发现根目录下有个 data.txt 如果快会锁

有java版本的吗？

能否实现一个nodejs版本的

这个正文提取算法很赞，如果有nodejs版本就更好了

感谢开源，小反馈

非常感谢开源，测试了几个网页发现一些小问题
注释错误，标题建议匹配H2和H3
另外压缩的网页有换行
H1中的内容有时候并不能被设定为标题
做了小调整

    /// <summary>
    /// 获取网页标题
    /// </summary>
    /// <param name="html">网页代码</param>
    /// <returns>返回处理过的标题</returns>
    private static string GetTitle(string html)
    {
        string titleFilter = @"<title>[\s\S]*?</title>";
        string clearFilter = @"<.*?>";

        string title = "";
        Match match = Regex.Match(html, titleFilter, RegexOptions.IgnoreCase);
        if (match.Success)
        {
            title = Regex.Replace(match.Groups[0].Value, clearFilter, "");
        }

        // 正文的标题一般在h1中，比title中的标题更干净
        for (int i = 1; i < 4; i++)
        {
            string h1Filter = @"<h"+i+ ".*?>[\\s\\S]*?</h" + i+">";
            MatchCollection mcs = Regex.Matches(html, h1Filter, RegexOptions.IgnoreCase);
            if (mcs.Count==1)
            {

                    string h = Regex.Replace(mcs[0].Groups[0].Value, clearFilter, "").Trim();
                    if (!String.IsNullOrEmpty(h) && title.Trim().Contains(h))
                    {
                        title = h;
                    }
                
                
            }
        }
       

        return title;
    }