摘要
网页表达的主要信息通常隐藏在大量无关的结构与文字中,使正文信息不能被迅速获取,影响文本检测的效率。为此,根据维吾尔网页的非规范化编码、论坛型网页较多等特点,提出一种基于正文相关度的正文提取算法,并建立上下文正文密度和节点间正文比例等数学模型对算法进行改进。对大量维吾尔网页的实验结果表明,该算法具有较好的正文提取正确率和召回率,能够有效地从维吾尔网页中提取到所需的正文信息。
In addition to the main content, most Uighur Web contain noises such as navigation panels, advertisements which are not related to the main content. To improve the efficiency of security detection, this paper presents a content extraction algorithm of Uighur Web based on Web text correlativity, and designs the model of text density and content scale to improve the algorithm. Experimental result shows that this algorithm can extract the main content from the Uighur Web efficiently.
出处
《计算机工程》
CAS
CSCD
2012年第21期153-156,160,共5页
Computer Engineering
基金
新疆维吾尔自治区高技术研究发展基金资助项目(201012112)
新疆维吾尔自治区电子发展专项基金资助项目(XJDZZXZJ20109)
关键词
正文提取
正文相关度
信息安全
自然语言处理
正文密度
content extraction
content correlativity
information security
natural language processing
content density
