期刊文献+

分布式开放存取期刊爬虫的设计与实现 被引量:1

Design and Implementation of Distributed Web Crawler for Open Access Journa
下载PDF
导出
摘要 开放存取(open access,OA)期刊属于网络深层资源且分散在互联网中,传统的搜索引擎不能对其建立索引,不能满足用户获取OA期刊资源的需求,从而造成了开放资源的浪费。针对如何集中采集万维网上分散的开放存取期刊资源的问题,提出了一个面向OA期刊的分布式主题爬虫架构。该架构采用主从分布式设计,提出了基于用户预定义规则的OA期刊页面学术信息提取方法,由一个主控中心节点控制多个可动态增减的爬行节点,采用基于Chrome浏览器的插件机制来实现分布式爬行节点的可扩展性和部署的灵活性。 Open access journal is a kind of deep online resources and disperses on the Internet, and it is difficult for the traditional search engines to index these online resources, so the user can not access directly the open access journal via search engines, resulting in a waste of these open resources. This paper proposes a novel focused Web crawler with distributed architecture to collect the open access journal resources scattering throughout the Internet. This architecture adopts the distributed master-slave design, which consists of a master control center and multiple distributed crawler nodes, and proposes an academic information extraction method based on user predefined rules from the open access journals. These distributed crawling nodes can be adjusted dynamically and use Chrome browser based plug-in mechanism to achieve scalability and deployment flexibility.
出处 《计算机科学与探索》 CSCD 2014年第10期1187-1194,共8页 Journal of Frontiers of Computer Science and Technology
基金 国家自然科学基金 No.61272067 国家高技术研究发展计划(863计划) No.2013AA01A212 国家科技支撑计划项目 No.2012BAH27F05 广东省自然科学基金团队研究项目 No.S2012030006242 广东省重大科技专项计划项目 No.2012A080104019 广东省科技计划项目 No.2011B080100031~~
关键词 分布式爬虫 开放存取期刊 插件机制 distributed Web crawler open access journal plug-in mechanism
  • 相关文献

参考文献7

二级参考文献128

共引文献427

同被引文献67

引证文献1

二级引证文献15

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部