您的位置:网站首页 > 《中文科技期刊数据库》 > 工程技术 > 自动化计算机 > 计算机应用 > 文章摘要 > 下载全文
  • 增量更新并行Web爬虫系统
  • 作者:徐文杰;陈庆奎 来源期刊:《计算机应用》2009年 第4期 格式:PDF 页数:4页
  • 摘要:介绍了并行Web爬虫系统的总体结构,引入了增量更新爬虫策略,在提高Web海量数据更新效率的同时,考虑到机群中各个爬虫的能力不一,为了使机群中爬虫的能力得到充分应用,又提出了向量度量技术,解决了抓取任务和爬虫能力匹配的问题。对抓取任务向量、爬虫向量进行了定义,并在此基础...
  • 选择支付方式: