您的位置:网站首页 > 《中文科技期刊数据库》 > 工程技术 > 自动化计算机 > 计算机技术理论 > 摘要

基于LDA模型的文本分割

《计算机学报》2008年 第10期 | 石晶 胡明 石鑫 戴国忠   长春工业大学计算机科学与工程学院 长春130012 辽宁师范大学功能材料化学研究所 辽宁大连116029 中国科学院软件研究所人机交互技术与智能信息处理实验室 北京100190
在线阅读 ★ 收藏 | 分享
  • 第1页
  • 第2页
  • 第3页
  • 第4页
论文服务:
摘 要:文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用.基于LDA模型的文本分割以LDA为语料库及文本建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,获取词汇的概率分布,使隐藏于片段内的不同主题与文本表面的字词建立联系.实验以汉语的整句作为基本块,尝试多种相似性度量手段及边界估计策略,其最佳结果表明二者的恰当结合可以使片段边界的识别错误率远远低于其它同类算法.
【分 类】【工业技术】 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 一般性问题 > 理论、方法
【关键词】 文本分割 LDA模型 相似性度量 边界识别
【出 处】 《计算机学报》2008年 第10期 1865-1873页 共9页
【收 录】 中文科技期刊数据库