`
icenows
  • 浏览: 55788 次
  • 性别: Icon_minigender_1
  • 来自: 上海
最近访客 更多访客>>
社区版块
存档分类

召回率和准确率,关键词算法的评价讨论

阅读更多

关于如何评价关键词算法的效率,师姐建议采用借用搜索引擎的召回率和准确率来统计,——人工选择N个关键词,再自动抽取N个关键词进行比较。但是在最后的实现过程中发现,这种N:N的方法是不太恰当的,最明显的结果是召回率=准确率。

另一方面,手动关键词的选取也值得商榷,限定提取N个关键词的办法似乎不是很好,问题在于究竟应该选取一个多大的N?——我在做测试集的时候就有这一困惑,有的新闻实在提取不出10个关键词,有的似乎还不止这个数目。

基于此,我想对这种方法作一些调整。通过调整相关参数,最终的目的是要在召回率和准确率之间获得一个比较好的结果。

一方面,手工提取关键词的过程中,可以自由选择关键词的数量。就是说,我们只是把这篇文章的所有关键词提取出来,具体提取多少个并不限定。不同的人提取的结果可能会有出入,包括哪些是关键词,有多少个词可以作为关键词。这之间的分歧可以一起讨论,这也是测试集的完善过程。

另一方面,应该适度的调整自动生成关键词的数量。既然是候选关键词,那么适度的放大候选的范围还是可以接受的。通过调节自动关键词的数量,可以确定,在当前算法下,究竟应该提供多少个候选关键词才是最合适的。这里面存在着一个问题,什么才是最合适的,召回率和准确率扮演着多大的权重。

最后,一并感谢所有icaer的帮助。

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics