赞
踩
先rouge
https://blog.csdn.net/Hay54/article/details/78744912
再pyrouge
https://blog.csdn.net/MerryCao/article/details/49174283
具体流程:
ROUGE是由微软亚洲研究院知识挖掘组(The Knowledge Mining group at Microsoft Research Asia)调研经理(research manager) Chin-Yew Lin 研发的,用于摘要的自动评价,通过比较机器自动生成的摘要(called system_summary)与人工生成的摘要(called model_summary, 认为它是理想的)中重叠单元的数量,来评价机器自动生成的摘要。该方法中考虑的重叠单元有n-gram, word sequences, word-pairs等,并提出了四个测量标准ROUNG-N, ROUNG-L, ROUNG-W, ROUNG-S [1]。
该包用Perl语言编写,目前版本为ROUGE-1.5.5。
(此处省略若干日志信息)
(此处省略若干日志信息)
则是因为缺少Expat组件,需要用管理员权限执行:
sudo apt-get install expat
sudo apt-get install libexpat1-dev
(此处省略若干日志信息)
(省略若干日志信息)
此处报错为libdb,说明未安装Berkeley DB library,或安装不正确。应先退出cpan命令再输入如下命令
sudo apt-get install libdb-dev
如果还没有用,可能是没有安装对应的版本,先使用如下命令,先查看当前Berkeley DB library 的版本,然后再安装对应的版本.
- sudo apt-cache search libdb
- sudo apt-get install libdb5.3-dev
https://github.com/andersjo/pyrouge/tree/master/tools/ROUGE-1.5.5
https://github.com/summanlp/evaluation/tree/master/ROUGE-RELEASE-1.5.5
假设你解压的ROUGE-1.5.5在/usr/local/RELEASE-1.5.5,则:
sudo edit etc/profile %%%这样对所有用户都有效,若希望仅对当前用户有效则输入sudo gedit ~/.profile
在文本编辑器末尾添加 :
export ROUGE_EVAL_HOME="$ROUGE_EVAL_HOME:/usr/local/RELEASE-1.5.5/data"
以上步骤都进行完毕后,可以进入ROUGE文件所在路径(即RELEASE-1.5.5),然后运行一下runROUGE-test.pl文件。
perl runROUGE-test.pl
如果有以下输出,且sample-output路径下各个文件都有内容的话,基本是安装成功了
- ../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a.out
- ../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a-m.out
- ../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a-m-s.out
- ^C../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a.out
- ../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a-m.out
- ../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a-m-s.out
- ../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a.out
- ../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a-m.out
- ../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a-m-s.out
- ../ROUGE-1.5.5.pl -e ../data -3 HM -z SIMPLE DUC2002-BE-F.in.26.lst 26 > ../sample-output/DUC2002-BE-F.in.26.lst.out
- ../ROUGE-1.5.5.pl -e ../data -3 HM DUC2002-BE-F.in.26.simple.xml 26 > ../sample-output/DUC2002-BE-F.in.26.simple.out
- ../ROUGE-1.5.5.pl -e ../data -3 HM -z SIMPLE DUC2002-BE-L.in.26.lst 26 > ../sample-output/DUC2002-BE-L.in.26.lst.out
- ../ROUGE-1.5.5.pl -e ../data -3 HM DUC2002-BE-L.in.26.simple.xml 26 > ../sample-output/DUC2002-BE-L.in.26.simple.out
- ../ROUGE-1.5.5.pl -e ../data -n 4 -z SPL DUC2002-ROUGE.in.26.spl.lst 26 > ../sample-output/DUC2002-ROUGE.in.26.spl.lst.out
- ../ROUGE-1.5.5.pl -e ../data -n 4 DUC2002-ROUGE.in.26.spl.xml 26 > ../sample-output/DUC2002-ROUGE.in.26.spl.out
pip install pyrouge
pyrouge_set_rouge_path /usr/local/ROUGE-1.5.5
python -m pyrouge.test
若看到以下信息表示安装正确了
Ran 10 tests in 18.055s
OK
可参照linux系统下的配置。
https://blog.csdn.net/MerryCao/article/details/73477543
在执行runRouge-test.pl进行验证时,可能会出现如下报错
原因:系统将‘..’当做执行命令了
解决:修改runRouge-test.pl,将$ROUGE 变量由../ROUGE-1.5.5.pl修改为ROUGE-1.5.5.pl
解决方法:删除pyrouge/tools/ROUGE-1.5.5/data下的WordNet-2.0.exc.db,然后进入WordNet-2.0-Exceptions文件夹下运行
buildExeptionDB.pl ../WordNet-2.0-Exceptions ../smart_common_words.txt ../WordNet-2.0.exc.db
解决方法:查看环境变量,若环境变量缺少%SystemRoot%\System32,加进去即可
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。