hlt-la demo性能测试

在CTB7-test数据上,单独测试分词和词性的准确率和速度(不是调用demo的web service),分词模型没有加入词典(CTB7+PD),词性(CTB7+PD)

pos demo性能测试,假设分词正确

Accuracy sentence/s memory
94.78 48 1.1g

ws demo性能测试

测试数据,CTB7 test数据

P R F sentence/s memory
95.89 95.41 95.65 103 1.2g

ctb7+pku

POS Precision: 97168/100316 = 96.86192
qrxia@m173 ~/CRF-demo/src-v2/crf-ws-src-qrxia/example-ctb7-convertedPD-wspos

ctb7+pku+lexicon (2016.10.11:我们将Demo的分词模块更新为with-lexicon)

POS Precision: 97329/100316 = 97.02241
qrxia@amax:~/NLPCC2016/ws-tagger/lexicon+ctb7+pd

hlt-la demo性能分析,调用web service-测试数据CTB8 (discussion forum数据,长度为6-13的短句,平均每句10词)

分词的PRF,整个分词词性句法分析的速度

开始时间: 2016-10-10 11:17:46.864316
结束时间: 2016-10-10 11:19:32.217073
句子总数: 1917
性能(?ms/句话): 55.3ms/句话

P R F
91.91 92.80 92.35

demo输入时已经分好词(通过标记),测试词性、句法的准确率

开始时间: 2016-10-10 11:52:36.150082
结束时间: 2016-10-10 11:54:20.475896
句子总数: 1917
性能(?ms/句子): 55.3ms/句子

词性pos准确率

Accurcy: 91.83%

没有标点

LAS UAS
73.08% 79.44%

有标点 -p

LAS UAS
71.86% 77.57%

测试文件的位置

qrxia@m173 ~/demo_effectiveness/

hlt-la demo性能分析,调用web service-测试数据CTB7 (dev/test中长度为6-13的短句,且不是news来源,平均每句10词)

分词的PRF,整个分词词性句法分析的速度

开始时间: 2016-10-11 14:08:17.601440
结束时间: 2016-10-11 14:08:39.247280
句子总数: 341
性能(?ms/句话): 64.5ms/s

P R F
94.68 94.12 94.40

demo输入时已经分好词(通过标记),测试词性、句法的准确率

开始时间: 2016-10-11 14:22:07.050952
结束时间: 2016-10-11 14:22:25.648053
句子总数: 341
性能(?ms/句话): 52.8ms/句话

没有标点

LAS UAS
83.23% 87.92%

有标点 -p

LAS UAS
83.41% 87.36%

词性pos准确率

Accuracy: 95.10%

测试文件的位置

qrxia@m172 ~/demo_effectiveness/ctb7-dev-test

hlt-la demo性能分析(demo的分词更新为with-lexicon),调用web service-测试数据CTB7 (dev/test中长度为6-13的短句,且不是news来源,平均每句10词)

分词的PRF,整个分词词性句法分析的速度

开始时间: 2016-10-11 15:30:08.736054
结束时间: 2016-10-11 15:30:34.079522
句子总数: 341
性能(?ms/句话): 76ms/s

P R F
95.05 94.72 94.89

测试文件的位置

qrxia@m172 ~/demo_effectiveness/ctb7-dev-test-demo-ws-w-lexicon/

<% if (theme.google_analytics){ %> <% } %>