datasheet

QbitAI量子位

文章数:1587 被阅读:18550652

账号入驻

你说“神马”?非正式汉语数据集资源上线,帮你训练网络语言处理

2018-12-01
    阅读数:
晓查 发自 凹非寺
量子位 出品 | 公众号 QbitAI

NLP是个好东西,但是汉语文化实在是博大精深,连长辈都看不懂网络词语,想让机器理解它们就更难了。

如果我们还用“正经”训练数据集,那就明显不够用了。

为了解决这个问题,有人从有人收集了3700万条图书评论和5万条bbs回帖,作为大型非正式汉语数据集(LSICC)。

内容来源分别是“豆瓣读书”和Chiphell论坛。

下面请从数据集中感受一下网络论坛文化的洗礼:

作者从Chiphell中选取了几个主题的回帖,其中有大量的网络用语,甚至还有中英文混用。

“辣鸡”当然不是辣味的鸡,“木有”也不是说木头。如果用正经训练集得到的模型去识别它们,结果恐怕会惨不忍睹。

据统计,这个数据集中非正式用语的比例远远高于一般其他数据集,在7.5亿词语中,非正式用语出现了62万次。比例远高于人民日报这样的官方媒体。

结果表明,现实世界自然语言模型处理和现有语料库的语言之间差距明显。

如果使用从正式汉语语料库中提取的向量表示作为单词嵌入,可能导致不良的表现。

所以,如果你需要训练模型去识别网络语言,那一定要尝试一下这个数据集。

这些抓取内容也并非直接可用,好在作者进行了一些预处理,删除了其中较短的句子,另外也对文中的英文单词做了识别。

资源地址:

豆瓣读书评论:
https://github.com/JaniceZhao/Douban-Dushu-Dataset.git

Chiphell回帖:
https://github.com/JaniceZhao/Chinese-Forum-Corpus.git

作者将豆瓣读书评论的内容整理成csv表格,Chiphell回帖则整理成json文件格式。



最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved