NLP平易近工的乐园几乎最全的中文NLP本钱库附源码下载

很多包非常有趣，值得收藏，知足大家的网络癖！
如果以为有用，请分享并star，感激！

长期禁绝时更新，欢迎watch和fork！

NLP平易近工的乐园几乎最全的中文NLP本钱库附源码下载休闲娱乐

涉及内容包括但不限于：中英文敏感词、措辞检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情绪值、停用词、反动词表、暴恐词表、繁简体转换、英文仿照中文发音、汪峰歌词天生器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、针言词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文谈天语料、中文谣言数据、百度中文问答数据集、句子相似度匹配算法凑集、bert资源、文本天生&择要干系工具、cocoNLP信息抽取工具、海内电话号码正则匹配、清华大学XLORE:中英文跨措辞百科知识图谱、清华大学人工智能技能系列报告、自然措辞天生、NLU太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信"大众年夜众号语料、cs224n深度学习自然措辞处理课程、中文手写汉字识别、中文自然措辞处理语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR 语音数据集 + 基于深度学习的中文语音识别系统、笑声检测器、Microsoft多措辞数字/单位/如日期韶光识别包、中华新华字典数据库及api(包括常用歇后语、针言、词语和汉字)、文档图谱自动天生、SpaCy 中文模型、Common Voice语音识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事宜三元组抽取、依存句法剖析4万句高质量标注数据、cnocr：用来做中文OCR的Python3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码汇总、中笔墨符数据、speech-aligner: 从“人声语音”及其“措辞文本”产生音素级别韶光对齐标注的工具、AmpliGraph: 知识图谱表示学习(Python)库：知识图谱观点链接预测、Scattertext 文本可视化(python)、措辞/知识表示工具：BERT & ERNIE、中文比拟英文自然措辞处理NLP的差异综述、Synonyms中文近义词工具包、HarvestText领域自适应文本挖掘工具（新词创造-情绪剖析-实体链接等）、word2word：(Python)方便易用的多措辞词-词对集：62种措辞/3,564个多措辞对、语音识别语料天生工具：从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库、构建医疗实体识别的模型（包含词典和语料标注）、单文档非监督的关键词抽取、Kashgari中利用gpt-2措辞模型、开源的金融投资数据提取工具、文本自动择要库TextTeaser: 仅支持英文、公民日报语料处理工具集、一些关于自然措辞的基本模型、基于14W歌曲知识库的问答考试测验--功能包括歌词接龙and已知歌词找歌曲以及歌曲歌手歌词三角关系的问答、基于Siamese bilstm模型的相似句子剖断模型并供应演习数据集和测试数据集、用Transformer编解码模型实现的根据Hacker News文章标题自动天生评论、用BERT进行序列标记和文本分类的模板代码、LitBank：NLP数据集——支持自然措辞处理和打算人文学科任务的100部带标记英文小说语料、百度开源的基准信息抽取系统、虚假新闻数据集、Facebook: LAMA措辞模型剖析，供应Transformer-XL/BERT/ELMo/GPT预演习措辞模型的统一访问接口、CommonsenseQA：面向知识的英文QA寻衅、中文知识图谱资料、数据及工具、各大公司内部里大牛分享的技能文档 PDF 或者 PPT、自然措辞天生SQL语句（英文）、中文NLP数据增强（EDA）工具、英文NLP数据增强工具、基于医药知识图谱的智能问答系统、京东商品知识图谱、基于mongodb存储的军事领域知识图谱问答项目、基于远监督的中文关系抽取、语音情绪剖析、中文ULMFiT-情绪剖析-文本分类-语料及模型、一个拍照做题程序、天下各国大规模人名库、一个利用有趣中文语料库 qingyun 演习出来的中文谈天机器人、中文谈天机器人seqGAN、省市区镇行政区划数据带拼音标注、教诲行业新闻语料库包含自动文摘功能、开放了对话机器人-知识图谱-语义理解-自然措辞处理工具及数据、中文知识图谱：基于百度百科中文页面-抽取三元组信息-构建中文知识图谱、masr: 中文语音识别-供应预演习模型-高识别率、Python音频数据增广库、中文全词覆盖BERT及两份阅读理解数据、ConvLab：开源多域端到端对话系统平台、中文自然措辞处理数据集、基于最新版本rasa搭建的对话系统、基于TensorFlow和BERT的管道式实体及关系抽取、一个小型的证券知识图谱/知识库、复盘所有NLP比赛的TOP方案、OpenCLaP：多领域开源中文预演习措辞模型仓库、UER：基于不同语料+编码器+目标任务的中文预演习模型仓库、中文自然措辞处理向量合集、基于金融-法律领域(兼有闲聊性子)的谈天机器人、g2pC：基于高下文的汉语读音自动标记模块、Zincbase 知识图谱构建工具包、诗歌质量评价/细粒度情绪诗歌语料库、快速转化「中文数字」和「阿拉伯数字」、百度知道问答语料库、基于知识图谱的问答系统、jieba_fast 加速版的jieba、正则表达式教程、中文阅读理解数据集、基于BERT等最新措辞模型的抽取式择要提取、Python利用深度学习进行文本择要的综合指南、知识图谱深度学习干系资料整理、维基大规模平行文本语料、StanfordNLP 0.2.0：纯Python版自然措辞处理包、NeuralNLP-NeuralClassifier：腾讯开源深度学习文本分类工具、端到真个封闭域对话系统、中文命名实体识别：NeuroNER vs. BertNER、新闻事宜线索抽取、2019年百度的三元组抽取比赛：“科学空间队”源码、基于依存句法的开放域文本知识三元组抽取和知识库构建、中文的GPT2演习代码、ML-NLP - 机器学习(Machine Learning)NLP口试中常考到的知识点和代码实现、nlp4han:中文自然措辞处理工具集(断句/分词/词性标注/组块/句法剖析/语义剖析/NER/N元语法/HMM/代词消解/情绪剖析/拼写检讨、XLM：Facebook的跨措辞预演习措辞模型、用基于BERT的微调和特色提取方法来进行知识图谱百度百科人物词条属性抽取、中文自然措辞处理干系的开放任务-数据集-当前最佳结果、CoupletAI - 基于CNN+Bi-LSTM+Attention 的自动对对联系统、抽象知识图谱、MiningZhiDaoQACorpus - 580万百度知道问答数据挖掘项目、brat rapid annotation tool: 序列标注工具、大规模中文知识图谱数据：1.4亿实体、数据增强在机器翻译及其他nlp任务中的运用及效果、allennlp阅读理解:支持多种数据和模型、PDF表格数据提取工具、 Graphbrain：AI开源软件库和科研工具，目的是促进自动意义提取和文本理解以及知识的探索和推断、简历自动筛选系统、基于命名实体识别的简历自动择要、中文措辞理解测评基准，包括代表性的数据集&基准模型&语料库&排行榜、树洞 OCR 笔墨识别、从包含表格的扫描图片中识别表格和笔墨、语声迁移、Python口语自然措辞处理工具集(英文)、 similarity：相似度打算工具包，java编写、海量中文预演习ALBERT模型、Transformers 2.0 、基于大规模音频数据集Audioset的音频增强、Poplar：网页版自然措辞标注工具、图片笔墨去除，可用于漫画翻译、186种措辞的数字叫法库、Amazon发布基于知识的人-人开放领域对话数据集、中文文本纠错模块代码、繁简体转换、 Python实现的多种文本可读性评价指标、类似于人名/地名/组织机构名的命名体识别数据集、东南大学《知识图谱》研究生课程(资料)、. 英文拼写检讨库、 wwsearch是企业微信后台自研的全文检索引擎、CHAMELEON：深度学习新闻推举系统元架构、 8篇论文梳理BERT干系模型进展与反思、DocSearch：免费文档搜索引擎、 LIDA：轻量交互式对话标注工具、aili - the fastest in-memory index in the East 东半球最快并发索引、知识图谱车音事情项目、自然措辞天生资源大全、中日韩分词库mecab的Python接口库、中文文本择要/关键词提取、汉字字符特色提取器 (featurizer)，提取汉字的特色（发音特色、字形特色）用做深度学习的特色、中文天生任务基准测评、中文缩写数据集、中文任务基准测评 - 代表性的数据集-基准(预演习)模型-语料库-baseline-工具包-排行榜、PySS3：面向可阐明AI的SS3文本分类器机器可视化工具、中文NLP数据集列表、COPE - 格律诗编辑程序、doccano：基于网页的开源协同多措辞文本标注工具、PreNLP：自然措辞预处理库、大略的简历解析器，用来从简历中提取关键信息、用于中文闲聊的GPT2模型：GPT2-chitchat、基于检索谈天机器人多轮相应选择干系资源列表(Leaderboards、Datasets、Papers)、(Colab)抽象文本择要实现集锦(教程、词语拼音数据、高效模糊搜索工具、NLP数据增广资源集、微软对话机器人框架、 GitHub Typo Corpus：大规模GitHub多措辞拼写缺点/语法缺点数据集、TextCluster：短文本聚类预处理模块 Short text cluster、面向语音识别的中文文本规范化、BLINK：最前辈的实体链接库、BertPunc：基于BERT的最前辈标点修复模型、Tokenizer：快速、可定制的文本词条化库、中文措辞理解测评基准，包括代表性的数据集、基准(预演习)模型、语料库、排行榜、spaCy 医学文本挖掘与信息提取、 NLP任务示例项目代码集、 python拼写检讨库、chatbot-list - 行业内关于智能客服、谈天机器人的运用和架构、算法分享和先容、语音质量评价指标(MOSNet, BSSEval, STOI, PESQ, SRMR)、用138GB语料演习的法文RoBERTa预演习措辞模型、BERT-NER-Pytorch：三种不同模式的BERT中文NER实验、无道词典 - 有道词典的命令行版本，支持英汉互查和在线查询、2019年NLP亮点回顾、 Chinese medical dialogue data 中文医疗对话数据集、最好的汉字数字(中文数字)-阿拉伯数字转换工具、基于百科知识库的中文词语多词义/义项获取与特定句子词语语义消歧、awesome-nlp-sentiment-analysis - 情绪剖析、感情缘故原由识别、评价工具和评价词抽取、LineFlow：面向所有深度学习框架的NLP数据高效加载器、中文医学NLP公开资源整理、MedQuAD：(英文)医学问答数据集、将自然措辞数字串解析转换为整数和浮点数、Transfer Learning in Natural Language Processing (NLP) 、面向语音识别的中文/英文发音辞典、Tokenizers：看重性能与多功能性的最前辈分词器、CLUENER 细粒度命名实体识别 Fine Grained Named Entity Recognition、基于BERT的中文命名实体识别、中文谣言数据库、NLP数据集/基准任务大列表、nlp干系的一些论文及代码, 包括主题模型、词向量(Word Embedding)、命名实体识别(NER)、文本分类(Text Classificatin)、文本天生(Text Generation)、文本相似性(Text Similarity)打算等，涉及到各种与nlp干系的算法，基于keras和tensorflow 、Python文本挖掘/NLP实战示例、 Blackstone：面向非构造化法律文本的spaCy pipeline和NLP模型通过同义词更换实现文本“变脸” 、中文预演习 ELECTREA 模型: 基于对抗学习 pretrain Chinese Model 、albert-chinese-ner - 用预演习措辞模型ALBERT做中文NER 、基于GPT2的特定主题文本天生/文本增广、开源预演习措辞模型合集、多措辞句向量包、编码、标记和实现：一种可控高效的文本天生方法、英文脏话大列表、attnvis：GPT2、BERT等transformer措辞模型把稳力交互可视化、CoVoST：Facebook发布的多语种语音-文本翻译语料库，包括11种措辞(法语、德语、荷兰语、俄语、西班牙语、意大利语、土耳其语、波斯语、瑞典语、蒙古语和中文)的语音、笔墨转录及英文译文、Jiagu自然措辞处理工具 - 以BiLSTM等模型为根本，供应知识图谱关系抽取中文分词词性标注命名实体识别情绪剖析新词创造关键词文本择要文本聚类等功能、用unet实现对文档表格的自动检测，表格重修、NLP事宜提取文献资源列表、金融领域自然措辞处理研究资源大列表、CLUEDatasetSearch - 中英文NLP数据集：搜索所有中文NLP数据集，附常用英文NLP数据集、medical_NER - 中文医学知识图谱命名实体识别、(哈佛)讲因果推理的免费书、知识图谱干系学习资料/数据集/工具资源大列表、Forte：灵巧强大的自然措辞处理pipeline工具集、Python字符串相似性算法库、PyLaia：面向手写文档剖析的深度学习工具包、TextFooler：针对文本分类/推理的对抗文本天生模块、Haystack：灵巧、强大的可扩展问答(QA)框架、中文关键短语抽取工具。

1. textfilter: 中英文敏感词过滤 observerss/textfilter

>>> f = DFAFilter() >>> f.add("sexy") >>> f.filter("hello sexy baby") hello baby

敏感词包括政治、脏话等话题词汇。
其事理紧张是基于词典的查找（项目中的keyword文件），内容很劲爆。
。
。

2. langid：97种措辞检测 https://github.com/saffsd/langid.py

pip install langid

>>> import langid>>> langid.classify("This is a test")('en', -54.41310358047485)

3. langdetect：另一个措辞检测https://code.google.com/archive/p/language-detection/

pip install langdetect

from langdetect import detectfrom langdetect import detect_langss1 = "本篇博客紧张先容两款措辞探测工具，用于区分文本到底是什么措辞，"s2 = 'We are pleased to introduce today a new technology'print(detect(s1))print(detect(s2))print(detect_langs(s3)) # detect_langs()输出探测出的所有措辞类型及其所占的比例

输出结果如下：注：措辞类型紧张参考的是ISO 639-1措辞编码标准，详见ISO 639-1百度百科

跟上一个措辞检测比较，准确率低，效率高。

4. phone 中国手机归属地查询： ls0f/phone

已集成到 python package cocoNLP中，欢迎试用

from phone import Phonep = Phone()p.find(18100065143)#return {'phone': '18100065143', 'province': '上海', 'city': '上海', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}

支持号段: 13,15,18,14[5,7],17[0,6,7,8]

记录条数: 360569 (updated:2017年4月)

作者供应了数据phone.dat 方便非python用户Load数据。

5. phone国际手机、电话归属地查询：AfterShip/phone

npm install phone

import phone from 'phone';phone('+852 6569-8900'); // return ['+85265698900', 'HKG']phone('(817) 569-8900'); // return ['+18175698900, 'USA']

6. ngender 根据名字判断性别：observerss/ngender 基于朴素贝叶斯打算的概率

pip install ngender

>>> import ngender>>> ngender.guess('赵本山')('male', 0.9836229687547046)>>> ngender.guess('宋丹丹')('female', 0.9759486128949907)

7. 抽取email的正则表达式

已集成到 python package cocoNLP中，欢迎试用

email_pattern = '^[#\u4e00-\u9fa5 a-zA-Z0-9_.-]+@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)\.[a-zA-Z0-9]{2,6}$'emails = re.findall(email_pattern, text, flags=0)

8. 抽取phone_number的正则表达式

已集成到 python package cocoNLP中，欢迎试用

cellphone_pattern = '^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$'phoneNumbers = re.findall(cellphone_pattern, text, flags=0)

9. 抽取身份证号的正则表达式

IDCards_pattern = r'^([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$'IDs = re.findall(IDCards_pattern, text, flags=0)

10. 人名语料库： wainshine/Chinese-Names-Corpus

人名抽取功能 python package cocoNLP，欢迎试用

中文（当代、古代）名字、日文名字、中文的姓和名、称呼（大姨妈、小姨妈等）、英文->中文名字（李约翰）、针言词典

（可用于中文分词、姓名识别）

11. 中文缩写库：github

全国人大: 全国/n 公民/n 代表大会/n中国: 中华公民共和国/ns女网赛: 女子/n 网球/n 比赛/vn

12. 汉语拆字词典：kfcd/chaizi

漢字拆法 (一)拆法 (二)拆法 (三)拆手斥扌斥才斥

13. 词汇情绪值：rainarch/SentiBridge

山泉水充足0.4007045665410.370067395878视野宽广0.3057627289320.325320747491大峡谷惊险0.3121379065170.378594957281

14. 中文词库、停用词、敏感词 dongxiexidian/Chinese

此package的敏感词库分类更细：

反动词库，敏感词库表统计，暴恐词库，民生词库，色情词库

15. 汉字转拼音：mozillazg/python-pinyin

文本纠错会用到

16. 中文繁简体互转：skydark/nstools

17. 英文仿照中文发音引擎 funny chinese text to speech enginee：tinyfool/ChineseWithEnglish

say wo i ni#说：我爱你

相称于用英文音标，仿照中文发音。

18. 汪峰歌词天生器：phunterlau/wangfeng-rnn

我在这里中的夜里就像一场是一种生命的意旪就像我的生活变得在我一样可我们这是一个知道我只是一天你会怎吗

19. 同义词库、反义词库、否定词库：guotong1988/chinese_dictionary

20. 无空格英文串分割、抽取单词：wordinja

>>> import wordninja>>> wordninja.split('derekanderson')['derek', 'anderson']>>> wordninja.split('imateapot')['im', 'a', 'teapot']

21. IP地址正则表达式：

(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)

22. 腾讯QQ号正则表达式：

[1-9]([0-9]{5,11})

23. 海内固话号码正则表达式：

[0-9-()（）]{7,18}

24. 用户名正则表达式：

[A-Za-z0-9_\-\u4e00-\u9fa5]+

25. 汽车品牌、汽车零件干系词汇：

见本repo的data文件 [data](https://github.com/fighting41love/funNLP/tree/master/data)

26. 韶光抽取：

已集成到 python package cocoNLP中，欢迎试用

在2016年6月7日9:44实行測試，结果如下Hi，all。下周一下午三点开会>> 2016-06-13 15:00:00-false周一开会>> 2016-06-13 00:00:00-true下下周一开会>> 2016-06-20 00:00:00-true

java version

python version

27. 各种中文词向量： github repo

中文词向量大全

28. 公司名字大全： github repo

29. 古诗词库： github repo 更全的古诗词库

30. THU整理的词库： link

已整理到本repo的data文件夹中.

IT词库、财经词库、针言词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库

31. 中文谈天语料 link

该库搜集了包含:豆瓣多轮, PTT八卦语料, 青云语料, 电视剧对白语料, 贴吧论坛回帖语料,微博语料,小黄鸡语料

32. 中文谣言数据: github

该数据文件中，每一行为一条json格式的谣言数据，字段释义如下：rumorCode: 该条谣言的唯一编码，可以通过该编码直接访问该谣言举报页面。 title: 该条谣言被举报的标题内容informerName: 举报者微博名称informerUrl: 举报者微博链接rumormongerName: 发布谣言者的微博名称rumormongerUr: 发布谣言者的微博链接rumorText: 谣言内容visitTimes: 该谣言被访问次数result: 该谣言审查结果publishTime: 该谣言被举报韶光

33. 情绪颠簸剖析：github

词库已整理到本repo的data文件夹中.

本repo项目是一个通过与人对话得到其情绪值颠簸图谱, 内用词库在data文件夹中.

34. 百度中文问答数据集：链接提取码: 2dva

35. 句子、QA相似度匹配:MatchZoo github

文本相似度匹配算法的凑集，包含多个深度学习的方法，值得考试测验。

36. bert资源：

bert论文中文翻译: linkbert原作者的slides: link 提取码: iarj文本分类实践: githubbert tutorial文本分类教程: githubbert pytorch实现: githubbert用于中文命名实体识别 tensorflow版本: githubBERT天生句向量，BERT做文本分类、文本相似度打算githubbert 基于 keras 的封装分类标注框架 Kashgari，几分钟即可搭建一个分类或者序列标注模型: githubbert、ELMO的图解： githubBERT: Pre-trained models and downstream applications: github

37. Texar - Toolkit for Text Generation and Beyond: github

基于Tensorflow的开源工具包，旨在支持广泛的机器学习，特殊是文本天生任务，如机器翻译、对话、择要、内容处置、措辞建模等

38. 中文事宜抽取： github

中文复合事宜抽取，包括条件事宜、因果事宜、顺承事宜、反转事宜等事宜抽取，并形成道理图谱。

39. cocoNLP: github

人名、地址、邮箱、手机号、手机归属地等信息的抽取，rake短语抽取算法。

pip install cocoNLP

>>> from cocoNLP.extractor import extractor>>> ex = extractor()>>> text = '急寻特朗普，男孩，于2018年11月27号11时在陕西省安康市汉滨区走失落。丢失发型短发，...如有线索，请迅速与警方联系：18100065143，132-6156-2938，baizhantang@sina.com.cn 和yangyangfuture at gmail dot com'# 抽取邮箱>>> emails = ex.extract_email(text)>>> print(emails)['baizhantang@sina.com.cn', 'yangyangfuture@gmail.com.cn']# 抽取手机号>>> cellphones = ex.extract_cellphone(text,nation='CHN')>>> print(cellphones)['18100065143', '13261562938']# 抽取手机归属地、运营商>>> cell_locs = [ex.extract_cellphone_location(cell,'CHN') for cell in cellphones]>>> print(cell_locs)cellphone_location [{'phone': '18100065143', 'province': '上海', 'city': '上海', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}]# 抽取地址信息>>> locations = ex.extract_locations(text)>>> print(locations)['陕西省安康市汉滨区', '安康市汉滨区', '汉滨区']# 抽取韶光点>>> times = ex.extract_time(text)>>> print(times)time {"type": "timestamp", "timestamp": "2018-11-27 11:00:00"}# 抽取人名>>> name = ex.extract_name(text)>>> print(name)特朗普

40. 海内电话号码正则匹配（三大运营商+虚拟等）: github

41. 清华大学XLORE:中英文跨措辞百科知识图谱: link上述链接中包含了所有实体及关系的TTL文件，更多数据将在近期发布。
观点，实例，属性和高下位关系数目

百度中文维基英文维基总数观点数量32,009150,241326,518508,768实例数量1,629,591640,6221,235,1783,505,391属性数量157,37045,19026,723229.283InstanceOf7,584,9311,449,9253,032,51512,067,371SubClassOf2,784191,577555,538749,899

跨措辞连接（观点/实例）

百度中文维基英文维基百度-10,216/336,8904,846/303,108中文维基10,216/336,890-28,921/454,579英文维基4,846/303,10828,921/454,579-

42. 清华大学人工智能技能系列报告： link每年会出AI领域干系的报告，内容包含

自然措辞处理 link知识图谱 link数据挖掘 link自动驾驶 link机器翻译 link区块链 link机器人 link打算机图形学 link3D打印 link人脸识别 link人工智能芯片 link等等

43.自然措辞天生方面:

Ehud Reiter教授的博客北大万小军教授强力推举，该博客对NLG技能、评价与运用进行了深入的磋商与反思。
文本天生干系资源大列表自然措辞天生：让机器节制自动创作的本领 - 开放域对话天生及在微软小冰中的实践文本天生掌握自然措辞天生干系资源大列表

44.: jieba和hanlp就不必先容了吧。

45.NLP太难了系列: github

来到杨过曾经生活过的地方，小龙女动情地说：“我也想过过过儿过过的生活。
” 来到儿子等校车的地方，邓超对孙俪说：“我也想等等等等等过的那辆车。
”赵敏说：我也想控忌忌己不想无忌。
你也想犯范范范玮琪犯过的错吗对叙打击是一次性行为？

46.自动对联数据及机器人:70万对联数据 link代码 link

上联下联殷勤怕负三春意洒脱难书一字愁如此清秋何吝酒这般明月不须钱

47.用户名黑名单列表： github 包含了用户名禁用列表，比如: link

administratoradministrationautoconfigautodiscoverbroadcasthostdomaineditorguesthosthostmasterinfokeybase.txtlocaldomainlocalhostmastermailmail0mail1

48.罪名法务名词及分类模型: github

包含856项罪名知识图谱, 基于280万罪名演习库的罪名预测,基于20W法务问答对的13类问题分类与法律资扣问答功能

49.微信公众年夜众号语料: github

3G语料，包含部分网络抓取的微信公众号的文章，已经去除HTML，只包含了纯文本。
每行一篇，是JSON格式，name是微信"大众年夜众号名字，account是微信"大众年夜众号ID，title是题目，content是正文

50.cs224n深度学习自然措辞处理课程：link

课程中模型的pytorch实现 link面向深度学习研究职员的自然措辞处理实例教程 link

51.中文手写汉字识别：github

52.中文自然措辞处理语料/数据集：github 竞品：THUOCL（THU Open Chinese Lexicon）中文词库

53.变量命名神器：github link

54.分词语料库+代码：百度网盘链接

提取码: pea6keras实现的基于Bi-LSTM + CRF的中文分词+词性标注基于Universal Transformer + CRF 的中文分词和词性标注快速神经网络分词包 java version

55. NLP新书推举《Natural Language Processing》by Jacob Eisenstein： link

56. 任务型对话英文数据集： github【最全任务型对话数据集】紧张先容了一份任务型对话数据集大全，这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的紧张信息。
此外，为了帮助研究者更好的把握领域进展的脉络，我们以Leaderboard的形式给出了几个数据集上的State-of-the-art实验结果。

57. ASR 语音数据集 + 基于深度学习的中文语音识别系统： github

Data Sets 数据集清华大学THCHS30中文语音数据集data_thchs30.tgz OpenSLR海内镜像 OpenSLR国外镜像test-noise.tgz OpenSLR海内镜像 OpenSLR国外镜像resource.tgz OpenSLR海内镜像 OpenSLR国外镜像Free ST Chinese Mandarin CorpusST-CMDS-20170001_1-OS.tar.gz OpenSLR海内镜像 OpenSLR国外镜像AIShell-1 开源版数据集data_aishell.tgz OpenSLR海内镜像 OpenSLR国外镜像注：数据集解压方法$ tar xzf data_aishell.tgz $ cd data_aishell/wav $ for tar in .tar.gz; do tar xvf $tar; done Primewords Chinese Corpus Set 1primewords_md_2018_set1.tar.gz OpenSLR海内镜像 OpenSLR国外镜像

58. 笑声检测器： github

59. Microsoft多措辞数字/单位/如日期韶光识别包： [github](https://github.com/Microsoft/Recognizers-Text

60. chinese-xinhua 中华新华字典数据库及api，包括常用歇后语、针言、词语和汉字 github

61. 文档图谱自动天生 github

TextGrapher - Text Content Grapher based on keyinfo extraction by NLP method。
输入一篇文档，将文档进行关键信息提取，进行构造化，并终极组织成图谱组织形式，形成对文章语义信息的图谱化展示

62. SpaCy 中文模型 github

包含Parser, NER, 语法树等功能。
有一些英文package利用spacy的英文模型的，如果要适配中文，可能须要利用spacy中文模型。

63. Common Voice语音识别数据集新版 link

包括来自42,000名贡献者超过1,400小时的语音样本，涵github

64. 神经网络关系抽取 pytorch github

暂不支持中文

65. 基于bert的命名实体识别 pytorch github

暂不支持中文

66. 关键词(Keyphrase)抽取包 pke githubpke: an open source python-based keyphrase extraction toolkit

暂不支持中文，我于近期对其进行修正，使其适配中文。
请关注我的github动态，感激！

67. 基于医疗领域知识图谱的问答系统 github

该repo参考了github

68. 基于依存句法与语义角色标注的事宜三元组抽取 github

69. 依存句法剖析4万句高质量标注数据 by 苏州大学汉语依存树库（SUCDT） Homepage 数据下载详见homepage底部，须要签署协议，须要邮件吸收解压密码。

70. cnocr：用来做中文OCR的Python3包，自带了演习好的识别模型 github

71. 中文人物关系知识图谱项目 github

中文人物关系图谱构建基于知识库的数据回标基于远程监督与bootstrapping方法的人物关系抽取基于知识图谱的知识问答等运用

72. 中文nlp竞赛项目及代码汇总 github

文本天生、文本择要：Byte Cup 2018 国际机器学习竞赛知识图谱：瑞金医院MMC人工智能赞助构建知识图谱大赛视频识别问答：2018之江杯环球人工智能大赛：视频识别&问答

73. 中笔墨符数据 github

简/繁体汉字笔顺矢量笔画

74. speech-aligner: 从“人声语音”及其“措辞文本”，产生音素级别韶光对齐标注的工具 github

75. AmpliGraph: 知识图谱表示学习(Python)库：知识图谱观点链接预测 github

埃森哲出品，目前尚不支持中文

76. Scattertext 文本可视化(python) github

很好用的工具包，大略修正后可支持中文能否剖析出某个类别的文本与其他文本的用词差异

77. 措辞/知识表示工具：BERT & ERNIE github

百度出品，ERNIE也号称在多项nlp任务中击败了bert

78. 中文比拟英文自然措辞处理NLP的差异综述 link

79. Synonyms中文近义词工具包 github

Synonyms 中文近义词工具包，可以用于自然措辞理解的很多任务：文本对齐，推举算法，相似度打算，语义偏移，关键字提取，观点提取，自动择要，搜索引擎等

80. HarvestText领域自适应文本挖掘工具（新词创造-情绪剖析-实体链接等） github

81. word2word：(Python)方便易用的多措辞词-词对集：62种措辞/3,564个多措辞对 github

82. 语音识别语料天生工具：从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库 github

83. ASR语音大辞典/词典： github

84. 构建医疗实体识别的模型，包含词典和语料标注，基于python: github

85. 单文档非监督的关键词抽取： github

86. Kashgari中利用gpt-2措辞模型 github

87. 开源的金融投资数据提取工具 github

88. 文本自动择要库TextTeaser: 仅支持英文 github

89. 公民日报语料处理工具集 github

90. 一些关于自然措辞的基本模型 github

91. 基于14W歌曲知识库的问答考试测验，功能包括歌词接龙，已知歌词找歌曲以及歌曲歌手歌词三角关系的问答 github

92. 基于Siamese bilstm模型的相似句子剖断模型,供应演习数据集和测试数据集 github

供应了10万个演习样本

93. 用Transformer编解码模型实现的根据Hacker News文章标题自动天生评论 github

94. 用BERT进行序列标记和文本分类的模板代码 github

95. LitBank：NLP数据集——支持自然措辞处理和打算人文学科任务的100部带标记英文小说语料 github

96. 百度开源的基准信息抽取系统 github

97. 虚假新闻数据集 fake news corpus github

98. Facebook: LAMA措辞模型剖析，供应Transformer-XL/BERT/ELMo/GPT预演习措辞模型的统一访问接口 github

99. CommonsenseQA：面向知识的英文QA寻衅 link

100. 中文知识图谱资料、数据及工具 github

101. 各大公司内部里大牛分享的技能文档 PDF 或者 PPT github

102. 自然措辞天生SQL语句（英文） github

103. 中文NLP数据增强（EDA）工具 github

英文NLP数据增强工具 github

104. 基于医药知识图谱的智能问答系统 github

105. 京东商品知识图谱 github

基于京东网站的1300种商品高下级观点，约10万商品品牌，约65万品牌发卖关系，商品描述维度等知识库，基于该知识库可以支持商品属性库构建，商品发卖问答，品牌物品生产等知识查询做事，也可用于情绪剖析等下贱运用．

106. 基于mongodb存储的军事领域知识图谱问答项目 github

基于mongodb存储的军事领域知识图谱问答项目，包括翱翔器、太空装备等8大类，100余小类，共计5800项的军事武器知识库，该项目不该用图数据库进行存储，通过jieba进行问句解析，问句实体项识别，基于查询模板完成多类问题的查询，紧张是供应一种工业界的问答思想demo。

107. 基于远监督的中文关系抽取 github

108. 语音情绪剖析 github

109. 中文ULMFiT 情绪剖析文本分类语料及模型 github

110. 一个拍照做题程序。
输入一张包含数学打算题的图片，输出识别出的数学打算式以及打算结果 github

111. 天下各国大规模人名库 github

112. 一个利用有趣中文语料库 qingyun 演习出来的中文谈天机器人 github

利用了青云语料10万语料，本repo中也有该语料的链接

113. 中文谈天机器人，根据自己的语料演习出自己想要的谈天机器人，可以用于智能客服、在线问答、智能谈天等场景 github

根据自己的语料演习出自己想要的谈天机器人，可以用于智能客服、在线问答、智能谈天等场景。
加入seqGAN版本。
repo中供应了一份质量不太高的语料

114. 省市区镇行政区划数据带拼音标注 github

国家统计局中的省市区镇行政区划数据带拼音标注，高德舆图的坐标和行政区域边界范围，在浏览器里面运行js代码采集的2019年发布的最新数据，含采集源码，供应csv格式数据，支持csv转成省市区多级联动js代码坐标、边界范围、名称、拼音、行政区等多级地址

115. 教诲行业新闻自动文摘语料库 github

116. 开放了对话机器人、知识图谱、语义理解、自然措辞处理工具及数据 github

另一个qa对的机器人 Amodel-for-Retrivalchatbot - 客服机器人，Chinese Retreival chatbot（中文检索式机器人）

117. 中文知识图谱：基于百度百科中文页面，抽取三元组信息，构建中文知识图谱 github

118. masr: 中文语音识别，供应预演习模型，高识别率 github

119. Python音频数据增广库 github

120. 中文全词覆盖BERT及两份阅读理解数据 github

DRCD数据集由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。
CMRC 2018数据集是哈工大讯飞联合实验室发布的中文机器阅读理解数据。
根据给定问题，系统须要从篇章中抽取出片段作为答案，形式与SQuAD相同。

121. ConvLab：开源多域端到端对话系统平台 github

122. 中文自然措辞处理数据集 github

123. 基于最新版本rasa搭建的对话系统 github

124. 基于TensorFlow和BERT的管道式实体及关系抽取 github

Entity and Relation Extraction Based on TensorFlow and BERT. 基于TensorFlow和BERT的管道式实体及关系抽取，2019措辞与智能技能竞赛信息抽取任务办理方案。
Schema based Knowledge Extraction, SKE 2019

125. 一个小型的证券知识图谱/知识库 github

126. 复盘所有NLP比赛的TOP方案 github

127. OpenCLaP：多领域开源中文预演习措辞模型仓库 github 包含如下措辞模型及百度百科数据

民事文书BERT bert-base 全部民事文书 2654万篇文书 22554词 370MB刑事文书BERT bert-base 全部刑事文书 663万篇文书 22554词 370MB百度百科BERT bert-base 百度百科 903万篇词条 22166词 367MB

128. UER：基于不同语料、编码器、目标任务的中文预演习模型仓库（包括BERT、GPT、ELMO等） github

基于PyTorch的预演习模型框架，支持对编码器，目标任务等进行任意的组合，从而复现已有的预演习模型，或在已有的预演习模型上进一步改进。
基于UER演习了不同性子的预演习模型（不同语料、编码器、目标任务），构成了中文预演习模型仓库，适用于不同的场景。

129. 中文自然措辞处理向量合集 github

包括字向量,拼音向量,词向量,词性向量,依存关系向量.共5种类型的向量

130. 基于金融-法律领域(兼有闲聊性子)的谈天机器人 github

个中的紧张模块有信息抽取、NLU、NLG、知识图谱等，并且利用Django整合了前端展示,目前已经封装了nlp和kg的restful接口

131. g2pC：基于高下文的汉语读音自动标记模块 github

132. Zincbase 知识图谱构建工具包 github

133. 诗歌质量评价/细粒度情绪诗歌语料库 github

134. 快速转化「中文数字」和「阿拉伯数字」 github

中文、阿拉伯数字互转中文与阿拉伯数字稠浊的情形，在开拓中

135. 百度知道问答语料库 github

超过580万的问题，938万的答案，5800个分类标签。
基于该问答语料库，可支持多种运用，如闲聊问答，逻辑挖掘

136. 基于知识图谱的问答系统 github

BERT做命名实体识别和句子相似度，分为online和outline模式

137. jieba_fast 加速版的jieba github

利用cpython重写了jieba分词库中计算DAG和HMM中的vitrebi函数，速率得到大幅提升

138. 正则表达式教程 github

139. 中文阅读理解数据集 github

140. 基于BERT等最新措辞模型的抽取式择要提取 github

141. Python利用深度学习进行文本择要的综合指南 link

142. 知识图谱深度学习干系资料整理 github

深度学习与自然措辞处理、知识图谱、对话系统。
包括知识获取、知识库构建、知识库运用三大技能研究与运用

143. 维基大规模平行文本语料 github

85种措辞、1620种措辞对、135M对照句

144. StanfordNLP 0.2.0：纯Python版自然措辞处理包 link

145. NeuralNLP-NeuralClassifier：腾讯开源深度学习文本分类工具 github

146. 端到真个封闭域对话系统 github

147. 中文命名实体识别：NeuroNER vs. BertNER github

148. 新闻事宜线索抽取 github

An exploration for Eventline (important news Rank organized by pulic time)，针对某一事宜话题下的新闻宣布凑集，通过利用docrank算法，对新闻宣布进行主要性识别，并通过新闻宣布韶光挑选出韶光线上主要新闻

149. 2019年百度的三元组抽取比赛，“科学空间队”源码(第7名) github

150. 基于依存句法的开放域文本知识三元组抽取和知识库构建 github

151. 中文的GPT2演习代码 github

152. ML-NLP - 机器学习(Machine Learning)、NLP口试中常考到的知识点和代码实现 github

153. nlp4han:中文自然措辞处理工具集(断句/分词/词性标注/组块/句法剖析/语义剖析/NER/N元语法/HMM/代词消解/情绪剖析/拼写检讨 github

154. XLM：Facebook的跨措辞预演习措辞模型 github

155. 用基于BERT的微调和特色提取方法来进行知识图谱百度百科人物词条属性抽取 github

156. 中文自然措辞处理干系的开放任务，数据集, 以及当前最佳结果 github

157. CoupletAI - 基于CNN+Bi-LSTM+Attention 的自动对对联系统 github

158. 抽象知识图谱，目前规模50万，支持名词性实体、状态性描述、事宜性动作进行抽象 github

159. MiningZhiDaoQACorpus - 580万百度知道问答数据挖掘项目 github

160. brat rapid annotation tool: 序列标注工具 link

161. 大规模中文知识图谱数据：：1.4亿实体 github

162. 数据增强在机器翻译及其他nlp任务中的运用及效果 link

163. allennlp阅读理解:支持多种数据和模型 github

164. PDF表格数据提取工具 github

165. Graphbrain：AI开源软件库和科研工具，目的是促进自动意义提取和文本理解以及知识的探索和推断 github

166. 简历自动筛选系统 github

167. 基于命名实体识别的简历自动择要 github

168. 中文措辞理解测评基准，包括代表性的数据集&基准模型&语料库&排行榜 github

169. 树洞 OCR 笔墨识别 github

一个c++ OCR github

170. 从包含表格的扫描图片中识别表格和笔墨 github

171. 语声迁移 github

172. Python口语自然措辞处理工具集(英文) github

173. similarity：相似度打算工具包，java编写 github

用于词语、短语、句子、词法剖析、情绪剖析、语义剖析等干系的相似度打算

174. 海量中文预演习ALBERT模型 github

175. Transformers 2.0 github

支持TensorFlow 2.0 和 PyTorch 的自然措辞处理预演习措辞模型(BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet…) 8种架构/33种预演习模型/102种措辞

176. 基于大规模音频数据集Audioset的音频增强 github

177. Poplar：网页版自然措辞标注工具 github

178. 图片笔墨去除，可用于漫画翻译 github

179. 186种措辞的数字叫法库 github

180. Amazon发布基于知识的人-人开放领域对话数据集 github

181. 中文文本纠错模块代码 github

182. 繁简体转换 github

183. Python实现的多种文本可读性评价指标 github

184. 类似于人名/地名/组织机构名的命名体识别数据集 github

185. 东南大学《知识图谱》研究生课程(资料) github

186. 英文拼写检讨库 github

from spellchecker import SpellCheckerspell = SpellChecker()# find those words that may be misspelledmisspelled = spell.unknown(['something', 'is', 'hapenning', 'here'])for word in misspelled: # Get the one `most likely` answer print(spell.correction(word)) # Get a list of `likely` options print(spell.candidates(word))

187. wwsearch是企业微信后台自研的全文检索引擎 github

188. CHAMELEON：深度学习新闻推举系统元架构 github

189. 8篇论文梳理BERT干系模型进展与反思 github

190. DocSearch：免费文档搜索引擎 github

191. LIDA：轻量交互式对话标注工具 github

192. aili - the fastest in-memory index in the East 东半球最快并发索引 github

193. 知识图谱车音事情项目 github

194. 自然措辞天生资源大全 github

内含英文数据、论文、代码

195. 中日韩分词库mecab的Python接口库 github

196. 中文文本择要/关键词提取 github

197. 汉字字符特色提取器 (featurizer)，提取汉字的特色（发音特色、字形特色）用做深度学习的特色 github

198. 中文天生任务基准测评 github

199. 中文缩写数据集 github

200. 中文任务基准测评 - 代表性的数据集-基准(预演习)模型-语料库-baseline-工具包-排行榜 github

201. PySS3：面向可阐明AI的SS3文本分类器机器可视化工具 github

202. 中文NLP数据集列表 github

203. COPE - 格律诗编辑程序 github

204. doccano：基于网页的开源协同多措辞文本标注工具 github

205. PreNLP：自然措辞预处理库 github

206. 大略的简历解析器，用来从简历中提取关键信息 github

207. 用于中文闲聊的GPT2模型：GPT2-chitchat github

208. 基于检索谈天机器人多轮相应选择干系资源列表(Leaderboards、Datasets、Papers) github

209. (Colab)抽象文本择要实现集锦(教程 github

210. 词语拼音数据 github

211. 高效模糊搜索工具 github

212. NLP数据增广资源集 github

213. 微软对话机器人框架 github

214. GitHub Typo Corpus：大规模GitHub多措辞拼写缺点/语法缺点数据集 github

215. TextCluster：短文本聚类预处理模块 Short text cluster github

216. 面向语音识别的中文文本规范化 github

217. BLINK：最前辈的实体链接库 github

218. BertPunc：基于BERT的最前辈标点修复模型 github

219. Tokenizer：快速、可定制的文本词条化库 github

220. 中文措辞理解测评基准，包括代表性的数据集、基准(预演习)模型、语料库、排行榜 github

221. spaCy 医学文本挖掘与信息提取 github

222. NLP任务示例项目代码集 github

223. python拼写检讨库 github

224. chatbot-list - 行业内关于智能客服、谈天机器人的运用和架构、算法分享和先容 github

225. 语音质量评价指标(MOSNet, BSSEval, STOI, PESQ, SRMR) github

226. 用138GB语料演习的法文RoBERTa预演习措辞模型 link

227. BERT-NER-Pytorch：三种不同模式的BERT中文NER实验 github

228. 无道词典 - 有道词典的命令行版本，支持英汉互查和在线查询 github

229. 2019年NLP亮点回顾 download

提取码: yb6x

230. Chinese medical dialogue data 中文医疗对话数据集 github

231. 最好的汉字数字(中文数字)-阿拉伯数字转换工具 github

232. 基于百科知识库的中文词语多词义/义项获取与特定句子词语语义消歧 github

233. awesome-nlp-sentiment-analysis - 情绪剖析、感情缘故原由识别、评价工具和评价词抽取 github

234. LineFlow：面向所有深度学习框架的NLP数据高效加载器 github

235. 中文医学NLP公开资源整理 github

236. MedQuAD：(英文)医学问答数据集 github

237. 将自然措辞数字串解析转换为整数和浮点数 github

238. Transfer Learning in Natural Language Processing (NLP) youtube

239. 面向语音识别的中文/英文发音辞典 github

240. Tokenizers：看重性能与多功能性的最前辈分词器 github

241. CLUENER 细粒度命名实体识别 Fine Grained Named Entity Recognition github

242. 基于BERT的中文命名实体识别 github

243. 中文谣言数据库 github

244. NLP数据集/基准任务大列表 github

大多数为英文数据

245. nlp干系的一些论文及代码, 包括主题模型、词向量(Word Embedding)、命名实体识别(NER)、文本分类(Text Classificatin)、文本天生(Text Generation)、文本相似性(Text Similarity)打算等，涉及到各种与nlp干系的算法，基于keras和tensorflow github

246. Python文本挖掘/NLP实战示例 github

247. Blackstone：面向非构造化法律文本的spaCy pipeline和NLP模型 github

248. 通过同义词更换实现文本“变脸” github

249. 中文预演习 ELECTREA 模型: 基于对抗学习 pretrain Chinese Model github

250. albert-chinese-ner - 用预演习措辞模型ALBERT做中文NER github

251. 基于GPT2的特定主题文本天生/文本增广 github

252. 开源预演习措辞模型合集 github

253. 多措辞句向量包 github

254. 编码、标记和实现：一种可控高效的文本天生方法 github

255. 英文脏话大列表 github

256. attnvis：GPT2、BERT等transformer措辞模型把稳力交互可视化 github

257. CoVoST：Facebook发布的多语种语音-文本翻译语料库，包括11种措辞(法语、德语、荷兰语、俄语、西班牙语、意大利语、土耳其语、波斯语、瑞典语、蒙古语和中文)的语音、笔墨转录及英文译文 github