python分词操作(Python英文文本分词无空格模块wordninja的使用实例)
python分词操作
Python英文文本分词无空格模块wordninja的使用实例在NLP中,数据清洗与分词往往是很多工作开始的第一步,大多数工作中只有中文语料数据需要进行分词,现有的分词工具也已经有了很多了,这里就不再多介绍了。英文语料由于其本身存在空格符所以无需跟中文语料同样处理,如果英文数据中没有了空格,那么应该怎么处理呢?
今天介绍一个工具就是专门针对上述这种情况进行处理的,这个工具叫做:wordninja,地址在这里。
下面简单以实例看一下它的功能:
|
def wordinjaFunc(): ''' https://github.com/yishuihanhan/wordninja ''' import wordninja print wordninja.split( 'derekanderson' ) print wordninja.split( 'imateapot' ) print wordninja.split( 'wethepeopleoftheunitedstatesinordertoformamoreperfectunionestablishjusticeinsuredomestictranquilityprovideforthecommondefencepromotethegeneralwelfareandsecuretheblessingsoflibertytoourselvesandourposteritydoordainandestablishthisconstitutionfortheunitedstatesofamerica' ) print wordninja.split( 'littlelittlestar' ) |
结果如下:
['derek', 'anderson']
['im', 'a', 'teapot']
['we', 'the', 'people', 'of', 'the', 'united', 'states', 'in', 'order', 'to', 'form', 'a', 'more', 'perfect', 'union', 'establish', 'justice', 'in', 'sure', 'domestic', 'tranquility', 'provide', 'for', 'the', 'common', 'defence', 'promote', 'the', 'general', 'welfare', 'and', 'secure', 'the', 'blessings', 'of', 'liberty', 'to', 'ourselves', 'and', 'our', 'posterity', 'do', 'ordain', 'and', 'establish', 'this', 'constitution', 'for', 'the', 'united', 'states', 'of', 'america']
['little', 'little', 'star']
从简单的结果上来看,效果还是不错的,之后在实际的使用中会继续评估。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接
原文链接:https://blog.csdn.net/Together_CZ/article/details/86678213
- python如何将xls转成xlsx(Python这样操作能存储100多万行的xlsx文件)
- python3字符串格式化怎么操作(python3实现字符串操作的实例代码)
- python定时任务(Python使用crontab模块设置和清除定时任务操作详解)
- python搭建django框架(详解Python网络框架Django和Scrapy安装指南)
- python 获取数组任意组合(Python实现求两个数组交集的方法示例)
- 图解python轻松快速掌握(10招!看骨灰级Pythoner玩转Python的方法)
- python selenium用法详解(python selenium执行所有测试用例并生成报告的方法)
- python排列组合计算方法(Python实现的排列组合、破解密码算法示例)
- python数据分析pandas教程(11个Python Pandas小技巧让你的工作更高效附代码实例)
- python进度条怎么实现(Python小进度条显示代码)
- python 数据库实现学生管理系统(python+mysql实现教务管理系统)
- python虚拟环境和包使用教程(在win10和linux上分别安装Python虚拟环境的方法步骤)
- python图片模板匹配(python实现简单图片物体标注工具)
- python图书馆管理系统源码(python实现图书借阅系统)
- 如何用python识别微信内容(Python 实现微信防撤回功能)
- python默认缩进设置(不归路系列:Python入门之旅-一定要注意缩进!!!推荐)
- 太鸡贼了,这老小区轻松搞定了停车问题(这老小区轻松搞定了停车问题)
- 节日我在岗|警景相融 平安相伴(节日我在岗警景相融)
- 战 疫 时刻 致敬每一位石化大学的 守护者(战疫时刻)
- 老弄堂里的市井味道(老弄堂里的市井味道)
- 小米音乐可绑定QQ音乐, QQ音乐 真的会消失在小米的设备上吗(小米音乐可绑定QQ音乐)
- 小米Watch S1评测 或许能成为小米冲击高端可穿戴设备的里程碑(小米WatchS1评测或许能成为小米冲击高端可穿戴设备的里程碑)
热门推荐
- mysql分区怎么实现(MySql分表、分库、分片和分区知识深入详解)
- dede内容模型管理(Dede网站修改模板路径的方法 拒绝模板泄漏被盗)
- SQL中PIVOT 行列转换
- mysqlint后面的4是什么意思(MySQL中intn后面的n到底代表的是什么意思)
- Visual Studio 编译中活动平台AnyCPU
- mongodb query查询
- phpmyadmin 安装教程(新安装的XAMPP访问phpmyadmin出错的解决方法)
- mysql索引建立及应用(MYSQL创建索引,这些知识应该了解)
- css透明输入框(纯CSS实现气泡对话框尖角处理方案)
- html5中canvas标签(html5 canvas绘制网络字体的常用方法)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9