python分词操作(Python英文文本分词无空格模块wordninja的使用实例)
python分词操作
Python英文文本分词无空格模块wordninja的使用实例在NLP中,数据清洗与分词往往是很多工作开始的第一步,大多数工作中只有中文语料数据需要进行分词,现有的分词工具也已经有了很多了,这里就不再多介绍了。英文语料由于其本身存在空格符所以无需跟中文语料同样处理,如果英文数据中没有了空格,那么应该怎么处理呢?
今天介绍一个工具就是专门针对上述这种情况进行处理的,这个工具叫做:wordninja,地址在这里。
下面简单以实例看一下它的功能:
|
def wordinjaFunc(): ''' https://github.com/yishuihanhan/wordninja ''' import wordninja print wordninja.split( 'derekanderson' ) print wordninja.split( 'imateapot' ) print wordninja.split( 'wethepeopleoftheunitedstatesinordertoformamoreperfectunionestablishjusticeinsuredomestictranquilityprovideforthecommondefencepromotethegeneralwelfareandsecuretheblessingsoflibertytoourselvesandourposteritydoordainandestablishthisconstitutionfortheunitedstatesofamerica' ) print wordninja.split( 'littlelittlestar' ) |
结果如下:
['derek', 'anderson']
['im', 'a', 'teapot']
['we', 'the', 'people', 'of', 'the', 'united', 'states', 'in', 'order', 'to', 'form', 'a', 'more', 'perfect', 'union', 'establish', 'justice', 'in', 'sure', 'domestic', 'tranquility', 'provide', 'for', 'the', 'common', 'defence', 'promote', 'the', 'general', 'welfare', 'and', 'secure', 'the', 'blessings', 'of', 'liberty', 'to', 'ourselves', 'and', 'our', 'posterity', 'do', 'ordain', 'and', 'establish', 'this', 'constitution', 'for', 'the', 'united', 'states', 'of', 'america']
['little', 'little', 'star']
从简单的结果上来看,效果还是不错的,之后在实际的使用中会继续评估。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。如果你想了解更多相关内容请查看下面相关链接
原文链接:https://blog.csdn.net/Together_CZ/article/details/86678213
- python中mat文件怎么读(Python第三方库h5py_读取mat文件并显示值的方法)
- python爬虫10分钟教程(浅谈Python爬虫基本套路)
- python中dict怎么创建(Python数据类型之Dict字典实例详解)
- python获取字符串类型(python3利用ctypes传入一个字符串类型的列表方法)
- python的基本函数及用法(Python3.6.x中内置函数总结及讲解)
- python的条件判断和循环(浅谈Python基础—判断和循环)
- python微信窗口内容获取(python使用wxpy轻松实现微信防撤回的方法)
- python如何读取文件(Python从文件中读取数据的方法讲解)
- python读取文件的正确方法(强悍的Python读取大文件的解决方案)
- python做学生成绩系统(python学生管理系统)
- pythonpickle使用方法(Python supervisor强大的进程管理工具的使用)
- pythongui实战案例(Python GUI编程完整示例)
- python爬虫request方法介绍(详解Python3网络爬虫二:利用urllib.urlopen向有道翻译发送数据获得翻译结果)
- python序列化图解(对Python3 序列解包详解)
- kmp算法怎么用c描述(详解小白之KMP算法及python实现)
- 怎么对python中列表进行排序(Python列表常见操作详解获取,增加,删除,修改,排序等)
- 黄渤泪目 我的痴呆父亲,我内心永远的痛(黄渤泪目我的痴呆父亲)
- 蒜苔和鱿鱼尾巴一起炒,味道特别棒,又脆又嫩,有滋又有味(蒜苔和鱿鱼尾巴一起炒)
- 鱿鱼炒蒜苔不是黑暗料理,这样做清香扑鼻,鲜美脆嫩,开胃又下饭(鱿鱼炒蒜苔不是黑暗料理)
- 蒜苔炒鱿鱼(蒜苔炒鱿鱼)
- 远离 五毛食品 洛阳80后妈妈发明的 飞行棋 成校园爆款 玩具(远离五毛食品)
- 失传的古代飞行棋游戏 六博(失传的古代飞行棋游戏)
热门推荐
- sas编程如何加标签(sassscss的安装与使用教程)
- linux 安装securecrt(Linux SecureCRT显示乱码解决方案)
- php怎样创建新文件详情(php文件后缀不强制为.php的实操方法)
- 云服务器模式有哪些(私人云服务器用途有哪些?私人云服务器可以做什么?)
- python坐标输入(python导入坐标点的具体操作)
- python 操作html(Python HTML解析模块HTMLParser用法分析爬虫工具)
- sql多条件查询汇总语句(SQL判断语句用法和多表查询)
- linux nginx搭建(Ubuntu使用nginx搭建webdav文件服务器的详细过程)
- 阿里云ecs和轻量服务器(阿里云ECS服务器入门使用流程推荐)
- python模块学习之random模块(详解Python基础random模块随机数的生成)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9