nlp自然语言处理的原理（自己的学习笔记-自然语言处理NLP）

老公做知识管理系统，第一阶段工作接近完毕，还需要纠正一些小的bug第二阶段他很快要启动，尽管他很累，回家这里那里不舒服，可是他已经安排与软件公司即将开始方案交流他自己已经构思好整体方案，并且自己写好了推荐算法，这个软件公司之前并没有做过类似系统，也没有人能写算法，所以他需要自己来做，然后与公司一起去实现他的想法，我来为大家讲解一下关于nlp自然语言处理的原理?跟着小编一起来看一看吧!

nlp自然语言处理的原理

老公做知识管理系统，第一阶段工作接近完毕，还需要纠正一些小的bug。第二阶段他很快要启动，尽管他很累，回家这里那里不舒服，可是他已经安排与软件公司即将开始方案交流。他自己已经构思好整体方案，并且自己写好了推荐算法，这个软件公司之前并没有做过类似系统，也没有人能写算法，所以他需要自己来做，然后与公司一起去实现他的想法。

他第二阶段涉及自然语言处理方向。因为丫头这学期打算修NLP或机器翻译中的一门，她说NLP教授是jason eisner，教的特别好，就是排课多、考试多、作业多，她对NLP很有兴趣，我查了下这位教授是NLP大牛，机器翻译教授也是大牛。她需要根据自己的规划和手头实际来选择了。

对父女二人都涉及的NLP，我也就自我科普一下。

Nlp主要研究人与计算机之间，使用自然语言进行有效通信的各种理论和方法。

自然语言处理的主要技术范畴

1、语义文本相似度分析

语义文本相似度分析是对两段文本的意义和本质之间的相似度进行分析的过程。

2、信息检索

信息检索是指将信息按一定的方式加以组织，并通过信息查找满足用户的信息需求的过程和技术。

3、 信息抽取

信息抽取是指从非结构化/半结构化文本（如网页、新闻、 论文文献、微博等）中提取指定类型的信息（如实体、属性、关系、事件、商品记录等），并通过信息归并、冗余消除和冲突消解等手段将非结构化文本转换为结构化信息的一项综合技术。

4、文本分类

文本分类的任务是根据给定文档的内容或主题，自动分配预先定义的类别标签。

5、文本挖掘

文本挖掘是信息挖掘的一个研究分支，用于基于文本信息的知识发现。文本挖掘的准备工作由文本收集、文本分析和特征修剪三个步骤组成。目前研究和应用最多的几种文本挖掘技术有：文档聚类、文档分类和摘要抽取。

6、文本情感分析

情感分析是一种广泛的主观分析，它使用自然语言处理技术来识别客户评论的语义情感，语句表达的情绪正负面以及通过语音分析或书面文字判断其表达的情感等。

7、问答系统

自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。不同于现有搜索引擎，问答系统是信息服务的一种高级形式，系统返回用户的不再是基于关键词匹配排序的文档列表，而是精准的自然语言答案。

8、机器翻译

机器翻译是指利用计算机实现从一种自然语言到另外一种自然语言的自动翻译。被翻译的语言称为源语言（source language），翻译到的语言称作目标语言（target language）。

机器翻译研究的目标就是建立有效的自动翻译方法、模型和系统，打破语言壁垒，最终实现任意时间、任意地点和任意语言的自动翻译，完成人们无障碍自由交流的梦想。

9、自动摘要

自动文摘（又称自动文档摘要）是指通过自动分析给定的一篇文档或多篇文档，提炼、总结其中的要点信息，最终输出一篇长度较短、可读性良好的摘要（通常包含几句话或数百字），该摘要中的句子可直接出自原文，也可重新撰写所得。

根据输入文本的数量划分，文本摘要技术可以分为单文档摘要和多文档摘要。 在单文档摘要系统中，一般都采取基于抽取的方法。而对于多文档而言，由于在同一个主题中的不同文档中不可避免地存在信息交叠和信息差异，因此如何避免信息冗余，同时反映出来自不同文档的信息差异是多文档文摘中的首要目标，而要实现这个目标通常以为着要在句子层以下做工作，如对句子进行压缩，合并，切分等。另外，单文档的输出句子一般是按照句子在原文中出现的顺序排列，而在多文档摘要中，大多采用时间顺序排列句子，如何准确的得到每个句子的时间信息，也是多文档摘要需要解决的一个问题。

10、语音识别

语言识别指的是将不同语言的文本区分出来。其利用语言的统计和语法属性来执行此任务。语言识别也可以被认为是文本分类的特殊情况。

大致了解了一些，如上这些方面确实很有意思。比如文本自动分类，就特别实用，会节省掉繁琐特费眼睛的工作。还有信息抽取，可以提取生成有效的结构化信息，实在比大海捞针强辛苦编辑效率高多了。

我想旁听一下他的项目了，如果有机会的话。

,