爬虫基础知识信息获取（爬虫技能Haystack全文检索）
一 什么是Haystack？1、介绍，下面我们就来聊聊关于爬虫基础知识信息获取?接下来我们就一起去了解一下吧!
爬虫基础知识信息获取
一 什么是Haystack？
1、介绍
Haystack是Django的开源全文搜索框架(全文检索不同于特定字段的模糊查询，使用全文检索的效率更高 )，该框架支持Solr,Elasticsearch,Whoosh, **Xapian搜索引擎它是一个可插拔的后端（很像Django的数据库层），所以几乎你所有写的代码都可以在不同搜索引擎之间便捷切换。
2、各组件安装
''' - 全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理。 - haystack： django的一个包，可以方便地对model里面的内容进行索引、搜索，设计为支持whoosh,solr,Xapian,Elasticsearch四种全文检索引擎后端，属于一种全文检索的框架。 - whoosh： 纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用。 - jieba： 一款免费的中文分词包，如果觉得不好用可以使用一些收费产品。 '''
二 Haystack安装
# pip install django-haystack # pip install whoosh # pip install jieba
三 Haystack的安装配置
1、Django配置settings添加 "INSTALLED_APPS"
''' 添加Haystack到Django的`INSTALLED_APPS`中。 跟大多数Django的应用一样，你应该在你的设置文件(通常是`settings.py`)添加Haystack到`INSTALLED_APPS。 ''' INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.sites', # 添加 'haystack', # 你的app 'blog', ]
2、在Django的settings中添加 "搜索引擎" 配置
搜索引擎是一个可以通过搜索关键字搜索出数据的第三方插件！就像我们平时用的百度。百度其实是先把数据是爬回来的，然后通过搜索引擎来搜索数据。全文检索就是只要你百度里面有tank这个人，那他都能搜索出来。不过不只是标题有，只要文字里面有，都能找出来！问题是如果是查标题还好，但是如果全文查找是不是有可能数据有10万100万条，那你怎么找？每一次过来都得在这堆数据里面查找。这样的话你的机器就会扛不住！所以我们出现了搜索引擎。搜索引擎的原理就是数据库里面无论有多少数据，都会在搜索引擎里面添加一份数据，每次搜索数据就是相当于从搜索引擎里面查数据，所以效率特别快！
''' 搜索引擎也有很多种，至于使用哪一种就看你的选择。其中Whoosh搜索引擎是python写的，所以它与python最为搭配！ 无论选择的是哪一个搜索引擎都需要去settings里面配置。 ''' # Solr示例 HAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'haystack.backends.solr_backend.SolrEngine', 'URL': 'http://127.0.0.1:8983/solr' # ...or for multicore... # 'URL': 'http://127.0.0.1:8983/solr/mysite', }, } # Elasticsearch示例 HAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine', 'URL': 'http://127.0.0.1:9200/', 'INDEX_NAME': 'haystack', }, } # Whoosh示例 # 需要设置PATH到你的Whoosh索引的文件系统位置 import os HAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine', 'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'), }, } # 自动更新索引 HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor' # Xapian示例 # 首先安装Xapian后端（http://github.com/notanumber/xapian-haystack/tree/master） # 需要设置PATH到你的Xapian索引的文件系统位置。 import os HAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'xapian_backend.XapianEngine', 'PATH': os.path.join(os.path.dirname(__file__), 'xapian_index'), }, }
四 处理数据
若想针对某个app做全文检索（例如blog），得先创建索引。则必须在blog的目录下面建立一个py文件，文件名必须为search_indexes.py。
1、创建索引
为什么要创建索引？索引就像是一本书的目录，可以为读者提供更快速的导航与查找。在这里也是同样的道理，当数据量非常大的时候，若要从这些数据里找出所有的满足搜索条件的几乎是不太可能的，将会给服务器带来极大的负担。所以我们需要为指定的数据添加一个索引（目录），在这里是为Note创建一个索引，索引的实现细节是我们不需要关心的，每个索引里面必须有且只能有一个字段为 document=True，这代表haystack 和搜索引擎将使用此字段的内容作为索引进行检索(primary field)。其他的字段只是附属的属性，方便调用，并不作为检索数据。
search_indexes.py
from haystack import indexes from app01.models import Article class ArticleIndex(indexes.SearchIndex, indexes.Indexable): #类名必须为需要检索的Model_name Index，这里需要检索Article，所以创建ArticleIndex text = indexes.CharField(document=True, use_template=True)#创建一个text字段 #其它字段 desc = indexes.CharField(model_attr='desc') content = indexes.CharField(model_attr='content') def get_model(self):#重载get_model方法，必须要有！ return Article def index_queryset(self, using=None): return self.get_model().objects.all()
注意：
如果使用一个字段设置了document=True，则一般约定此字段名为text，这是在ArticleIndex类里面一贯的命名，以防止后台混乱，当然名字你也可以随便改，不过不建议改。另外，我们在text字段上提供了use_template=True。这允许我们使用一个数据模板（而不是容易出错的级联）来构建文档搜索引擎索引。你应该在模板目录下建立新的模板search/indexes/blog/article_text.txt，并将下面内容放在里面。
2、添加搜索字段
这个数据模板的作用是对Note.title, Note.user.get_full_name,Note.body这三个字段建立索引，当检索的时候会对这三个字段做全文检索匹配。
# 在目录“templates/search/indexes/应用名称/”下创建“模型类名称_text.txt”文件 {{ object.title }} {{ object.desc }} {{ object.content }}
五 视图设置
1、添加url
这会拉取Haystack的默认URLconf，它由单独指向SearchView实例的URLconf组成。你可以通过传递几个关键参数或者完全重新它来改变这个类的行为。
url(r'^search/', include('haystack.urls')),
2、搜索模板
搜索模板(默认在search/search.html)将可能非常简单。下面的足够让你的搜索运行(你的template/block应该会不同)
templates.search.search.html
<!DOCTYPE html> <html> <head> <title></title> <style> span.highlighted { color: red; } </style> </head> <body> {% load highlight %} {% if query %} <h3>搜索结果如下：</h3> {% for result in page.object_list %} {# <a href="/{{ result.object.id }}/">{{ result.object.name }}</a><br/>#} <a href="/{{ result.object.id }}/">{% highlight result.object.name with query max_length 2%}</a><br/> <p>{{ result.object.content|safe }}</p> {# <p>{% highlight result.content with query %}</p>#} {% empty %} <p>啥也没找到</p> {% endfor %} {% if page.has_previous or page.has_next %} <div> {% if page.has_previous %} <a href="?q={{ query }}&page={{ page.previous_page_number }}">{% endif %}« 上一页 {% if page.has_previous %}</a>{% endif %} | {% if page.has_next %}<a href="?q={{ query }}&page={{ page.next_page_number }}">{% endif %}下一页 » {% if page.has_next %}</a>{% endif %} </div> {% endif %} {% endif %} </body> </html>
需要注意的是page.object_list实际上是SearchResult对象的列表。这些对象返回索引的所有数据。它们可以通过{{result.object}}来访问。所以{{ result.object.title}}实际使用的是数据库中Article对象来访问title字段的。
3、重建索引
上述已经配置好了所的配置，此时这步才是真正从数据库中把数据放入索引了。Haystack附带的一个命令行管理工具使它变得很容易。简单的运行python manage.py rebuild_index。你会得到有多少模型进行了处理并放进索引的统计。需要注意的是，每一次更新数据都需要执行一次rebuild_index。
# python manage.py rebuild_index
六 使用jieba分词
jieba是一个自然语言处理之中文分词器。因为haystack全文检索是老外写的，别人没有自带的中分分词搜索。所以我们需要通过jieba分词器才修改全文检索的源码，这样我们就可以通过中文来搜索了。
1、修改haystack\backends的源码
# 建立ChineseAnalyzer.py文件 # 保存在haystack的安装文件夹下，路径如“D:\python3\Lib\site-packages\haystack\backends” import jieba from whoosh.analysis import Tokenizer, Token class ChineseTokenizer(Tokenizer): def __call__(self, value, positions=False, chars=False, keeporiginal=False, removestops=True, start_pos=0, start_char=0, mode='', **kwargs): t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs) seglist = jieba.cut(value, cut_all=True) for w in seglist: t.original = t.text = w t.boost = 1.0 if positions: t.pos = start_pos value.find(w) if chars: t.startchar = start_char value.find(w) t.endchar = start_char value.find(w) len(w) yield t def ChineseAnalyzer(): return ChineseTokenizer()
# 复制whoosh_backend.py文件，改名为whoosh_cn_backend.py # 注意：复制出来的文件名，末尾会有一个空格，记得要删除这个空格 from .ChineseAnalyzer import ChineseAnalyzer 查找 analyzer=StemmingAnalyzer() 改为 analyzer=ChineseAnalyzer()
七 在模板中创建搜索栏
<form method='get' action="/search/" target="_blank"> <input type="text" name="q"> <input type="submit" value="查询"> </form>
,免责声明：本文仅代表文章作者的个人观点，与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺，请读者仅作参考，并自行核实相关内容。文章投诉邮箱：anhduc.ph@yahoo.com
