Whoosh：Python 的轻量级搜索工具(Whoosh：Python轻量级搜索引擎工具)

原创

ithorizon 4周前 (10-20) 阅读数 14 #后端开发

Whoosh：Python的轻量级搜索工具

一、简介

Whoosh 是一个纯 Python 编写的轻量级搜索引擎工具。它适用于小到中等规模的搜索需求，特别适合用于个人项目或者中小型网站。Whoosh 的优势在于其明了易用、可扩展性强，并且不需要外部依靠，可以方便地集成到 Python 项目中。

二、安装与初始化

首先，确保您的 Python 环境已经安装了 Whoosh 库。可以通过以下命令安装 Whoosh：

pip install whoosh

接下来，我们将创建一个明了的 Whoosh 搜索引擎实例。首先，我们需要导入 Whoosh 的相关模块，并创建一个索引存储目录：


from whoosh.index import create_in
from whoosh.fields import Schema, TEXT, ID
schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT)
indexdir = "indexdir"
ix = create_in(indexdir, schema)

三、添加文档

Whoosh 使用“文档”来即索引中的数据。我们可以创建一个新的文档对象，然后将其添加到索引中。以下是一个添加文档的例子：


from whoosh.writing import IndexWriter
writer = ix.writer()
# 创建文档
doc1 = ix.add_document(title=u"First document", path=u"/a", content=u"This is the content of the first document.")
doc2 = ix.add_document(title=u"Second document", path=u"/b", content=u"This is some more content in the second document.")
# 提交更改
writer.commit()

四、搜索文档

添加文档后，我们可以使用 Whoosh 的搜索功能来查找文档。以下是一个明了的搜索示例：


from whoosh.qparser import QueryParser
# 创建一个搜索器
searcher = ix.searcher()
# 创建一个查询解析器
parser = QueryParser("content", ix.schema)
# 执行搜索
query = parser.parse("first")
results = searcher.search(query)
# 打印搜索最终
for result in results:
    print(result['title'], result['path'])

五、高级特性

Whoosh 还提供了许多高级特性，例如评分、排序、高亮显示等。以下是一些高级特性的示例：

1. 评分与排序

Whoosh 默认使用 TF-IDF（词频-逆文档频率）评分机制。您可以通过指定排序字段来改变搜索最终的排序方法：


results = searcher.search(query, sortedby="title")

2. 高亮显示

Whoosh 可以在搜索最终中高亮显示匹配的关键词。以下是怎样实现高亮显示的示例：


from whoosh.highlight import Highlighter
highlighter = Highlighter()
highlighter.fragmenter = highlight.SentenceFragmenter()
highlighter.field = 'content'
for result in results:
    content = highlighter.highlight(result['content'], query)
    print(result['title'], result['path'], content)

六、性能优化

Whoosh 提供了一些性能优化的方法，以下是一些常见的优化策略：

1. 索引缓存

为了节约搜索性能，可以将索引加载到内存中：


ix = open_dir(indexdir)
ix = ix.cache()

2. 并行搜索

Whoosh 赞成并行搜索，可以通过以下方法实现：


from multiprocessing import Pool
def search(query):
    searcher = ix.searcher()
    results = searcher.search(query)
    return results
if __name__ == "__main__":
    pool = Pool(processes=4)
    queries = [parser.parse(query_string) for query_string in query_strings]
    results = pool.map(search, queries)
    pool.close()
    pool.join()