分布式搜索引擎-DSL查询文档
文章目录
1、DSL Query的分类
Elasticsearch提供了基于JSON的DSL(Domain Specific Language官网)来定义查询。
常见的查询类型包括:
查询所有:查询出所有数据,一般测试用。例如:match_all
全文检索(full text)查询:利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如:
match_query
multi_match_query
精确查询:根据精确词条值查找数据,一般是查找keyword、数值、日期、boolean等类型字段。例如:
ids
range
term
地理(geo)查询:根据经纬度查询。例如:
geo_distance
geo_bounding_box
复合(compound)查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:
bool
function_score
查询语法:
GET /indexName/_search { "query": { "查询类型": { "查询条件": "条件值" } } }
示例:
# 查询所有数据 GET /hotel/_search { "query": { "match_all": { } } }
1.1、全文检索查询
全文检索查询,会对用户输入内容分词,常用于搜索框搜索:
match查询:全文检索查询的一种,会对用户输入内容分词,然后去倒排索引库检索,语法:
GET /indexName/_search { "query": { "match": { "FIELD": "TEXT" } } }
# match查询 GET /hotel/_search { "query": { "match": { "address": "上海" } }
multi_match:与match查询类似,只不过允许同时查询多个字段,(查询越多,性能越差)语法:
GET /indexName/_search { "query": { "multi_match": { "query": "TEXT", "fields": ["FIELD1", " FIELD12"] } } }
# multi_match GET /hotel/_search { "query": { "multi_match": { "query": "上海", "fields": [ "name", "business", "address" ] } } }
1.2、精确查询
精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有:
term:根据词条精确值查询
# term查询 GET /hotel/_search { "query": { "term": { "city": { "value": "上海" } } } }
range:根据值的范围查询
#Range查询 GET /hotel/_search { "query": { "range": { "price": { "gte": 100, "lte": 300 } } } }
gte:大于等于
gt:大于
lte:小于等于
lt:小于
1.3、地理查询
根据经纬度查询,ES官方文档关于地理查询。例如:
geo_bounding_box:查询geo_point值落在某个矩形范围的所有文档
#geo_bounding_box查询 GET /hotel/_search { "query": { "geo_bounding_box": { "location": { "top_left": { "lat": 31.1, "lon": 121.5 }, "bottom_right": { "lat": 30.9, "lon": 121.7 } } } } }
geo_distance:查询到指定中心点小于某个距离值的所有文档
#geo_distance查询 GET /hotel/_search { "query": { "geo_distance":{ "distance":"15km", "location":"31.21,121.5" } } }
1.4、复合查询
复合(compound)查询:复合查询可以将其它简单查询组合起来,实现更复杂的搜索逻辑,例如:
- fuction score:算分函数查询,可以控制文档相关性算分,控制文档排名。(意思就是可以可控制搜索的结果)
当我们利用match查询时,文档结果会根据与搜索词条的关联度打分(_score
),返回结果时按照分值降序排列。
例如:
搜索条件的公式:
- 算法1:
算法2
TF_IDF
算法(减少关键词打分):算法3
BM2.5
(不会受词频影响较大):
1.5、Function Score Query
使用 function score query官方分档,可以修改文档的相关性算分(query score),根据新得到的算分排序。
通过对weight进行值的增加,就可以使得搜素的排名靠的更加前面。
过滤条件:哪些文档要加分
算分函数:如何计算function score
加权方式:function score 与 query score如何运算
1.6、复合查询Boolean Query
布尔查询是一个或多个查询子句的组合。子查询的组合方式有:
- must:必须匹配每个子查询,类似“与”
should:选择性匹配子查询,类似“或”
must_not:必须不匹配,不参与算分,类似“非”
filter:必须匹配,不参与算分
看这张图就明白了
说白了就是多个条件进行组合查询。
例如:查询名字中有上海的,并且价格不大于100,距离在31.21,121.5方圆100km的所有酒店
# 条件查询boolean GET /hotel/_search { "query": { "bool": { "must": [ { "match": { "name": "上海" } } ], "must_not": [ { "range": { "price": { "gt": 400 } } } ], "filter": [ { "geo_distance": { "distance": "10km", "location": { "lat": 31.21, "lon": 121.5 } } } ] } } }
2、搜索结果处理
elasticsearch支持对搜索结果排序,默认是根据相关度算分(_score)来排序。可以排序字段类型有:keyword类型、数值类型、地理坐标类型、日期类型等。
注意:在进行结果排序之后,默认的相关度算分就没有什么意义了,所以_score就变成了null。
2.1、排序
测试demo1:实现对分数排降序,对价格升序
#sort排序 GET /hotel/_search { "query": { "match_all": {} }, "sort": [ { "score": "desc" }, { "price": "asc" } ] }
测试2:实现当前位置为基准,按照距离远近升序排序(101.719015,26.568627)
GET /hotel/_search { "query": { "match_all": {} }, "sort": [ { "_geo_distance": { "location": { "lat": "26.568627", "lon": "101.719015" }, "order": "asc", "unit": "km" } } ] }
结果:
2.2、分页
elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。
elasticsearch中通过修改from、size参数来控制要返回的分页结果:
# 分页 GET /hotel/_search { "query": { "match_all": {} }, "from": 990, //分页开始的位置,默认为0 "size": 20, //期望获取的文档总数 "sort": [ { "price": "asc" } ] }
问题:这种分页方式不支持ES的集群环境,所以集群情况下就需要使用深度分页。
2.3、深度分页
介绍:
ES是分布式的,所以会面临深度分页问题。例如按price排序后,获取from = 990,size =10的数据:
首先在每个数据分片上都排序并查询前1000条文档。
然后将所有节点的结果聚合,在内存中重新排序选出前1000条文档
最后从这1000条中,选取从990开始的10条文档
如果搜索页数过深,或者结果集(from + size)越大,对内存和CPU的消耗也越高。因此ES设定结果集查询的上限默认是10000。
解决方案:
针对深度分页,ES提供了两种解决方案,官方文档:
search after:分页时需要排序,原理是从上一次的排序值开始,查询下一页数据。官方推荐使用的方式。
scroll:原理将排序数据形成快照,保存在内存,对内存消耗较大。官方已经不推荐使用。
2.4、高亮
- 高亮:就是在搜索结果中把搜索关键字突出显示。
其内部实现的原理:
服务端将搜索结果中的关键字用标签标记出来
在页面中给标签添加css样式
查询语句:
#高亮查询 #默认情况下,搜索字段和高亮字段一直方可 GET /hotel/_search { "query": { "match": { //高亮字段 "name": "上海" } }, "highlight": { "fields": { "name": { "pre_tags": "<em>", //标记高亮的前置标签 "post_tags": "</em>"//标记高亮的后置标签 } } } }
其中:
下面两个字段是无需指定的,默认高亮标签就是em
"pre_tags": "<em>", "post_tags": "</em>"
还有,当高亮字段和匹配字段不一致的时候就要使用
"require_field_match": "false",
来进行设置,当然查询字段包含高亮字段,例如:#高亮查询 #默认情况下,搜索字段和高亮字段一直方可 GET /hotel/_search { "query": { "match": { "all": "上海" } }, "highlight": { "fields": { "name": { "require_field_match": "false", //与all字段不相匹配,但包含在all字段 } } } }