【ElasticSearch查询忽略大小写】_es terms查询text类型 大小写不忙安

ElasticSearch查询忽略大小写

问题场景：
	在项目中使用ES作为数据存储结构，但是很多时候我们在刚开始创建索引的时候都不知道这个字段是否以后会作为条件对数据进行查询，
	所以创建的时候很多时候都是“text”类型或者是“keyword”类型，这就导致我们在后期想要对该字段作为条件进行大小写不敏感+模糊搜索
	时实现不了我们想要的效果，但是ES在创建完索引后不支持直接对字段类型进行修改，所以只能采取另外一种办法对字段属性进行修改。
1
2
3
4

1、常用文档类型（数据查询字段）

1.1 text类型：用于全文索引，该类型的字段在数据进行存储的时候会根据当前ES已设置的分词方式进行分词，例如：IK（没有设置的情况
默认采用standard分词）
1.2 keyword类型：该类型的字段在数据进行存储的时候不进行分词，这时候就出现了为什么keyword类型的字段对大小写敏感的问题了，
因为不进行分词，存储的时候是大写就是大写，存储的时候是小写就是小写，不支持存储的时候是大写，但是搜索的时候采用小写对其
进行检索，设置此类型最重要的是如果要对字段进行过滤，排序、聚合等操作时，需要将其设置为keyword类型。
1
2
3
4
5

2、问题解决思路

1、查看当前字段是否对索引进行大小写处理
2、新建备份索引，备份原来的索引下的数据
3、将原来的索引下的数据同步到备份索引下
4、删除原来的索引
5、修改原索引属性结构，重建原同名索引
6、将备份索引下的数据同步至新建索引下
7、验证是否成功
8、删除备份索引
1
2
3
4
5
6
7
8

2.1 查看当前索引下是否进行分词

GET '索引名称'/_analyze
{
  "field": "title",
  "text": "TEST测试"
}
1
2
3
4
5

在Kinaba中执行上述语句，结果如下：

{
  "tokens" : [
    {
      "token" : "test测试",
      "start_offset" : 0,
      "end_offset" : 6,
      "type" : "word",
      "position" : 0
    }
  ]
}
1
2
3
4
5
6
7
8
9
10
11

token 就是对应的分词后的结果（此处是我已经设置完了的，所以虽然存储之前是大写TEST，但是经过处理后存储的索引结果是小写test），如果没处理，字段类型是keyword类型，存储索引结果应该也是大写TEST，这时候对其进行小写test进行查询时查询不到该条数据的。

2.2 新建备份索引

2.2.1 查看原索引mapping

GET XXX/_mapping
1

2.2.2 复制原索引mapping创建备份索引

PUT /XXX
{
	第一步复制的mapping
	"mappings": {
    "XXX": {
      "properties": {
      }
      }
      }
}
1
2
3
4
5
6
7
8
9
10

2.2.3 将原索引下的数据同步至备份索引下

POST /_reindex
{
  "source": {
    "index": "原索引名称"
  },
  "dest": {
    "index": "备份索引名称"
  }
}
1
2
3
4
5
6
7
8
9

2.2.4 删除原索引，进行重建

1、删除原索引   DELETE 索引名称
2、重建新索引   此处引入“normalizer”属性，此属性的作用就是忽略大小写，只需要加在原索引下想进行忽略大小写进行查询的字段下即可，还需要加入另外对其支撑的setting，如下：
PUT ssb_test_01
{
  "settings": {
    "analysis": {
      "normalizer": {
        "lowercase_normalizer": {
          "type": "custom",
          "char_filter": [],
          "filter": [
            "lowercase"
          ]
        }
      }
    }
  },
  
  "mappings" : {
      "XXX" : {
        "properties" : {
          "allDay" : {
            "type" : "integer"
          },
           "creatorId" : {
            "type" : "keyword"
          },
          "title" : {
            "type" : "keyword",
            "normalizer": "lowercase_normalizer"
          }
         }
        }
       }
      } 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

上述代码中，对ssb_test_01索引下的“title”字段进行模糊搜索+忽略大小写查询，所以在其原有keyword属性的基础上加入"normalizer": "lowercase_normalizer"配置，这样就能实现想要的效果。

2.2.5 将备份索引下的数据同步过来，步骤和2.2.3一致，只需要调换索引的位置即可

2.2.6 对新建后的索引进行验证，确认无误后删除备份索引即可

---

在 “0” 和 “1” 的世界里闭关修炼，才有成为高手的可能，所以请按耐住那颗躁动的心