Библиотека знаний - system:elasticsearch

Elasticsearch 2.x.x

Anonymous (anonymous@undisclosed.example.com) — 2019-07-15T19:14:26+00:00

Elasticsearch 2.x.x

nano ~/elasticsearch-install.sh

#!/usr/bin/sh
 
VERSION=2.4.0
 
apt-get install openjdk-8-jdk
rm /etc/alternatives/java
ln -s /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java /etc/alternatives/java
 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
 
if [ ! -f elasticsearch-$VERSION.deb ]; then
  wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/deb/elasticsearch/$VERSION/elasticsearch-$VERSION.deb
fi
 
sudo dpkg -i elasticsearch-$VERSION.deb
 
# be sure you add "action.disable_delete_all_indices" : true to the config!!
 
# start script
sudo /etc/init.d/elasticsearch restart
 
if [ -f /usr/bin/plugin ]; then
  rm /usr/bin/plugin
fi
 
sudo ln -s /usr/share/elasticsearch/bin/plugin /usr/bin/plugin
 
# ------------------------------------------------------------------------------------
 
# if you want to remove it:
#sudo dpkg -r elasticsearch
 
# binaries & plugin
#/usr/share/elasticsearch/bin
 
# log dir
#/var/log/elasticsearch
 
# data dir
#/var/lib/elasticsearch
 
# config dir
#/etc/elasticsearch
 
# prepare ElasticSearch UI
#sudo apt-get install apache2
#sudo mkdir /var/www/ui
#sudo chown -R ubuntu.www-data /var/www
# now copy ES-HEAD to /var/www/ui

Elasticsearch 5.x.x - 6.x.x

Anonymous (anonymous@undisclosed.example.com) — 2019-07-15T19:14:36+00:00

search, indexer, elasticsearch, indexer

Elasticsearch 5.x.x - 6.x.x

nano ~/elasticsearch-install.sh

#!/usr/bin/sh
 
VERSION=5.6.4
es_memory='4g'
 
apt-get install openjdk-8-jdk
rm /etc/alternatives/java
ln -s /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java /etc/alternatives/java
 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
 
if [ ! -f elasticsearch-$VERSION.deb ]; then
  wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-$VERSION.deb  
fi
 
sudo dpkg -i elasticsearch-$VERSION.deb
 
# be sure you add "action.disable_delete_all_indices" : true to the config!!
 
info "Configuring ElasticSearch 5"
 
sed -i "/LimitFSIZE=infinity/a LimitMEMLOCK=infinity" /usr/lib/systemd/system/elasticsearch.service
sed -i "s/#bootstrap.memory_lock: true/bootstrap.memory_lock: true/" /etc/elasticsearch/elasticsearch.yml
sed -i "s/#MAX_LOCKED_MEMORY=unlimited/MAX_LOCKED_MEMORY=unlimited/" /etc/default/elasticsearch
sed -i "s/-Xms2g/-Xms$es_memory/" /etc/elasticsearch/jvm.options
sed -i "s/-Xmx2g/-Xmx$es_memory/" /etc/elasticsearch/jvm.options
 
# enabled
/lib/systemd/systemd-sysv-install enable elasticsearch
 
# start script
sudo /etc/init.d/elasticsearch restart
 
if [ -f /usr/bin/plugin ]; then
  rm /usr/bin/plugin
fi
 
rm /usr/bin/plugin
sudo ln -s /usr/share/elasticsearch/bin/plugin /usr/bin/plugin
 
# ------------------------------------------------------------------------------------
 
# if you want to remove it:
#sudo dpkg -r elasticsearch
 
# binaries & plugin
#/usr/share/elasticsearch/bin
 
# log dir
#/var/log/elasticsearch
 
# data dir
#/var/lib/elasticsearch
 
# config dir
#/etc/elasticsearch
 
# prepare ElasticSearch UI
#sudo apt-get install apache2
#sudo mkdir /var/www/ui
#sudo chown -R ubuntu.www-data /var/www
# now copy ES-HEAD to /var/www/ui

Архивация и восстановление / Dump && Restore

Anonymous (anonymous@undisclosed.example.com) — 2019-07-15T19:16:00+00:00

search, indexer, elasticsearch, indexer

Архивация и восстановление / Dump && Restore

Создание дампа / Dump create

English: https://gist.github.com/lucidlibrary/188d6ff895e56c83dea3

Добавляем путь до сохранения снапшотов в конфигурационный файл

nano /usr/local/etc/elasticsearch/elasticsearch.yml

path.repo: ["/usr/local/var/elasticsearch/snapshot"]

Регистрация

$ curl -XPUT 'http://localhost:9200/_snapshot/backup' -d '{
    "type": "fs",
    "settings": {
        "location": "/usr/local/var/elasticsearch/snapshot",
        "compress": true
    }
}'

где:
- backup - название репозитория
- /usr/local/var/elasticsearch/snapshot - папка с содержанием самого репозитория

Проверка регистрации

$ curl -XGET "http://localhost:9200/_snapshot/_all?pretty"

ответ от elasticsearch

{
  "backup" : {
    "type" : "fs",
    "settings" : {
      "compress" : "true",
      "location" : "/usr/local/var/elasticsearch/snapshot/backup"
    }
  }
}

Проверка целостности

$ curl -XPOST "http://localhost:9200/_snapshot/backup/_verify

ответ от elasticsearch

{"nodes":{"zKsDO_G3SlCdbLlhVmgLKA":{"name":"Vapor"}}}

Создание snapshot / Backup

$ curl -XPUT "http://localhost:9200/_snapshot/backup/my_index/?wait_for_completion=true"

Где my_index является существующим индексом.

Проверить наличие инднеса можно командой

$ curl --silent -XGET  "http://localhost:9200/_stats?pretty"|grep my_index

Удаление регистрации репозитория

$ curl -XDELETE 'http://localhost:9200/_snapshot/backup'

Восстановление / Restore

English: https://gist.github.com/lucidlibrary/188d6ff895e56c83dea3

Архивация и восстановление / Dump && Restore

Настройка

Если ранее небыл зарегистрирован.

$ curl -XPUT 'http://localhost:9200/_snapshot/_restore?wait_for_completion=true' -d '{
    "type": "fs",
    "settings": {
        "location": "/usr/local/var/elasticsearch/snapshot",
        "compress": true
    }
}'

где:
- backup - название репозитория
- /usr/local/var/elasticsearch/snapshot - папка с содержанием самого репозитория

Проверка

$ curl -XPOST http://localhost:9200/_snapshot/backup/_verify?pretty

Восстановление

$ curl -XPOST http://localhost:9200/_snapshot/backup/_restore?pretty

Filebeat

Anonymous (anonymous@undisclosed.example.com) — 2018-09-20T13:59:17+00:00

Filebeat

Собирает из разных источников фалы логов и перенаправляет их в logstash.

Установка

$ sudo apt-get install apt-transport-https
$ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
$ echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
$ sudo apt-get update && sudo apt-get install filebeat

Data types - Типы данных индеса

Anonymous (anonymous@undisclosed.example.com) — 2018-01-20T14:56:45+00:00

search, indexer, elasticsearch, indexer

Data types - Типы данных индеса

Core datatypes

string - text and keyword
[number] - long, integer, short, byte, double, float, half_float, scaled_float
[date] - date
[boolean] - boolean
[binary] - binary
[range] - integer_range, float_range, long_range, double_range, date_range

text - Эти поля предварительно обрабатываются анализатором для преобразования строки в список отдельных терминов.
keyword - Поля ключевых слов доступны только по их точному значению.

Complex datatypes

[array] - Array support does not require a dedicated type
[object] - object for single JSON objects
[nested] - nested for arrays of JSON objects

Geo datatypes

[geo-point] - geo_point for lat/lon points
[geo-shape] - geo_shape for complex shapes like polygons

Specialised datatypes

[ip] - ip for IPv4 and IPv6 addresses
Completion datatype - completion to provide auto-complete suggestions
[token-count] - token_count to count the number of tokens in a string
{plugins}/mapper-murmur3.html[mapper-murmur3]
murmur3 to compute hashes of values at index-time and store them in the index
[percolator] - Accepts queries from the query-dsl
[parent-join] - Defines parent/child relation for documents within the same index

Multi-fields

It is often useful to index the same field in different ways for different purposes. For instance, a string field could be mapped as a text field for full-text search, and as a keyword field for sorting or aggregations. Alternatively, you could index a text field with the standard analyzer, the english analyzer, and the french analyzer.

This is the purpose of multi-fields. Most datatypes support multi-fields via the Multi-fields parameter.

types/array.asciidoc

types/binary.asciidoc

types/range.asciidoc

types/boolean.asciidoc

types/date.asciidoc

types/geo-point.asciidoc

types/geo-shape.asciidoc

types/ip.asciidoc

types/keyword.asciidoc

types/nested.asciidoc

types/numeric.asciidoc

types/object.asciidoc

types/text.asciidoc

types/token-count.asciidoc

types/percolator.asciidoc

types/parent-join.asciidoc

Kibana

Anonymous (anonymous@undisclosed.example.com) — 2018-10-17T01:59:19+00:00

kibana, elasticsearch, logging

Kibana

Это веб-интерфейс для вывода индексированных Elasticsearch логов. Результатом может быть не только текстовая информация, но и, что удобно, диаграммы и графики. Он может визуализировать геоданные, строить отчеты, при установке X-Pack становятся доступными алерты. Здесь уже каждый подстраивает интерфейс под свои задачи.

Установка

64 bit

$ wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.12-amd64.deb

32 bit

$ wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.12-i386.deb

Запуск в качестве сервера

SysV

$ sudo update-rc.d kibana defaults 95 10
$ sudo -i service kibana start
$ sudo -i service kibana stop

SystemD

$ sudo /bin/systemctl daemon-reload
$ sudo /bin/systemctl enable kibana.service
$ sudo systemctl start kibana.service
$ sudo systemctl stop kibana.service

Настройка

/etc/kibana/kibana.yml

Nginx proxy

location ~ (|/app/kibana|/bundles/|/status|/plugins|/elasticsearch/|)  {
    proxy_pass http://127.0.0.1:5601;
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
    proxy_set_header Host $host;
    rewrite /(.*)$ /$1 break;
}

Logstash

Anonymous (anonymous@undisclosed.example.com) — 2018-09-20T03:04:52+00:00

Logstash

Mapping

Anonymous (anonymous@undisclosed.example.com) — 2018-01-29T10:47:24+00:00

search, indexer, elasticsearch, indexer

Mapping

$ curl -XPUT 'http://localhost:9200/twitter/tweet/_mapping' -d '{
    "tweet" : {
        "_source" : {"enabled" : false},
        "properties" : {
            "user" : {"type" : "string", "index" : "not_analyzed"},
            "message" : {"type" : "string", "null_value" : "na", "store": true},
            "postDate" : {"type" : "date"},
            "priority" : {"type" : "integer"},
            "rank" : {"type" : "float", "index_name" : "rating"}
        }
    }
}'

Конфигурация / Config

Базовые типы данных

Примечание: По умолчанию "_source" : {"enabled" : true} и весь документ хранится в индексе в исходном состояние и возвращается по запросу. И это работает быстрее, чем хранить в индексе отдельные поля, при условии, что ваш документ не огромен. Тогда хранение только необходимых полей может дать профит. Поэтому я не рекомендую трогать это поле без веской на то причины.

"_source" : {"enabled" : false} — Тем самым мы указали, что хранить исходные данные для этого типа не нужно. Когда это может понадобится? Например у вас есть очень тяжелый документ с кучей информации, которую нужно только индексировать, но не нужно выводить в ответе
"store": true для поля message говорит о том, что это исходник поля необходимо сохранять в индексе
"index" : "not_analyzed" — тут мы указали, что это поле не должно анализироваться, т.е. должно хранится как есть. Какие бывают анализаторы
"null_value" : "na" — дефолтное значение для поля
"index_name" : "rating" — тут мы указали алиас для поля. Теперь мы можем обращаться к нему как к «rank» так и к «rating»

Типы array/object/nested

Nested(вложенный) type

Подробнее о типе можно узнать из документации Nested datatype

Document

{
    "obj1" : [
        {
            "name" : "blue",
            "count" : 4
        },
        {
            "name" : "green",
            "count" : 6
        }
    ]
}

Если мы будем искать name = blue && count>5 то этот документ будет найден, что бы избежать такого сценария, стоит использовать nested тип.

mappig

{
    "type1" : {
        "properties" : {
            "obj1" : {
                "type" : "nested",
                "properties": {
                    "name" : {"type": "string", "index": "not_analyzed"},
                    "count" : {"type": "integer"}
                }
            }
        }
    }
}

Для поиска по nested типу следует использовать nested query или nested filter.

Multi-fields

Этот параметр позволяет указать разные настройки маппинга для одного поля. Добавлен ко все базовым типам (кроме nested и object).

"title": {
    "type": "string",
    "fields": {
        "raw":   { "type": "string", "index": "not_analyzed" }
    }
}

Если отключить анализатор, поиск будет работать не на полную катушку, а если включить, то группировать мы будем не по сырым данным, а по обработанным. Например, Санкт-Петербург после анализатора будет «Санкт» и «Петербург». Теперь мы можем обращаться к «title» за поиском и к «raw» за группировкой и любыми другими видами сортировки.

Остальные типы

ip type — хранение ip в виде цифр
geo point type — хранение координат (удобно при поиске ближайших объектов к определённой координате)
geo point type — довольно специфичный тип для хранение определённых полигонов
attachment type — Хранение файлов в базе закодированных в base64. Обычно используется с связке с собственным анализатором. (Хотя как по мне, удовольствие сомнительное)

Elasticsearch plugins

Anonymous (anonymous@undisclosed.example.com) — 2017-08-30T02:36:32+00:00

elasticsearch, plugins

Elasticsearch plugins

kopf

elasticsearch	version branch	latest version
0.90.X	0.90	v0.90
1.X	1.0	v1.6.1
2.X	2.0	v2.1.1

$ plugin install lmenezes/elasticsearch-kopf/{branch|version}

https://github.com/lmenezes/elasticsearch-kopf

elasticsearch-inquisitor

$ plugin install polyfractal/elasticsearch-inquisitor

https://github.com/polyfractal/elasticsearch-inquisitor

elasticsearch-HQ

$ plugin install royrusso/elasticsearch-HQ

http://localhost:9200/_plugin/hq/

elasticsearch-head

$ plugin install mobz/elasticsearch-head

Клиент для выполнения базовых операций https://mobz.github.io/elasticsearch-head/

http://localhost:9200/_plugin/head

elasticsearch-gui

$ plugin install jettro/elasticsearch-gui

http://localhost:9200/_plugin/gui

elasticsearch-analysis-icu - ICU Analysis for Elasticsearch 17

$ plugin install elasticsearch/elasticsearch-analysis-icu/2.7.0

https://github.com/elastic/elasticsearch-analysis-icu

elasticsearch-analysis-morphology - Morphological Analysis Plugin for ElasticSearch

Пример использования в запросе: Morphological Analysis Plugin for ElasticSearch - Пример использования

ElasticSearch 17

$ plugin install analysis-morphology -url http://dl.bintray.com/content/imotov/elasticsearch-plugins/org/elasticsearch/elasticsearch-analysis-morphology/1.2.1/elasticsearch-analysis-morphology-1.2.1.zip

https://github.com/imotov/elasticsearch-analysis-morphology

ElasticSearch 2.3.1

$ plugin install http://dl.bintray.com/content/imotov/elasticsearch-plugins/org/elasticsearch/elasticsearch-analysis-morphology/2.3.1/elasticsearch-analysis-morphology-2.3.1.zip

https://github.com/imotov/elasticsearch-analysis-morphology

elasticsearch-mapper-attachments - Mapper Attachments Type for Elasticsearch

$ plugin install elasticsearch/elasticsearch-mapper-attachments/3.1.2

https://github.com/elastic/elasticsearch-mapper-attachments

elasticsearch-action-updatebyquery

$ plugin install com.yakaz.elasticsearch.plugins/elasticsearch-action-updatebyquery/2.6.0

https://github.com/yakaz/elasticsearch-action-updatebyquery

|Update By Query Action Plugin  | ElasticSearch          |
├───────────────────────────────┼────────────────────────┤
│                               │ 2.0.0-beta1            │
├───────────────────────────────┼────────────────────────┤
│ 2.6.0                         │ 1.6.0 ─► (1.7.4)       │
├───────────────────────────────┼────────────────────────┤
│ 2.5.x                         │ 1.5.0 ─► (1.5.2)       │
├───────────────────────────────┼────────────────────────┤
│ 2.4.0                         │ 1.4.0 ─► (1.4.5)       │
├───────────────────────────────┼────────────────────────┤
│ 2.3.0                         │ 1.4.0.Beta1            │
├───────────────────────────────┼────────────────────────┤
│ 2.2.0                         │ 1.3.0 ─► (1.3.8)       │
├───────────────────────────────┼────────────────────────┤
│ 2.1.1                         │ 1.2.3                  │
├───────────────────────────────┼────────────────────────┤
│ 2.1.0                         │ 1.2.0 ─► 1.2.2         │
├───────────────────────────────┼────────────────────────┤
│ 2.0.x                         │ 1.1.0 ─► 1.1.2         │
├───────────────────────────────┼────────────────────────┤
│ 1.6.x                         │ 1.0.0 ─► 1.0.2         │
├───────────────────────────────┼────────────────────────┤
│ 1.5.x                         │ 1.0.0.Beta1            │
├───────────────────────────────┼────────────────────────┤
│ 1.4.x                         │ 0.90.10 ─► (0.90.13)   │
├───────────────────────────────┼────────────────────────┤
│ 1.4.0                         │ 0.90.6 ─► 0.90.9       │
├───────────────────────────────┼────────────────────────┤
│ 1.3.x                         │ 0.90.4 ─► 0.90.5       │
├───────────────────────────────┼────────────────────────┤
│ 1.2.x                         │ 0.90.3                 │
├───────────────────────────────┼────────────────────────┤
│ 1.1.x                         │ 0.90.0.beta1 ─► 0.90.2 │
├───────────────────────────────┼────────────────────────┤
│ 1.0.x                         │ 0.20.0 ─► 0.20.4       │
└───────────────────────────────┴────────────────────────┘

Requests

Anonymous (anonymous@undisclosed.example.com) — 2019-07-15T19:51:39+00:00

search, indexer, elasticsearch, indexer

Requests

~~stoggle_buttons~~ ~~stoggle_openDIV~~ ~~stoggle_closeDIV~~

PUT /_snapshot/backup
{
    "type": "fs",
    "settings": {
        "location": "/var/backups/elasticsearch/snapshot",
        "compress": true
    }
}

GET /_snapshot/_all?pretty"

PUT /_snapshot/backup/es_index_products/?wait_for_completion=true

PUT /_snapshot/backup/es_index_lot/?wait_for_completion=true

GET /es_index_products/products/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "brand.id": 129
          }
        }
      ]
    }
  },
  "aggs": {
    "brands_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "brand.id"
      }
    },
    "lots_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "lots"
      }
    },
    "users_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "attributes.user_id"
      }
    }     
  }
}

GET /es_index_lots/lots/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "brand.id": 129
          }
        }
      ]
    }
  },
  "aggs": {
    "1_brand.id_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "brand.id"
      }
    }
  }
}

GET /es_index_products/products/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match_all": {}
        },
        {
          "terms": {
            "categories.id": "1"
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "categories"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "categories"
                      }
                    },
                    {
                      "term": {
                        "categories.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "brand"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "brand"
                      }
                    },
                    {
                      "term": {
                        "brand.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "model"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "model"
                      }
                    },
                    {
                      "term": {
                        "model.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "terms": {
            "product_collections": [
              "1"
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "nested": {
                  "path": "string_facet",
                  "query": {
                    "bool": {
                      "filter": [
                        {
                          "term": {
                            "string_facet.facet_name": {
                              "value": "diameter",
                              "boost": 1
                            }
                          }
                        },
                        {
                          "term": {
                            "string_facet.facet_value": {
                              "value": "66",
                              "boost": 1
                            }
                          }
                        }
                      ]
                    }
                  }
                }
              },
              {
                "nested": {
                  "path": "string_facet",
                  "query": {
                    "bool": {
                      "filter": [
                        {
                          "term": {
                            "string_facet.facet_name": {
                              "value": "diameter",
                              "boost": 1
                            }
                          }
                        },
                        {
                          "term": {
                            "string_facet.facet_value": {
                              "value": "71",
                              "boost": 1
                            }
                          }
                        }
                      ]
                    }
                  }
                }
              },
              {
                "nested": {
                  "path": "string_facet",
                  "query": {
                    "bool": {
                      "filter": [
                        {
                          "term": {
                            "string_facet.facet_name": {
                              "value": "diameter",
                              "boost": 1
                            }
                          }
                        },
                        {
                          "term": {
                            "string_facet.facet_value": {
                              "value": "73",
                              "boost": 1
                            }
                          }
                        }
                      ]
                    }
                  }
                }
              }
            ]
          }
        },
        {
          "term": {
            "attributes.product_status_id": 1
          }
        }
      ]
    }
  },
  "aggs": {
    "0_categories.id_filter_agg": {
      "filter": {
        "terms": {
          "categories.id": "1"
        }
      },
      "aggs": {
        "categories.id_terms_agg": {
          "terms": {
            "size": 10000,
            "field": "categories.id"
          }
        }
      }
    },
    "1_brand.id_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "brand.id"
      }
    },
    "2_model.id_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "model.id"
      }
    },
    "3_product_collections_filter_agg": {
      "filter": {
        "terms": {
          "product_collections": [
            "1"
          ]
        }
      },
      "aggs": {
        "product_collections_terms_agg": {
          "terms": {
            "size": 10000,
            "field": "product_collections"
          }
        }
      }
    },
    "4_in_stock_terms_agg": {
      "terms": {
        "script": {
          "source": "doc['lots'].values.size() > 0",
          "lang": "painless"
        },
        "size": 10000
      }
    },
    "5_string_facet_nested_agg": {
      "nested": {
        "path": "string_facet"
      },
      "aggs": {
        "string_facet.facet_name_terms_agg": {
          "terms": {
            "size": 10000,
            "field": "string_facet.facet_name"
          },
          "aggs": {
            "string_facet.facet_value_terms_agg": {
              "terms": {
                "size": 10000,
                "field": "string_facet.facet_value"
              }
            }
          }
        }
      }
    }
  },
  "min_score": 0.5,
  "_source": false
}

GET /es_index_products/products/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "bool": {
            "should": [
              {
                "nested": {
                  "path": "string_facet",
                  "query": {
                    "bool": {
                      "filter": [
                        {
                          "term": {
                            "string_facet.facet_name": {
                              "value": "diameter",
                              "boost": 1
                            }
                          }
                        },
                        {
                          "term": {
                            "string_facet.facet_value": {
                              "value": "53",
                              "boost": 1
                            }
                          }
                        }
                      ]
                    }
                  }
                }
              }
            ]
          }
        }
      ]
    }
  },
  "_source": false
}

GET /es_index_products/products/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "script": {
            "script": {
              "source": "doc['attributes.id'].value == params.id",
              "params": {
                "id": 1
              },
              "lang": "painless"
            }
          }
        },
        {
          "script": {
            "script": {
              "source": "doc['attributes.cat_id'].value == params.cat_id",
              "params": {
                "cat_id": 1
              },
              "lang": "painless"
            }
          }
        }
      ]
    }
  }
}

GET /es_index_products/products/_search
{
  "body": {
    "bool": {
      "must": [
        {
          "script": {
            "script": {
              "source": "doc['attributes.id'].value == params.id",
              "lang": "painless",
              "params": {
                "id": 1
              }
            }
          }
        },
        {
          "script": {
            "script": {
              "source": "doc['attributes.updated_at'].value == params.updated_at",
              "lang": "painless",
              "params": {
                "updated_at": "2016-06-15 08:47:53"
              }
            }
          }
        }
      ]
    }
  }
}

GET /es_index_products/products/_search
{
  "query": {
    "script": {
      "script": {
        "source": "(doc['attributes.id'].value == params.id) && (doc['attributes.cat_id'].value == params.cat_id)",
        "lang": "painless",
        "params": {
          "id": 7609,
          "cat_id": 1
        }
      }
    }
  }
}

GET /es_index_lots/lots/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "product_id": "102"
          }
        }
      ]
    }
  }
}

GET /es_index_products/products/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "categories"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "categories"
                      }
                    },
                    {
                      "term": {
                        "categories.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "brand"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "brand"
                      }
                    },
                    {
                      "term": {
                        "brand.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "model"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "model"
                      }
                    },
                    {
                      "term": {
                        "model.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "term": {
            "product_status_id": 1
          }
        }
      ],
      "must": [
        {
          "match_all": {}
        }
      ]
    }
  },
  "aggs": {
    "0_categories.id_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "categories.id"
      }
    },
    "1_brand.id_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "brand.id"
      }
    },
    "2_model.id_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "model.id"
      }
    },
    "3_product_collections_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "product_collections"
      }
    },
    "4_in_stock_terms_agg": {
      "terms": {
        "script": {
          "source": "doc.lots.values.size() > 0",
          "lang": "painless"
        },
        "size": 10000
      }
    },
    "5_string_facet_nested_agg": {
      "nested": {
        "path": "string_facet"
      },
      "aggs": {
        "string_facet.facet_name_terms_agg": {
          "terms": {
            "size": 10000,
            "field": "string_facet.facet_name"
          },
          "aggs": {
            "string_facet.facet_value_terms_agg": {
              "terms": {
                "size": 10000,
                "field": "string_facet.facet_value"
              }
            }
          }
        }
      }
    }
  },
  "_source": true
}

GET /es_index_products/products/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "categories"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "categories"
                      }
                    },
                    {
                      "term": {
                        "categories.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "brand"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "brand"
                      }
                    },
                    {
                      "term": {
                        "brand.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "model"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "model"
                      }
                    },
                    {
                      "term": {
                        "model.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "nested": {
                  "path": "string_facet",
                  "query": {
                    "bool": {
                      "filter": [
                        {
                          "term": {
                            "string_facet.facet_name": {
                              "value": "diameter",
                              "boost": 1
                            }
                          }
                        },
                        {
                          "term": {
                            "string_facet.facet_value": {
                              "value": "53",
                              "boost": 1
                            }
                          }
                        }
                      ]
                    }
                  }
                }
              }
            ]
          }
        },
        {
          "term": {
            "product_status_id": 1
          }
        }
      ],
      "must": [
        {
          "match_all": {}
        },
        {
          "terms": {
            "categories.id": [
              "1"
            ]
          }
        }
      ]
    }
  },
  "aggs": {
    "0_categories.id_filter_agg": {
      "filter": {
        "terms": {
          "categories.id": [
            "1"
          ]
        }
      },
      "aggs": {
        "categories.id_terms_agg": {
          "terms": {
            "size": 10000,
            "field": "categories.id"
          }
        }
      }
    },
    "1_brand.id_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "brand.id"
      }
    },
    "2_model.id_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "model.id"
      }
    },
    "3_product_collections_terms_agg": {
      "terms": {
        "size": 10000,
        "field": "product_collections"
      }
    },
    "4_in_stock_terms_agg": {
      "terms": {
        "script": {
          "source": "doc.lots.values.size() > 0",
          "lang": "painless"
        },
        "size": 10000
      }
    },
    "5_string_facet_nested_agg": {
      "nested": {
        "path": "string_facet"
      },
      "aggs": {
        "string_facet.facet_name_terms_agg": {
          "terms": {
            "size": 10000,
            "field": "string_facet.facet_name"
          },
          "aggs": {
            "string_facet.facet_value_terms_agg": {
              "terms": {
                "size": 10000,
                "field": "string_facet.facet_value"
              }
            }
          }
        }
      }
    }
  },
  "_source": false
}

GET /es_index_products/products/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "categories"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "categories"
                      }
                    },
                    {
                      "term": {
                        "categories.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "brand"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "brand"
                      }
                    },
                    {
                      "term": {
                        "brand.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "model"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "model"
                      }
                    },
                    {
                      "term": {
                        "model.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "nested": {
                  "path": "string_facet",
                  "query": {
                    "bool": {
                      "filter": [
                        {
                          "term": {
                            "string_facet.facet_name": {
                              "value": "diameter",
                              "boost": 1
                            }
                          }
                        },
                        {
                          "term": {
                            "string_facet.facet_value": {
                              "value": "53",
                              "boost": 1
                            }
                          }
                        }
                      ]
                    }
                  }
                }
              }
            ]
          }
        },
        {
          "term": {
            "product_status_id": 1
          }
        }
      ],
      "must": [
        {
          "match_all": {}
        }
      ]
    }
  },
  "_source": false
}

GET _search
{
  "query": {
    "match_all": {}
  }
}

GET /es_index_products/products/_search
{
  "query": {
    "match_all": {}
  }
}

GET /es_index_lots/lots/_search
{
  "query": {
    "match_all": {}
  }
}

GET /es_index_products/products/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "categories"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "categories"
                      }
                    },
                    {
                      "term": {
                        "categories.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "brand"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "brand"
                      }
                    },
                    {
                      "term": {
                        "brand.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "bool": {
            "should": [
              {
                "bool": {
                  "must_not": {
                    "exists": {
                      "field": "model"
                    }
                  }
                }
              },
              {
                "bool": {
                  "must": [
                    {
                      "exists": {
                        "field": "model"
                      }
                    },
                    {
                      "term": {
                        "model.enabled": 1
                      }
                    }
                  ]
                }
              }
            ]
          }
        },
        {
          "term": {
            "product_status_id": 1
          }
        },
        {
          "script": {
            "script": {
              "source": "doc.product_collections.values.size() > 0",
              "lang": "painless"
            }
          }
        }
      ],
      "must": [
        {
          "bool": {
            "should": [
              {
                "multi_match": {
                  "query": "rolex",
                  "type": "cross_fields",
                  "fields": [
                    "product_model_ref^100",
                    "model.name^30",
                    "brand.name^15",
                    "brand.aliases^15",
                    "categories.name^20"
                  ],
                  "operator": "and",
                  "boost": 1
                }
              },
              {
                "multi_match": {
                  "query": "rolex",
                  "type": "cross_fields",
                  "fields": [
                    "product_model_ref^100",
                    "model.name^30",
                    "brand.name^15",
                    "brand.aliases^15",
                    "categories.name^20"
                  ],
                  "operator": "and",
                  "boost": 1
                }
              },
              {
                "multi_match": {
                  "query": "rolex",
                  "type": "cross_fields",
                  "fields": [
                    "product_model_ref^100",
                    "model.name^30",
                    "brand.name^15",
                    "brand.aliases^15",
                    "categories.name^20"
                  ],
                  "operator": "and",
                  "boost": 1
                }
              }
            ]
          }
        }
      ]
    }
  },
  "size": 1,
  "_source": "*",
  "sort": [
    {
      "_uid": {
        "order": "asc"
      }
    }
  ]
}

POST /yii-log/_search
{
  "query": {
    "match": {
      "category": {
        "query": "Error",
        "type": "phrase"
      }
    }
  },
  "size": 10,
  "_source": "message",
  "sort": [
    {
      "_uid": {
        "order": "asc"
      }
    }
  ]  
}

POST /yii-log/_search
{
  "query": {
    "match": {
      "category": {
        "query": "yii\\debug\\Module::checkAccess",
        "type": "phrase"
      }
    }
  },
  "size": 1,
  "_source": "*",
  "sort": [
    {
      "_uid": {
        "order": "asc"
      }
    }
  ]  
}

POST /yii-log/_search
{
  "query": {
    "match": {
      "category": {
        "query": "yii\\web\\HttpException:404",
        "type": "phrase"
      }
    }
  },
  "size": 1,
  "_source": "*",
  "sort": [
    {
      "_uid": {
        "order": "asc"
      }
    }
  ]  
}

Elasticsearch SDL

Anonymous (anonymous@undisclosed.example.com) — 2016-05-15T15:45:47+00:00

Elasticsearch SDL

Query SDL

query - {}
- match_all -{}
- match_phrase {} - Совпадение фразы
- match_phrase_prefix - {}
- match -{}
- term - {}
- bool - {}
  - must - []
    - match - {}
  - should - []
    - match - {}
  - must_not - []
    - match - {}
from - Параметр from задаёт с какого документа в индексе нужно начинать.
size - Параметр size как много документов будет возвращено.
sort - { "balance": { "order": "desc" } }
_source - Параметр получает массив полей, которые необходимо вернуть. ["account_number", "balance"]

Подробнее...