заметки об администрировании и python. Траблшутинг в «примерах» и HOWTO.

😎 О себе | 📚 Литература и ресурсы | ⚡ Все посты | 📮 E-mail
9 заметок с тегом

Elasticsearch

Elasticsearch: Validation Failed: 1: this action would add [2] total shards, but this cluster currently has [1000]/[1000] maximum shards open;

При возникновении данной ошибки в логах Elasticsearch, а именно достижении лимита шардов, перестают создаваться новые индексы. Для решения данной проблемы было принято решение изменить количество шардов.


curl -u USER:PASSWD -X PUT localhost:9200/_cluster/settings -H "Content-Type: application/json" -d '{ "persistent": { "cluster.max_shards_per_node": "3000" } }'
{"acknowledged":true,"persistent":{"cluster":{"max_shards_per_node":"3000"}},"transient":{}}

Где cluster.max_shards_per_node устанавливаем количество шардов

 Нет комментариев    143   4 мес   Elasticsearch

Elasticsearch: не запускается сервис после включения xpack

Elasticsearch: не запускается сервис после включения xpack

Столкнулся со следующей проблемой — в кластере, после включения xpack

xpack.security.enabled: true

не стартовал сервис. Ответом на проблему было то, что в production режиме (кластере) в обязательном порядке требуется включение параметров для шифрования трафика между нодами, т. е. использовать такой конфиг


xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elasticsearch_ca.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/config/cert/elasticsearch_cert.p12

https://discuss.elastic.co/t/setting-xpack-security-enabled-true/182791
https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html#_development_vs_production_mode

 Нет комментариев    103   8 мес   cluster   Elasticsearch   xpack

Elasticsearch: перенос данных на другой диск системы

Elasticsearch: перенос данных на другой диск системы Ubuntu 16.04 / Ubuntu 18.04 / Ubuntu 20.04

Так как на основном разделе диска закончилось дисковое пространство, а в системе был второй диск был выполнен перенос данных из директории Elasticsearch в не стандартную. Для этого выполнены следующие шаги:

  1. Остановлены сервисы ELK-стека:

sudo systemctl stop elasticsearch.service kibana.service logstash.service


  1. Подмонтирован диск и создана партиция (описывать не буду, но если требуется — напишу)
  1. Директория для сохранения данных /srv/elastic_data создана и подправлены права

sudo mkdir /srv/elastic_data/
sudo mkdir /srv/elastic_data/logs/
sudo chown elasticsearch.elasticsearch /srv/elastic_data/


  1. Данные скопированы в /srv/elastic_data

cp -r --preserve=all /var/lib/elasticsearch/ /srv/elastic_data/


  1. В конфиге изменена директория для данных и логов

sudo vim /etc/elasticsearch/elasticsearch.yml


Правка следующая:


path.data: /srv/elastic_data/elasticsearch
path.logs: /srv/elastic_data/elasticsearch/logs


После поочередно запускаем сервисы — я начал с Elasticsearch и через минут 5 запустил остальное, убедившись, что система заработала


sudo systemctl start elasticsearch.service
sudo systemctl start kibana.service
sudo systemctl start logstash.service


 Нет комментариев    347   1 год   disk   Elasticsearch   ELK

Helm: Установка Elasticsearch + Kibana v7.3.2

Заметка как быстро засетапить стек Elasticsearch + Kibana v7.3.2. Сразу есть некоторые нюансы — сетапится в дефолтный namespace


helm repo add elastic https://helm.elastic.co
helm update


Установка Elasticsearch v7.3.2


helm install elastic/elasticsearch --namespace default --name elasticsearch --set imageTag=7.3.2 --set replicas=1 --set esMajorVersion=7 --set resources.requests.memory=1Gi --set volumeClaimTemplate.storageClassName=standard --set volumeClaimTemplate.resources.requests.storage=10Gi


Установка Kibana v7.3.2


helm install elastic/kibana --namespace default --name kibana --set imageTag=7.3.2,elasticsearch.hosts=http://elasticsearch-master.default.svc.cluster.local:9200


Сразу все не завелось, поэтому я смотрел статус и логи. Проблема была в том, что я указал elasticsearch.url, при установке Elasticsearch v7, где он был заменен на elasticsearch.hosts

Падало оно с ошибкой Readiness probe failed:


kubectl logs kibana-kibana-7754c47b67-vxc8q



kubectl describe po kibana-kibana-7754c47b67-vxc8q


После корректировки сетапа ошибка повторилась, но сервис запустился
Далее для проверки я пробросил порт на локальную машину


kubectl port-forward kibana-kibana-7754c47b67-vxc8q 5601:5601


 Нет комментариев    422   2019   Elasticsearch   ELK   Helm   kibana   kubectl   Kubernetes
 Нет комментариев    155   2019   Elasticsearch   ELK   plugin

Elasticsearch 7 & Kibana 7: изменения

Elasticsearch 7
discovery.type: single-node
узел выберет себя ведущим и не присоединится к кластеру

Kibana:

elasticsearch.url -> elasticsearch.hosts

 Нет комментариев    254   2019   Elasticsearch   ELK   kibana
Ранее Ctrl + ↓