заметки об администрировании и программировании (python, ruby, php). Траблшутинг в «примерах» и HOWTO.

😎 О себе | 📚 Литература и ресурсы | ⚡ Все посты | 📮 E-mail
8 заметок с тегом

ELK

Elasticsearch: перенос данных на другой диск системы

Elasticsearch: перенос данных на другой диск системы Ubuntu 16.04 / Ubuntu 18.04 / Ubuntu 20.04

Так как на основном разделе диска закончилось дисковое пространство, а в системе был второй диск был выполнен перенос данных из директории Elasticsearch в не стандартную. Для этого выполнены следующие шаги:

  1. Остановлены сервисы ELK-стека:

sudo systemctl stop elasticsearch.service kibana.service logstash.service


  1. Подмонтирован диск и создана партиция (описывать не буду, но если требуется — напишу)
  1. Директория для сохранения данных /srv/elastic_data создана и подправлены права

sudo mkdir /srv/elastic_data/
sudo mkdir /srv/elastic_data/logs/
sudo chown elasticsearch.elasticsearch /srv/elastic_data/


  1. Данные скопированы в /srv/elastic_data

cp -r --preserve=all /var/lib/elasticsearch/ /srv/elastic_data/


  1. В конфиге изменена директория для данных и логов

sudo vim /etc/elasticsearch/elasticsearch.yml


Правка следующая:


path.data: /srv/elastic_data/elasticsearch
path.logs: /srv/elastic_data/elasticsearch/logs


После поочередно запускаем сервисы — я начал с Elasticsearch и через минут 5 запустил остальное, убедившись, что система заработала


sudo systemctl start elasticsearch.service
sudo systemctl start kibana.service
sudo systemctl start logstash.service


 Нет комментариев    14   13 дн   disk   Elasticsearch   ELK

Helm: Установка Elasticsearch + Kibana v7.3.2

Заметка как быстро засетапить стек Elasticsearch + Kibana v7.3.2. Сразу есть некоторые нюансы — сетапится в дефолтный namespace


helm repo add elastic https://helm.elastic.co
helm update


Установка Elasticsearch v7.3.2


helm install elastic/elasticsearch --namespace default --name elasticsearch --set imageTag=7.3.2 --set replicas=1 --set esMajorVersion=7 --set resources.requests.memory=1Gi --set volumeClaimTemplate.storageClassName=standard --set volumeClaimTemplate.resources.requests.storage=10Gi


Установка Kibana v7.3.2


helm install elastic/kibana --namespace default --name kibana --set imageTag=7.3.2,elasticsearch.hosts=http://elasticsearch-master.default.svc.cluster.local:9200


Сразу все не завелось, поэтому я смотрел статус и логи. Проблема была в том, что я указал elasticsearch.url, при установке Elasticsearch v7, где он был заменен на elasticsearch.hosts

Падало оно с ошибкой Readiness probe failed:


kubectl logs kibana-kibana-7754c47b67-vxc8q



kubectl describe po kibana-kibana-7754c47b67-vxc8q


После корректировки сетапа ошибка повторилась, но сервис запустился
Далее для проверки я пробросил порт на локальную машину


kubectl port-forward kibana-kibana-7754c47b67-vxc8q 5601:5601


 Нет комментариев    95   2 мес   Elasticsearch   ELK   Helm   kibana   kubectl   Kubernetes
 Нет комментариев    54   3 мес   Elasticsearch   ELK   plugin

Elasticsearch 7 & Kibana 7: изменения

Elasticsearch 7
discovery.type: single-node
узел выберет себя ведущим и не присоединится к кластеру

Kibana:

elasticsearch.url -> elasticsearch.hosts

 Нет комментариев    92   5 мес   Elasticsearch   ELK   kibana

Ротация индектов Elasticsearch — утилита curator Ubuntu 19.04/18.04/16.04

Ротация индектов Elasticsearch - утилита curator Ubuntu 19.04/18.04/16.04

Была поставлена задача — произвести ротацию старых индексов у Elasticsearch, т.к старые индексы не несут пользы и занимают достаточно много места. После недолгих поисков выбор пал на утилиту curator
Подробнее можно найти на сайте elastic.co

Устанавливаем утилиту как pip-пакет
Сперва проверяем, установлен ли pip


sudo apt-get install python-pip


Установка утилиты


sudo pip install elasticsearch-curator


Для Ubuntu 12.04 — 16.04 LTS


wget https://packages.elastic.co/curator/5/debian/pool/main/e/elasticsearch-curator/elasticsearch-curator_5.7.5_amd64.deb

sudo dpkg -i elasticsearch-curator_5.7.5_amd64.deb


Для Ubuntu 18.04 LTS и новее


https://packages.elastic.co/curator/5/debian9/pool/main/e/elasticsearch-curator/elasticsearch-curator_5.7.5_amd64.deb

sudo dpkg -i elasticsearch-curator_5.7.5_amd64.deb


Примеры конфигурационных файлов. Для  curator.yml обращаем внимание на hosts — указываем сервер elasticsearch, port — порт тоже

curator.yml


---
client:
  hosts:
    - 127.0.0.1
  port: 9200
  url_prefix:
  use_ssl: False
  certificate:
  client_cert:
  client_key:
  ssl_no_validate: False
  http_auth:
  timeout: 30
  master_only: False

logging:
  loglevel: INFO
  logfile:
  logformat: default
  blacklist: ['elasticsearch', 'urllib3']


Для delete_indices.yml, с помощью которого удаляем нужные индексы, обращаем внимание на value — название индекса, timestring — форматы даты, который используется при ротации, unit и unit_count — период для ротации.

delete_indices.yml


---
actions:
  1:
    action: delete_indices
    description: >-
      Delete indices older than 20 days (based on index name
    options:
      ignore_empty_list: False
      timeout_override:
      continue_if_exception: False
      disable_action: False
    filters:
    - filtertype: pattern
      kind: prefix
      value: packetbeat-6.5.4-
      exclude:
    - filtertype: age
      source: name
      direction: older
      timestring: '%Y.%m.%d'
      unit: days
      unit_count: 20
      exclude:


Пример команды для запуска, для тестового запуска указываем —dry-run


sudo curator --config ~/curator.yml --dry-run ~/delete_indices.yml


ну или боевой запуск


sudo curator --config ~/curator.yml ~/delete_indices.yml


При необходимости указываем выполнение через crontab

Источники:
http://robwillis.info/2017/11/elk-stack-installing-and-configuring-curator/
https://anotheritguy.com/index.php/2018/08/install-configure-elastic-curator-for-index-management/
http://www.madhur.co.in/blog/2017/04/09/usingcuratordeleteelasticindex.html

 Нет комментариев    257   6 мес   crontab   curator   deb   Elasticsearch   ELK   index   pip   Ubuntu   Ubuntu 18.04
 Нет комментариев    65   7 мес   Elasticsearch   ELK   kibana
Ранее Ctrl + ↓