Elasticsearch & Kibana & Logstash kurulum ve log takibi

Selamlar;

Uzun zamandır paylaşımda bulunmamıştım, elasticsearch ile bu bu duruma son veriyorum. İlk olarak elasticsearch hakkında kısa bir bilgi vererek anlatıma başlıyorum.

Elasticsearch Lucene tabanlı bir arama motorudur. HTTP web arayüzü ve şema içermeyen JSON belgeleri barındıran, çok kanallı, dağıtık, metin bazlı, bir arama motoru sağlar. Elasticsearch Java'da geliştirilmiş ve Apache Lisansı koşulları altında açık kaynak olarak piyasaya sürülmüştür.

Daha fazla bilgi için : https://en.wikipedia.org/wiki/Elasticsearch

Giriş kısmını yaptıktan sonra hızlıca kurulum adımlarına geçiyorum. Kurulum; Ubuntu 16.10 x86_64 işletim sistemi üzerine "deb" paket ile yapılmıştır.

Elasticsearch kurulum:

https://www.elastic.co/ adresini bir browserda görüntüledikten sonra sağ üst köşede bulunan "downloads" linkine tıklayarak indirilebilir içerik listesine ulaşmalıyız.

İndirilebilir içerik listesinden Elasticsearch olan alandaki "Download" linkine tıklayarak ilerliyoruz.

Açılan ekrandan "DEB" linkine tıklayarak kurulum için gerekli olan elasticsearch deb paketini indirmeliyiz.

"sudo dpkg -i elasticsearch-5.3.1.deb " komutu ile elasticsearch kurulumunu tamamlıyoruz.

Sonrasında " nano /etc/elasticsearch/elasticsearch.yml " dosyasını aşağıdaki örnekte olduğu gibi değiştiriyoruz.

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
# Before you set out to tweak and tune the configuration, make sure you
# understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
cluster.name: CEYHUN
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: OCAL
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
#path.data: /path/to/data
#
# Path to log files:

#
#path.logs: /path/to/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#

#network.host: 192.168.0.1
network.host: 0.0.0.0
#
# Set a custom port for HTTP:
#
#http.port: 2222
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when new node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
#discovery.zen.ping.unicast.hosts: ["host1", "host2"]
#
# Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):
#

#discovery.zen.minimum_master_nodes: 3
# For more information, consult the zen discovery module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#

#action.destructive_requires_name: true

"elasticsearch.yml" dosyasını düzenledikten sonra aşağıdaki komutla elastic "init.d" servisini aktif etmeliyiz.

systemctl enable elasticsearch

Oluşan servisi kontrol için, "/etc/init.d/elasticsearch status" başlatmak için, "/etc/init.d/elasticsearch start" durdurmak için, "/etc/init.d/elasticsearch stop" komutlarını kullanabiliriz.

Ek bilgi olarak : service elasticsearch status yada start yada stop kullanılabilir.

Şimdi elasticsearch'ü kontrol etmeye sıra geldi. Kontrol için aşağıdaki komutları kullanabiliriz.

curl -XGET localhost:9200
curl -XGET localhost:9200/_cluster/health?pretty

Ayıptır sölemesi :) Elastic sunucumuz çalışıyor. Elastic sunucuya manuel veri ekleyelim. Bu işlemi yapabilmek için aşağıdaki komutu kullanabiliriz.

Örnek yapı:

curl -XPOST "http://[localhost]:9200/indexname/typename/optionalUniqueId" -d '{ "field" : "value" }'

Komut olarak:

curl -XPOST "http://localhost:9200/index_mocal/type_ceyhun/1" -d "{ \"araba\" : \"dizel\"}"

Kontrol için:

curl -XGET localhost:9200/_mapping

Aşağıdaki örnek ekran görüntüsünde olduğu gibi bir liste gelmeli.Bende kibana kurulu olduğu için liste kabarık görünmekte,sizde "index_mocal" yada sizin belirlediğiniz herhangi bir isim listede görünmeli.

Kibana demişken hızlıca nedir ne yapar ona değineyim,Kibana; elasticsearch'e web browser üzerinden sorgu yapabilmemizi sağlayan bir uygulamadır dedikten sonra kurulum adımlarına geçiyorum.

Kibana kurulum :

https://www.elastic.co/ adresini bir browserda görüntüledikten sonra sağ üst köşede bulunan "downloads" linkine tıklayarak indirilebilir içerik listesine ulaşıyoruz. Sonrasında Kibana bölümünde bulunan "Download" linkine tıklayarak "deb" olan linkten "kibana-5.3.1-amd64.deb" paketi indiriyoruz.

Kurulum için "sudo dpkg -i kibana-5.3.1-amd64.deb" komutunu kullanıyoruz, kurulum bittiğinde "sudo nano /etc/kibana/kibana.yml" dosyasını aşağıdaki örnekte olduğu gibi düzenleyerek kurulumu tamamlayacağız,unutmadan "kibana init.d" serviside oluşturacağız.

Kibana servisi aktif etmek için "systemctl enable kibana" komutunu çalıştırdıktan sonra "sudo /etc/init.d/kibana status-start-stop" yada "sudo service kibana status-start-stop" komutları ile başlatma-durdurma ve durum bilgisine ulaşabiliriz.

Örnek kibana.yml dosyası:

# Kibana is served by a back end server. This setting specifies the port to use.
#server.port: 5601
#server.port: 81
# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.
# The default is 'localhost', which usually means remote machines will not be able to connect.
# To allow connections from remote users, set this parameter to a non-loopback address.
#server.host: "localhost"
server.host: "0.0.0.0"

# Enables you to specify a path to mount Kibana at if you are running behind a proxy. This only affects
# the URLs generated by Kibana, your proxy is expected to remove the basePath value before forwarding requests
# to Kibana. This setting cannot end in a slash.
#server.basePath: ""

# The maximum payload size in bytes for incoming server requests.
#server.maxPayloadBytes: 1048576

# The Kibana server's name. This is used for display purposes.
#server.name: "your-hostname"

# The URL of the Elasticsearch instance to use for all your queries.
elasticsearch.url: "http://localhost:9200"

# When this setting's value is true Kibana uses the hostname specified in the server.host
# setting. When the value of this setting is false, Kibana uses the hostname of the host
# that connects to this Kibana instance.
#elasticsearch.preserveHost: true

# Kibana uses an index in Elasticsearch to store saved searches, visualizations and
# dashboards. Kibana creates a new index if the index doesn't already exist.
#kibana.index: ".kibana"

# The default application to load.
#kibana.defaultAppId: "discover"

# If your Elasticsearch is protected with basic authentication, these settings provide
# the username and password that the Kibana server uses to perform maintenance on the Kibana
# index at startup. Your Kibana users still need to authenticate with Elasticsearch, which
# is proxied through the Kibana server.
#elasticsearch.username: "user"
#elasticsearch.password: "pass"

# Enables SSL and paths to the PEM-format SSL certificate and SSL key files, respectively.
# These settings enable SSL for outgoing requests from the Kibana server to the browser.
#server.ssl.enabled: false
#server.ssl.certificate: /path/to/your/server.crt
#server.ssl.key: /path/to/your/server.key

# Optional settings that provide the paths to the PEM-format SSL certificate and key files.
# These files validate that your Elasticsearch backend uses the same key files.
#elasticsearch.ssl.certificate: /path/to/your/client.crt
#elasticsearch.ssl.key: /path/to/your/client.key

# Optional setting that enables you to specify a path to the PEM file for the certificate

# authority for your Elasticsearch instance.

#elasticsearch.ssl.certificateAuthorities: [ "/path/to/your/CA.pem" ]

# To disregard the validity of SSL certificates, change this setting's value to 'none'.

#elasticsearch.ssl.verificationMode: full

# Time in milliseconds to wait for Elasticsearch to respond to pings. Defaults to the value of

# the elasticsearch.requestTimeout setting.

#elasticsearch.pingTimeout: 1500

# Time in milliseconds to wait for responses from the back end or Elasticsearch. This value

# must be a positive integer.

#elasticsearch.requestTimeout: 30000

# List of Kibana client-side headers to send to Elasticsearch. To send *no* client-side

# headers, set this value to [] (an empty list).

#elasticsearch.requestHeadersWhitelist: [ authorization ]

# Header names and values that are sent to Elasticsearch. Any custom headers cannot be overwritten

# by client-side headers, regardless of the elasticsearch.requestHeadersWhitelist configuration.

#elasticsearch.customHeaders: {}

# Time in milliseconds for Elasticsearch to wait for responses from shards. Set to 0 to disable.

#elasticsearch.shardTimeout: 0

# Time in milliseconds to wait for Elasticsearch at Kibana startup before retrying.

#elasticsearch.startupTimeout: 5000

# Specifies the path where Kibana creates the process ID file.

#pid.file: /var/run/kibana.pid

# Enables you specify a file where Kibana stores log output.

#logging.dest: stdout

# Set the value of this setting to true to suppress all logging output.

#logging.silent: false

# Set the value of this setting to true to suppress all logging output other than error messages.

#logging.quiet: false

# Set the value of this setting to true to log all events, including system usage information

# and all requests.

#logging.verbose: false

# Set the interval in milliseconds to sample system and process performance

# metrics. Minimum is 100ms. Defaults to 5000.

#ops.interval: 5000

"kibana.yml" dosyasının yukarıdaki örnekteki gibi değiştirdikten sonra "/etc/init.d/kibana start" komutu ile uygulamayı başlatıp localdeysek web browsera "http://localhost:5601" farklı bir pc deysek "http://ip_numarası-veya-hostname:5601" adresini yazarak kibana ekranını görüntülemeliyiz.

Ayıptır sölemesi Kibana da çalıştı :) Bir süre kendi halinde çalışsın. Şimdi kurulumun son paketi olan "Logstash"e geçiyorum. En basit haliyle Logstash elastic sunucuya dinlediği tcp veya udp porttan yada log dosyasından aldığı verileri elastiğin anladığı formata "JSON" formatına dönüştüren bir uygulama olarak açıklanabilir. Uygulama hakkında bilgi verdikten sonra kurulumuna geçiyorum.

Logstash kurulum :

https://www.elastic.co/ adresini bir browserda görüntüledikten sonra sağ üst köşede bulunan "downloads" linkine tıklayarak indirilebilir içerik listesine ulaşıyoruz. Sonrasında Logstash bölümünde bulunan "Download" linkine tıklayarak "deb" olan linkten "logstash-5.3.1.deb" paketi indiriyoruz.

"sudo dpkg -i logstash-5.3.1.deb" komutu ile kurulumu yapıyoruz. "systemctl enable logstash" komutu ile servisi aktif ediyoruz. Sonrasında "/etc/logstash/conf.d" dizini altına "logstash.conf" isimli bir dosya oluşturup içeriğini aşağıdaki gibi dolduruyoruz.

NOT: logstash.conf içeriği "/var/log/dpkg.log" dosyasını okuyacak şekilde oluşturulmuştur.

Örnek logstash.conf içeriği:

input {
file {
path => "/var/log/dpkg.log"
start_position => "beginning"
}
}

filter {
if [type] == "dpkg" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program} %{NONNEGINT:facility} %{NONNEGINT:priority} (?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:message} %{WORD:loglevel}" }
add_field => [ "received_at", "%{@timestamp}" ]
add_field => [ "received_from", "%{host}" ]
}
date {
match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
}

output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}

logstash.conf hazır, servisi başlatmadan önce "/etc/logstash/logstash.yml" dosyasını kontrol etmenizde fayda var, ama çokta gerekli değil, çünkü elastik ve kibana'yı varsayılan şekilde kurduk yani ne port değişikliği nede ek bir ayar dosyası gösterdik bu sebeple logstash servisi başladığında default ayarlarıyla çalışacağı için sorun yaşamayacağız. "service logstash start" komutu ile uygulamayı başlatıyoruz.

Kontrol için, "tail -f /var/log/syslog" yada service logstash status

Şimdi sıra kibana'yı görüntüleyip gelen logları analiz etmede. Bunun için browser adres satırına "http://localhost:5601" farklı bir pc deysek "http://ip_numarası-veya-hostname:5601" yazarak ilerliyoruz. Management --> Index Patterns --> Add News adımları ile ilerleyip aşağıdaki örnek ekran görüntüsünde olduğu gibi alanları işaretleyip logstash oluşturduğu index patterne erişiyoruz.

Tanımlama sonrası erişilen index pattern , bütün veriyi içeren liste ve yukarıda bulunan timeliner gösterge.

Arama kısmına "python3 " gibi bir kelime girildiğinde sorgu sonrası ekran.

Son olarak kibana menüsünde bulunan "Dasboard" ve "Visualize" linkleri ile çok çeşitli grafik tablolar ve bu tablolarla birlikte filtrelerin de bulunduğu dashboard'lar hazırlanabilmekte.

Daha fazla bilgi için https://www.elastic.co/guide/en/kibana/current/index.html