使用ELK + Metricbeat收集MongoDB Log

最近研究如何使用ELK(Elasticsearch, Logstash和Kibana)監控MongoDB的效能，之前公司己經使用ELK監控爬蟲，這次試著擴大範圍並加入告警的通知。

安裝ELK

我們使用docker-elk安裝ELK stack

git clone [email protected]:deviantony/docker-elk.git

安裝SENTINL Plugin

Kibana需要安裝SENTINL這套plugin才能加上watcher的功能

修改kibana資料夾的Dockerfile，讓docker-compose在build的時候能安裝plugin

ARG ELK_VERSION

# https://github.com/elastic/kibana-docker
FROM docker.elastic.co/kibana/kibana-oss:${ELK_VERSION}

# Add your kibana plugins setup here
# Example: RUN kibana-plugin install <name|url>
RUN kibana-plugin install https://github.com/sirensolutions/sentinl/releases/download/tag-6.5.0-0/sentinl-v6.5.4.zip

SENTINL的版本建議和ELK一致，這裡可以找到所有版本的release

設定SENTINL

為了讓事件發生時能發出通知，需要設定如email、slack等平台的存取權限。

---
## Default Kibana configuration from kibana-docker.
## from https://github.com/elastic/kibana-docker/blob/master/build/kibana/config/kibana.yml
#
server.name: kibana
server.host: "0"
elasticsearch.url: elasticsearch:9200
sentinl:
  settings:
    email:
      active: true
      host: "smtp.gmail.com"
      user: "[email protected]"
      port: 587
      password: password
      tls: true
      timeout: 20000  # mail server connection timeout
    slack:
      active: true
      token: [your token]

docker-compose build
docker-compose up

這裡以GMAIL和slack做為通知平台，官網有其它範例。

連上管理介面應該能看到左側多了SENTINL的欄位如下:

使用Metricbeat收集log

Metricbeat用來收集後端服務的log，舉凡MongoDB, Apache, Docker和Kubernetes都有相關的模組可以使用

• 安裝Metricbeat，一樣使用docker image

#!/bin/sh
docker stop metricbeat
docker rm -v metricbeat
docker run -d \
  --name=metricbeat \
  --hostname=
  --volume="$(pwd)/metricbeat.yml:/usr/share/metricbeat/metricbeat.yml:ro" \
  --volume="/var/run/docker.sock:/var/run/docker.sock:ro" \
  --volume="/sys/fs/cgroup:/hostfs/sys/fs/cgroup:ro" \
  --volume="/proc:/hostfs/proc:ro" \
  --volume="/:/hostfs:ro" \
  docker.elastic.co/beats/metricbeat:6.5.4 metricbeat -e -c metricbeat.yml
docker exec -d metricbeat metricbeat setup

• 修改metricbeat config
  進入docker image環境，根目錄有metricbeat.reference.yml和metricbeat.yml二個檔案，前者為各種服務的設定參考；後者為乾淨的設定檔。我們在metricbeat.yml加入mongodb和system的設定(你也可以自訂檔名)

metricbeat.modules:
  #------------ MongoDB Module ------------------------
  - module: mongodb
    metricsets: ["dbstats", "status", "collstats", "metrics", "replstatus"]
    period: 10s
    enabled: true

    # The hosts must be passed as MongoDB URLs in the format:
    # [mongodb://][user:pass@]host[:port].
    # The username and password can also be set using the respective configuration
    # options. The credentials in the URL take precedence over the username and
    # password configuration options.
    hosts: ["localhost:27017"]
    
  #============ System ===============================
  - module: system
    metricsets:
      - cpu # CPU usage
      - load # CPU load averages
      - memory # Memory usage
      - network # Network IO
      - process # Per process metrics
      - process_summary # Process summary
      - uptime # System Uptime
      - core # Per CPU core usage
      - diskio # Disk IO
      - filesystem # File system usage for each mountpoint
      - fsstat # File system summary metrics
      #- raid           # Raid
      #- socket         # Sockets and connection info (linux only)
    enabled: true
    period: 1m
    processes: [".*"]

    # Configure the metric types that are included by these metricsets.
    cpu.metrics: ["percentages"] # The other available options are normalized_percentages and ticks.
    core.metrics: ["percentages"] # The other available option is ticks

這裡節錄module的部分，Kibana和Elasticsearch的host需要根據環境修改

• 啓動 Metricbeat

sh docker_metricbeat.sh

Kibana dashboard

在瀏覽器進入kibana的介面，在Management/Index Patterns確認有metricbeat-*的index，將它設為default index。

在Dashboard裡可以找到[Metricbeat System] Overview與[Metricbeat MongoDB] Overview這二個dashboard，點進去應該能看到以下的畫面

到這裡己經能看到系統的狀態，接下來要設定watcher讓狀況發生時能通知管理者。

參考:

Watching/Alerting on Real-Time Data in Elasticsearch Using Kibana and SentiNL

使用Elastic Stack(ELK)來監控MongoDB