Fluentd, Elasticsearch, Kibana тохиргоо

Өмнөх пост дээр fleuntd - ийн талаар товчхон бичсэн бөгөөд одоо fluentd, elasticsearch, kibana 3 ийг хослуулан хэрэглэх талаар товчхон бичнэ.

Орчин

Windows 10
Vagrant
Centos 7
Fluentd
Java version 1.8.0_91
ELastic searh
Kibana

1. Fluentd гэж юу вэ
  Өмнөх нийтлэлийг харна уу. Эндээс

2. Elasticsearch гэж юу вэ
  Одоо үед хэрэглэгчийн мэдээллийг цуглуулан анализ хийж түүн дээрээ тулгуурлан чухал шийдвэрүүдийг гаргах нь энгийн л үзэгдэл болсон байна. Өмнө нь өгөгдөл цуглуулах янз бүрийн аргыг хэрэглэж ирсэн ч санасан үр дүнд хүрдэггүй байсан гэх. Харин Elasticsearch нь сүүлийн үед хэрэглэгчийн сонирхолд ойрхон мэдээллийг олж авч анализ хийх нь үр дүнтэй болсон бөгөөд тухайн мэдээллийг тэр чигээр нь бүгдийг биш шинж чанар болон хэрэглэхэд хялбар байдлаар авч хадгалан, түүнээсээ уян хатан хайлт(full search бас) хийх гэх мэт боломжыг олгодогоороо сүүлийн үед анхаарал татаж байгаа. Lucene гэх engine ийг ашигладаг бөгөөд Apache лиценз тэйгээр Solr болон Elastic компани хөгжүүлж байна. Elasticseach ийг facebook болон Github ашигладаг гэх нь бий.

  Elasticsearch ийг онцлог
    Full text хайлт хийдэг бөгөөд маш их(big data гэх мэт) өгөгдлөөс хэрэглэгчийн хүссэн мэдээллийг хайхад зориулагдсан бүтэцтэй. RDBMS нь яг тохирсон үгээр хайдаг бол full search тухайн хайлтанд таарах болон түүнтэй холбоотой өгөгдлүүдийг буцаадагаараа ялгаатай. Өөрөөр хэлбэл хялбараар хүссэн өгөгдлөө хайх боломжыг бүрдүүлж өгдөгөөрөө full search engine - ийн онцлогтой. Мөн доорх онцлогууд бас бий.

    - scalable
    - schema less
    - multi-tenant
    - REST+JSON
    - Өгөгдөл хялбар харах(Kibana)
    - Hadoop холболт
    - Plugin
    - Tunning

3. Kibana гэж юу вэ
  Kibana нь Elastic компаниас гаргасан багаж бөгөөд Elasticsearch тай хамтарч ажиллах чадвартай realtime өгөгдөл хянах зориулалттай багаж юм. Elasticsearch болон Kibana-г хослуулан их хэмжээний өгөгдөлд(big data) анализ хийхэд өргөн хэрэглэлэг.

Дээр хялбархан Elasticsearch Kibana гэж юу болох талаар бичлээ. Одоо суулгаж ажиллуулах талаар бичье.

Ерөнхий системийн бүтэц доорх хэлбэртэй байна.

1. Fluentd суулгах
  Өмнөх нийтлэлийг харна уу. Эндээс

  <source>
    @type forward
    port 24224
  </source>

  <match httpd_access>
    type elasticsearch
    host localhost
    port 9200

    logstash_format true
    logstash_prefix httpd_access
    logstash_dateformat %Y%m

    buffer_type memory
    buffer_chunk_limit 10m
    buffer_queue_limit 10
    flush_interval 1s
    retry_limit 16
    retry_wait 1s
  </match>

2. Elasticsearch суулгах

•   sudo yum -y install gcc libcurl-devel
•   sudo td-agent-gem install fluent-plugin-elasticsearch
•   yum -y install java-1.8.0-openjdk-devel.x86_64
•   vi /etc/yum.repos.d/elasticsearch.repo

            [elasticsearch-2.x]
            name=Elasticsearch
            baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
            gpgcheck=1
            gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch

• vi /etc/elasticsearch/elasticsearch.yml

            - #http.port: 9200
            + http.port: 9200

• sudo systemctl start elasticsearch.service
• sudo systemctl daemon-reload
• sudo systemctl enable elasticsearch.service

•    curl http://localhost:9200 гэж тест хийж үзэхэд доорх json-ийг буцааж байвал ok

            {
                  "name" : "Photon",
                  "cluster_name" : "elasticsearch",
                  "version" : {
                    "number" : "2.3.4",
                    "build_hash" : "e455fd0c13dceca8dbbdbb1665d068ae55dabe3f",
                    "build_timestamp" : "2016-06-30T11:24:31Z",
                    "build_snapshot" : false,
                    "lucene_version" : "5.5.0"
                  },
                  "tagline" : "You Know, for Search"
             }

• curl -X PUT localhost:9200/.kibana/_settings -d '{ "index": { "max_result_window": 2147483647 }}'

3. Kibana суулгах

•   sudo wget https://download.elastic.co/kibana/kibana/kibana-4.2.0-linux-x64.tar.gz
•   sudo cp /home/vagrant/kibana-4.2.0-linux-x64.tar.gz /opt
•   sudo tar zxf  kibana-4.2.0-linux-x64.tar.gz
•   sudo ln -s kibana-4.2.0-linux-x64 kibana
•   sudo vi /etc/rc.d/init.d/kibana

#!/bin/bash
	#
	# Kibana Init script for Kibana
	#
	# chkconfig: 345 99 76
	# processname: kibana
	#
	KIBANA_EXEC="/opt/kibana/bin/kibana"
	LOG_FILE="/opt/kibana/kibana.log"
	PID_FILE="/opt/kibana/kibana.pid"
	RETVAL=0
	case "$1" in
	"start" )
	if [ ! -f ${PID_FILE} ]; then
	echo "Starting Kibana..."
	$KIBANA_EXEC 1>"$LOG_FILE" 2>&1 &
	echo $! > "$PID_FILE"
	echo "Kibana started with pid $!"
	else
	echo "Kibana is Running."
	fi
	;;
	"stop" )
	echo "Stopping Kibana..."
	kill `cat ${PID_FILE}`
	RETVAL=$?
	if test $RETVAL -eq 0 ; then
	rm -f ${PID_FILE}
	fi
	;;
	*)
	echo "Usage: $0 {start | stop}"
	exit 0
	;;
	esac
	exit $RETVAL

•   chmod +x /etc/init.d/kibana
•   /etc/init.d/kibana start

Дээрх тохиргоонуудыг хийгээд node2 гэсэн httpd суулгасан машин руу хандахад тухайн log - ийн өгөгдлийг node1 гэсэн машин руу илгээх юм. Доорх хаягаар орж харвал  Kibana дээр log - ийн node2 машинаас илгээсэн өгөгдлийг харж болж байна.
  http://192.168.33.55:5601/