Fluentd гэж юу вэ, тохиргоо

Fluentd гэж юу вэ

  http://fluentd.org/

  Fluentd нь сервэр хоорондын өгөгдөл дамжуулах нээлттэй эхийн программ

Юу хийх боломжтой вэ

  Өгөгдөл цуглуулах

Ерөнхий ажиллах зарчим

  Fluentd нь өгөгдөл удирдахад хэрэглэгддэг бөгөөд deamon маягаар ажиллана. Ихэнхидээ лог хянахад хэрэглэж байгаа боловч ганц лог биш өгөгдөл дамжуулах өөр зүйлд ч ашиглаж боломжтой. Оролт, хадгалалт, гаралт гэсэн зарчимаар ажилладаг бөгөөд тохируулгыг олон оролт гаралтыг хянахад зориулж тохируулахад  болно.

Онцлог

  Нээлттэй эх
  Нэмэт плагин
    Нэмэлт плагины сонголт их. Fluentd ruby программчлалын хэл дээр бичигдсэн тул нэмэлтүүд нь гол төлөв gem хэлбэрээр байх нь элбэг.
  Хурд, гүйцэтгэл
    Суулгэсэн нэмэлтээс хамаараад янз бүр байна.
  Өргөжүүлэх бололмж
    Хэрэв хүсвэл өөрөө нэмэлт бичиж болно.
  Comminity
    Япон хүн хийсэн болохоор Япончуудын community нтр л байдаг юм шиг байгаа юм

Орчин

Windows10
Vagrant
Centos7

2машины хооронд өгөгдөл дамжуулах учир vagrant дээр 2 машин ачаалласан байгаа.

Fluentd　ийг суулгаж ажиллуулах

1. sudo curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh

  Хэрэв gem - ээр суулгах бол

  gem install fluentd --no-ri --no-rdoc

2. Сервэр болон node гэсэн 2 машин ачааллаж байгаа. Vagrant учир filter ийг зогсоочихлоо
  sudo systemctl stop iptables
  sudo systemctl stop firewalld

3. Турших зорилгоор вэб сервэр суулгав

  sudo yum -y install httpd

4. Өгөгдөл илгээх машин(forwarder)ы тохиргоо
  <source>
    type tail
    path /var/log/httpd/access_log
    pos_file /var/log/td-agent/httpd.pos
    tag httpd_access #tag нэмж өгөх
    format none
  </source>

  <match httpd_access>
    type forward          
    send_timeout 60s      
    heartbeat_type udp    
    heartbeat_interval 1s 
    <server>
      host 192.168.33.55   # илгээх машины хаяг
      port 24224          # илгээх машины порт
    </server>
  </match>

5. sudo systemctl restart td-agent

6. Өгөгдөл хүээн авах машин(aggregator)ы тохиргоо
  <source>
    @type forward
    port 24224
  </source>

  <match httpd_access>
    @type file
    path /var/log/td-agent/access_log
  </match>

7. sudo systemctl restart td-agent

Энэ удаад хамгийн энгийн туршилтыг хийж үзүүлэв.
Дараа улам дэлгэрүүлнэ.

Эх сурвалж

  http://fluentd.org/
  http://hivecolor.com/id/37
  http://tagomoris.hatenablog.com/entry/2013/12/03/150656