Lý do bạn áp dụng cài đặt Elasticsearch, Logstash và Kibana (ELK Stack):
- Dễ dàng kiểm soát rủi ro phát hiện bug sớm nhất khi vận hành hệ thống nhiều server.
- Dễ dàng kiểm tra và xem thông tin log mong muốn.
- Dễ dàng phân loại log của server theo ý muốn.
- Áp dụng kiểm soát sản phẩm lớn như e-commerce, services,…
1. Giới thiệu công cụ:
Logstash: Đây là một công cụ sử dụng để thu thập, xử lý log được viết bằng java. Nhiệm vụ chính của logstash là thu thập log sau đó chuyển vào Elastichsearch. Mỗi dòng log của logstash được lưu trữ đưới dạng json.
Elasticsearch: sử dụng cơ sở dữ liệu NoSQL dựa trên nền tảng của Apache Lucene engine. Dùng để lưu trữ dữ liệu và cung cấp interface cho phép truy vấn đến cơ sở dữ liệu.
Kibana: Đây là giao diện sử dụng dành cho người dùng trên môi trường web. Kibana sẽ sử dụng Elashtichsearch để tìm kiếm các dữ liệu phù hợp với yêu cầu của người dùng.
2. Chuẩn bị và cài đặt:
1. Chuẩn bị:
Logstash và Elasticsearch yêu cầu Java nên cần có một Java Virtual Machine để hoạt động. Vì vậy trước tiên bạn cần cài đặt Java, nên cài phiên bản mới nhất của java hiện nay Java8. Nếu đã cài đặt Java thì có thể bỏ qua bước này.
Tải file cài đặt Java
[gistpen id=”778″]
Cài đặt Java
[gistpen id=”780″]
Xóa file cài đặt
[gistpen id=”782″]
Tạo SSL Certificates
Vì chúng ta sẽ sử dụng Filebeat để ghi từ Server Client vào Server ELK (Elasticsearch, Logstash, Kibana) của mình, nên cần phải tạo ra SSL Certificates và cặp khóa. Các chứng chỉ được sử dụng bởi Filebeat để xác minh danh tính của Server ELK.
Nếu bạn không có thiết lập DNS cho phép các máy chủ của bạn, bạn sẽ thu thập các bản ghi từ, để giải quyết địa chỉ IP của Server ELK bằng cách thêm địa chỉ IP riêng Server đến SubjectAltName (SAN) trường của các chứng chỉ SSL. Để làm như vậy, mở tập tin cấu hình OpenSSL:
[gistpen id=”796″]
Cập nhật dòng sau:
[gistpen id=”798″]
Sau khi lưu lại chạy lệnh sau để tạo ra các chứng chỉ SSL và khóa riêng tại (/etc/PKI/TLS/):
[gistpen id=”800″]
Cài đặt Nginx để chạy giao diện web của Kibana
2. Cài đặt Logstash
2.1 Tạo hoặc cập nhật file Yum repository cho Logstash:
[gistpen id=”784″]
2.2 Lưu nội dung file Yum repository:
[gistpen id=”786″]
2.3 Cài đặt Logstash với lệnh sau:
[gistpen id=”788″]
2.4 Sau khi cài đặt xong, tiến hành cấu hình Logstash:
File cấu hình Logstash lưu tại /etc/logstash/conf.d theo định dạng JSON.
Cấu hình gồm 3 phần: inputs, filters, and outputs.
2.4.1 Trước tiên, tạo cấu hình input “filebeat” lưu tại 02-beats-input.conf:
[gistpen id=”790″]
Lưu thông tin cấu hình input không sử dụng SSL:
[gistpen id=”794″]
Lưu thông tin cấu hình input có sử dụng SSL:
[gistpen id=”792″]
2.4.2 Kế tiếp, tạo cấu hình filter “filebeat” lưu tại 10-syslog-filter.conf:
[gistpen id=”802″]
Lưu thông tin cấu hình filter
[gistpen id=”804″]
2.4.3 Cuối cùng, tạo cấu hình out put “filebeat” lưu tại 30-elasticsearch-output.conf:
[gistpen id=”806″]
Lưu thông tin cấu hình out put:
[gistpen id=”808″]
Lưu lại và thoát. Theo cấu hình output Logstash để lưu beats data trong Elasticsearch cần running localhost:9200
Nếu muốn thêm cấu hình filter thì chắc chắn tên phải nằm giữa input và output (nằm giữa 02- và 30-)
2.5 Chạy lệnh kiểm tra cấu hình service Logstash:
[gistpen id=”810″]
Kết quả thành công:
2.6 Restart và enable Logstash:
[gistpen id=”813″]
3. Cài đặt Elasticsearch
3.1 Import Elasticsearch public GPG key vào rpm:
[gistpen id=”815″]
3.2 Tạo hoặc cập nhật file Yum repository cho Elasticsearch:
[gistpen id=”817″]
3.2 Lưu nội dung file Yum repository:
[gistpen id=”819″]
3.3 Cài đặt Elasticsearch:
[gistpen id=”821″]
3.4 Cấu hình Elasticsearch:
[gistpen id=”823″]
[gistpen id=”825″]
3.5 Start service Elasticsearch và Enable server:
[gistpen id=”827″]
[gistpen id=”829″]
4. Cài đặt Kibana (Version 4.4):
4.1 Tạo hoặc cập nhật yum repository cho Kibana:
[gistpen id=”831″]
4.2 Lưu nội dung file Yum repository:
[gistpen id=”833″]
4.3 Cài đặt Kibana:
[gistpen id=”835″]
4.4 Cấu hình Kibana:
[gistpen id=”837″]
[gistpen id=”839″]
4.5 Start service Kibana và Enable server:
[gistpen id=”841″]
[gistpen id=”843″]
4.6 Tạo và cấu hình Nginx để chạy giao diện web của Kibana:
[gistpen id=”845″]
[gistpen id=”847″]
[gistpen id=”849″]
Lưu ý:
Tạo auth_basic_user_file dùng lệnh bên dưới với user name là kibanaadmin và password do bạn nhập vào.
[gistpen id=”851″]
Sau đó chạy Domain thử để xem kết quả tuy nhiên tới bước này cũng chưa thấy thông tin gì đâu nếu status là Big Green thì thành công 50% rồi đó thấy Big Red thì fix đi nhé ^_^!
3. Kibana Dashboards
3.1 Beats dashboard
Elastic cung cấp một số Kibana dashboards và Beats là pattern có thể giúp bạn bắt đầu làm quen với Kibana. Bài này sẽ không hướng dẫn sử dụng các kiểu dashboard mà chỉ một số thành phần cần thiết để sử dụng Filebeat.
1. Đầu tiên download beats dashboard về server:
[gistpen id=”855″]
2. Giải nén và load mẫu dashboards:
Install the unzip package with this command, visualizations và Beats index patterns trong Elasticsearch:
[gistpen id=”857″]
[gistpen id=”859″]
3. Load được các patterns sau:
- [packetbeat-]YYYY.MM.DD
- [topbeat-]YYYY.MM.DD
- [filebeat-]YYYY.MM.DD
- [winlogbeat-]YYYY.MM.DD
Khi vào giao diện Kibana, bạn sẽ chọn patter Filebeat làm mặc định.
3.2 Load Filebeat Index Template trong Elasticsearch
Kế hoạch là sử dụng Filebeat để chuyển logs đến Elasticsearch, nên nạp template Filebeat. Template sẽ cấu hình Elasticsearch để phân tích các dữ liệu Filebeat một cách thông minh.
1. Đầu tiên, download Filebeat vào folder home:
[gistpen id=”861″]
2. Sau đó, load template:
[gistpen id=”863″]
Output:
[gistpen id=”865″]
Bây giờ Server ELK đã có thể nhận data Filebeat, Bắt đầu thiết lập Filebeat lên các client server để thu thập dữ liệu.
3.3 Cài đặt Filebeat vào Client Servers
Lưu ý: nếu bạn muốn sử dụng server local thì cài đặt Filebeat này lên server local luôn nhé
1. Copy SSL Certificate
Copy SSL từ Server ELK sang Server Client bằng lệnh sau:
[gistpen id=”867″]
Trên Server Client, copy vào folder certs (/etc/pki/tls/certs):
[gistpen id=”869″]
2. Cài đặt Filebeat Package
Trên server Client chạy các lệnh sau:
[gistpen id=”871″]
[gistpen id=”873″]
[gistpen id=”875″]
[gistpen id=”877″]
3. Cấu hình Filebeat
[gistpen id=”879″]
Cấu hình ở 5 phần sau:
#1 Path:
[gistpen id=”881″]
#2
[gistpen id=”883″]
#3
[gistpen id=”885″]
#4
[gistpen id=”887″]
#5
[gistpen id=”889″]
Cuối cùng, start và enable Filebeat:
[gistpen id=”891″]
4. Test Filebeat
Thực hiện trên Server ELK, chạy lệnh sau:
[gistpen id=”893″]
3.4 Kết nối với Kibana
Chứng thực vào giao diện web của Kibana chọn Index pattern làm mặc định.
Sau đó trở về Discover để khám phá cách sử dụng filter logs các kiểu nhé!
Tham khảo từ nguồn Digitalocean, Stackoverflow, Viblo.asia
