Kubernetes

Tài liệu này hướng dẫn cấu hình để thu thập Metrics, Logs, Events từ Kubernetes

1. Chuẩn bị

• Tham khảo cài đặt kube-prometheus-stack theo tài liệu:

     Hướng dẫn cài đặt Prometheus

• Thực hiện tải helm chart k8s-monitoring bằng lệnh sau: 

curl -L -o k8s-monitoring-3.7.1.tgz https://s3hn.smartcloud.vn/agent/helm-charts/k8s-monitoring-3.7.1.tgz

Các helm chart cần thiết bao gồm:

2. Cài đặt

2.1 Cài đặt helm chart thu thập metrics kubernetes

• Tạo namespaces monitoring

kubectl create namespace monitoring 

•  Tạo secret cấu hình xác thực endpoint dịch vụ APM

kubectl create secret generic secret-token \
-n monitoring \
--from-literal=token=<token_dịch_vụ_APM>

• Thực hiện cài đặt Prometheus bằng lệnh sau:

helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack \
  --namespace monitoring \
  --create-namespace \
  --version 80.3.0 \
  --set prometheus.prometheusSpec.retentionSize=5Gi \
  --set prometheus.prometheusSpec.retention=1d \
  --set prometheus.prometheusSpec.storageSpec.volumeClaimTemplate.spec.resources.requests.storage=10Gi \
  --set alertmanager.alertmanagerSpec.storage.volumeClaimTemplate.spec.resources.requests.storage=2Gi \
  --set grafana.ingress.enabled=true \
  --set grafana.ingress.ingressClassName=<class_name> \
  --set grafana.ingress.hosts[0]=<host_domain> \
  --set prometheus.prometheusSpec.remoteWrite[0].url=<endpoint_dịch_vụ_APM> \
  --set prometheus.prometheusSpec.remoteWrite[0].authorization.type=Bearer \
  --set prometheus.prometheusSpec.remoteWrite[0].authorization.credentials.name=secret-token \
  --set prometheus.prometheusSpec.remoteWrite[0].authorization.credentials.key=token \
  --set prometheus.prometheusSpec.remoteWrite[0].writeRelabelConfigs[0].sourceLabels[0]=job \
  --set prometheus.prometheusSpec.remoteWrite[0].writeRelabelConfigs[0].targetLabel=job \
  --set-string prometheus.prometheusSpec.remoteWrite[0].writeRelabelConfigs[0].regex="(integrations/(node_exporter|unix))|.*node-exporter.*" \
  --set prometheus.prometheusSpec.remoteWrite[0].writeRelabelConfigs[0].replacement=integrations/unix

Thay các trường ở file cấu hình sau, trong đó:

2.2 Cài đặt helm chart thu thập Kubernetes logs, events

helm install -n monitoring kube-prometheus-stack . 

Thay các trường ở file cấu hình trên, trong đó:

Thực hiện thay đổi các cấu hình sau để thu thập kubernetes events, logs.

• clusterEvents:

clusterEvents:
 enabled: true
 destinations:
   - <destinations_name>
 collector: alloy-singleton

• nodeLogs:

nodeLogs:
  enabled: true
  destinations: 
    - <destinations_name>
  collector: alloy-logs

• podLogs:

podLogs:
 enabled: true
 destinations:
   - <destinations_name>
 collector: alloy-logs

• destinations:

destinations: 
  - name: loki
    type: <destinations_name>
    url: <endpoint_dịch_vụ_APM>
    auth:
      type: bearerToken
      bearerToken: "<token_dịch_vụ_APM>"
    secret:
      embed: true

• namespace:  Giám sát logs pod theo namespace chỉ định

podLogs:
 namespace: [<namespace_list>]

• resources: Giới hạn tài nguyên theo collector (ví dụ với alloy-logs):

alloy-logs:
  enabled: true

  resources:
    limits:
      cpu: 500m
      memory: 1024Mi
    requests:
      cpu: 1m
      memory: 5Mi

• Cấu hình bật collector thu thập logs, events kubernetes và syslog:

alloy-singleton:
 enabled: true

alloy-logs:
 enabled: true
 alloy:
   podSecurityContext:
     runAsUser: 0
     runAsGroup: 0
     runAsNonRoot: false
   securityContext:
     privileged: true
     allowPrivilegeEscalation: true
   extraVolumes:
     - name: varlog
       hostPath:
         path: /var/log
         type: Directory
   extraVolumeMounts:
     - name: varlog
       mountPath: /var/log
       readOnly: true
   extraConfig: |
     loki.source.file "syslog" {
       path_targets = [
         {
           __path__ = "/var/log/syslog*",
           job      = "syslog"
         }]
       labels = {
         job = "integrations/node_exporter",
         instance = sys.env("HOSTNAME"),
       }
       max_age = "30m"
       forward_to = [loki.write.loki.receiver] 

• Thực hiện cài đặt k8s-monitoring bằng câu lệnh sau:

helm install -n monitoring k8s-monitoring .

3. Kiểm tra

3.1 Kiểm tra dịch vụ

Thực hiện lệnh sau:

helm list -n monitoring
kubectl get po,svc -n monitoring

Kết quả helm release, pod running:

Một số dashboard mẫu khi tích hợp thành công: