Linux | Tài liệu VNPT Cloud

Tài liệu này hướng dẫn cấu hình Alloy để thu thập Metrics, Logs từ Virtual Machine

1. Chuẩn bị

Thực hiện cài đặt Alloy Agent trên máy chủ Linux bằng lệnh sau:

/bin/sh -c "$(curl -fsSL https://s3hn.smartcloud.vn/agent/alloy/linux/releases/v1.8.3/install-linux.sh)"

Lấy địa chỉ IP VM

export HOST_IP=$(hostname -I | awk '{print $1}')
echo $HOST_IP

2. Cấu hình Alloy

Mở file cấu hình mặc định tại: /etc/alloy/config.alloy. Sau đó chỉnh sửa file cấu hình:

sudo vi /etc/alloy/config.alloy

2.1 Thu thập Metrics

logging {
  level  = "warn"
  format = "logfmt"
}

prometheus.remote_write "metrics_integrations_linux" {
  endpoint {
    url = "<endpoint dịch vụ APM>"
    headers = {
      Authorization = "<token dịch vụ APM>",
    }
  }
}

discovery.relabel "metrics_integrations_linux" {
  targets = prometheus.exporter.unix.metrics_integrations_linux.targets

  rule {
    target_label = "instance"
    replacement  = "<IP VM>"
  }

  rule {
    target_label = "job"
    replacement = "integrations/node_exporter"
  }
}

prometheus.exporter.unix "metrics_integrations_linux" {
  disable_collectors = ["ipvs", "btrfs", "infiniband", "xfs", "zfs"]

  filesystem {
    fs_types_exclude     = "^(autofs|binfmt_misc|bpf|cgroup2?|configfs|debugfs|devpts|devtmpfs|tmpfs|fusectl|hugetlbfs|iso9660|mqueue|nsfs|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|selinuxfs|squashfs|sysfs|tracefs)$"
    mount_points_exclude = "^/(dev|proc|run/credentials/.+|sys|var/lib/docker/.+)($|/)"
    mount_timeout        = "5s"
  }

  netclass {
    ignored_devices = "^(veth.*|cali.*|[a-f0-9]{15})$"
  }

  netdev {
    device_exclude = "^(veth.*|cali.*|[a-f0-9]{15})$"
  }
}

prometheus.scrape "metrics_integrations_linux" {
  targets    = discovery.relabel.metrics_integrations_linux.output
  forward_to = [prometheus.relabel.metrics_integrations_linux.receiver]
  scrape_interval = "15s"
  scrape_timeout  = "10s"
}

prometheus.relabel "metrics_integrations_linux" {
  forward_to = [prometheus.remote_write.metrics_integrations_linux.receiver]

  rule {
    source_labels = ["__name__"]
    regex         = "up|node_arp_entries|node_boot_time_seconds|node_context_switches_total|node_cpu_seconds_total|node_disk_io_time_seconds_total|node_disk_io_time_weighted_seconds_total|node_disk_read_bytes_total|node_disk_read_time_seconds_total|node_disk_reads_completed_total|node_disk_write_time_seconds_total|node_disk_writes_completed_total|node_disk_written_bytes_total|node_filefd_allocated|node_filefd_maximum|node_filesystem_avail_bytes|node_filesystem_device_error|node_filesystem_files|node_filesystem_files_free|node_filesystem_readonly|node_filesystem_size_bytes|node_intr_total|node_load1|node_load15|node_load5|node_md_disks|node_md_disks_required|node_memory_Active_anon_bytes|node_memory_Active_bytes|node_memory_Active_file_bytes|node_memory_AnonHugePages_bytes|node_memory_AnonPages_bytes|node_memory_Bounce_bytes|node_memory_Buffers_bytes|node_memory_Cached_bytes|node_memory_CommitLimit_bytes|node_memory_Committed_AS_bytes|node_memory_DirectMap1G_bytes|node_memory_DirectMap2M_bytes|node_memory_DirectMap4k_bytes|node_memory_Dirty_bytes|node_memory_HugePages_Free|node_memory_HugePages_Rsvd|node_memory_HugePages_Surp|node_memory_HugePages_Total|node_memory_Hugepagesize_bytes|node_memory_Inactive_anon_bytes|node_memory_Inactive_bytes|node_memory_Inactive_file_bytes|node_memory_Mapped_bytes|node_memory_MemAvailable_bytes|node_memory_MemFree_bytes|node_memory_MemTotal_bytes|node_memory_SReclaimable_bytes|node_memory_SUnreclaim_bytes|node_memory_ShmemHugePages_bytes|node_memory_ShmemPmdMapped_bytes|node_memory_Shmem_bytes|node_memory_Slab_bytes|node_memory_SwapTotal_bytes|node_memory_VmallocChunk_bytes|node_memory_VmallocTotal_bytes|node_memory_VmallocUsed_bytes|node_memory_WritebackTmp_bytes|node_memory_Writeback_bytes|node_netstat_Icmp6_InErrors|node_netstat_Icmp6_InMsgs|node_netstat_Icmp6_OutMsgs|node_netstat_Icmp_InErrors|node_netstat_Icmp_InMsgs|node_netstat_Icmp_OutMsgs|node_netstat_IpExt_InOctets|node_netstat_IpExt_OutOctets|node_netstat_TcpExt_ListenDrops|node_netstat_TcpExt_ListenOverflows|node_netstat_TcpExt_TCPSynRetrans|node_netstat_Tcp_InErrs|node_netstat_Tcp_InSegs|node_netstat_Tcp_OutRsts|node_netstat_Tcp_OutSegs|node_netstat_Tcp_RetransSegs|node_netstat_Udp6_InDatagrams|node_netstat_Udp6_InErrors|node_netstat_Udp6_NoPorts|node_netstat_Udp6_OutDatagrams|node_netstat_Udp6_RcvbufErrors|node_netstat_Udp6_SndbufErrors|node_netstat_UdpLite_InErrors|node_netstat_Udp_InDatagrams|node_netstat_Udp_InErrors|node_netstat_Udp_NoPorts|node_netstat_Udp_OutDatagrams|node_netstat_Udp_RcvbufErrors|node_netstat_Udp_SndbufErrors|node_network_carrier|node_network_info|node_network_mtu_bytes|node_network_receive_bytes_total|node_network_receive_compressed_total|node_network_receive_drop_total|node_network_receive_errs_total|node_network_receive_fifo_total|node_network_receive_multicast_total|node_network_receive_packets_total|node_network_speed_bytes|node_network_transmit_bytes_total|node_network_transmit_compressed_total|node_network_transmit_drop_total|node_network_transmit_errs_total|node_network_transmit_fifo_total|node_network_transmit_multicast_total|node_network_transmit_packets_total|node_network_transmit_queue_length|node_network_up|node_nf_conntrack_entries|node_nf_conntrack_entries_limit|node_os_info|node_sockstat_FRAG6_inuse|node_sockstat_FRAG_inuse|node_sockstat_RAW6_inuse|node_sockstat_RAW_inuse|node_sockstat_TCP6_inuse|node_sockstat_TCP_alloc|node_sockstat_TCP_inuse|node_sockstat_TCP_mem|node_sockstat_TCP_mem_bytes|node_sockstat_TCP_orphan|node_sockstat_TCP_tw|node_sockstat_UDP6_inuse|node_sockstat_UDPLITE6_inuse|node_sockstat_UDPLITE_inuse|node_sockstat_UDP_inuse|node_sockstat_UDP_mem|node_sockstat_UDP_mem_bytes|node_sockstat_sockets_used|node_softnet_dropped_total|node_softnet_processed_total|node_softnet_times_squeezed_total|node_systemd_unit_state|node_textfile_scrape_error|node_time_zone_offset_seconds|node_timex_estimated_error_seconds|node_timex_maxerror_seconds|node_timex_offset_seconds|node_timex_sync_status|node_uname_info|node_vmstat_oom_kill|node_vmstat_pgfault|node_vmstat_pgmajfault|node_vmstat_pgpgin|node_vmstat_pgpgout|node_vmstat_pswpin|node_vmstat_pswpout|process_max_fds|process_open_fds"
    action        = "keep"
  }
}

Thay các trường ở file cấu hình trên, trong đó:

Trường	Ý nghĩa	Giá trị mẫu
url	Endpoint của dịch vụ APM trên giao diện Console	https://metrics-0qcs3dsvvva.apm.vnptplatform.vn/api/v1/push
Authorization	Token của dịch vụ APM trên giao diện Console	a5130b91-ff9b-41ef-8722-9d923a574123
IP VM	IP của VM	10.168.10.78

2.2 Thu thập Logs

logging {
  level  = "warn"
  format = "logfmt"
}

loki.write "logs_integrations_linux" {
  endpoint {
    url = "<endpoint dịch vụ APM>"
    headers = {
      "Authorization" = "<token dịch vụ APM>",
    }
  }
}

loki.relabel "logs_integrations_linux" {
  forward_to = [loki.write.logs_integrations_linux.receiver]
  rule {
    target_label = "job"
    replacement  = "integrations/node_exporter"
  }
  rule {
    target_label = "instance"
    replacement  = "IP VM"
  }
}

journal_module "logs_integrations_linux" {
  forward_to = [loki.relabel.logs_integrations_linux.receiver]
}

//JOURNAL
declare "journal_module" {
  argument "forward_to" {
      optional = false
  }

  loki.source.journal "default"  {
      max_age       = "12h0m0s"
      forward_to    = [loki.process.default.receiver]
      relabel_rules = loki.relabel.default.rules
  }
  loki.relabel "default" {
      rule {
          source_labels = ["__journal__systemd_unit"]
          target_label  = "unit"
      }
      rule {
          source_labels = ["__journal__boot_id"]
          target_label  = "boot_id"
      }
      rule {
          source_labels = ["__journal__transport"]
          target_label  = "transport"
      }
      rule {
          source_labels = ["__journal_priority_keyword"]
          target_label  = "level"
      }
      forward_to    = []
  }
  loki.process "default" {
      forward_to    = argument.forward_to.value
  }
}

Thay các trường ở file cấu hình trên, trong đó:

Trường	Ý nghĩa	Giá trị mẫu
url	Endpoint của dịch vụ APM trên giao diện Console	https://metrics-0qcs3dsvvva.apm.vnptplatform.vn/api/v1/push
Authorization	Token của dịch vụ APM trên giao diện Console	a5130b91-ff9b-41ef-8722-9d923a574123
IP VM	IP của VM	10.168.10.78

2.3 Thu thập Metrics, Logs

logging {
  level  = "warn"
  format = "logfmt"
}

prometheus.remote_write "metrics_integrations_linux" {
  endpoint {
    url = "<endpoint dịch vụ APM>"
    headers = {
      Authorization = "<token dịch vụ APM>",
    }
  }
}

loki.write "logs_integrations_linux" {
  endpoint {
    url = "<endpoint dịch vụ APM>"
    headers = {
      "Authorization" = "<token dịch vụ APM>",
    }
  }
}

discovery.relabel "metrics_integrations_linux" {
  targets = prometheus.exporter.unix.metrics_integrations_linux.targets

  rule {
    target_label = "instance"
    replacement  = "<IP VM>"
  }

  rule {
    target_label = "job"
    replacement = "integrations/node_exporter"
  }
}

prometheus.exporter.unix "metrics_integrations_linux" {
  disable_collectors = ["ipvs", "btrfs", "infiniband", "xfs", "zfs"]

  filesystem {
    fs_types_exclude     = "^(autofs|binfmt_misc|bpf|cgroup2?|configfs|debugfs|devpts|devtmpfs|tmpfs|fusectl|hugetlbfs|iso9660|mqueue|nsfs|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|selinuxfs|squashfs|sysfs|tracefs)$"
    mount_points_exclude = "^/(dev|proc|run/credentials/.+|sys|var/lib/docker/.+)($|/)"
    mount_timeout        = "5s"
  }

  netclass {
    ignored_devices = "^(veth.*|cali.*|[a-f0-9]{15})$"
  }

  netdev {
    device_exclude = "^(veth.*|cali.*|[a-f0-9]{15})$"
  }
}

prometheus.scrape "metrics_integrations_linux" {
  targets    = discovery.relabel.metrics_integrations_linux.output
  forward_to = [prometheus.relabel.metrics_integrations_linux.receiver]
  scrape_interval = "15s"
  scrape_timeout  = "10s"
}

prometheus.relabel "metrics_integrations_linux" {
  forward_to = [prometheus.remote_write.metrics_integrations_linux.receiver]

  rule {
    source_labels = ["__name__"]
    regex         = "up|node_arp_entries|node_boot_time_seconds|node_context_switches_total|node_cpu_seconds_total|node_disk_io_time_seconds_total|node_disk_io_time_weighted_seconds_total|node_disk_read_bytes_total|node_disk_read_time_seconds_total|node_disk_reads_completed_total|node_disk_write_time_seconds_total|node_disk_writes_completed_total|node_disk_written_bytes_total|node_filefd_allocated|node_filefd_maximum|node_filesystem_avail_bytes|node_filesystem_device_error|node_filesystem_files|node_filesystem_files_free|node_filesystem_readonly|node_filesystem_size_bytes|node_intr_total|node_load1|node_load15|node_load5|node_md_disks|node_md_disks_required|node_memory_Active_anon_bytes|node_memory_Active_bytes|node_memory_Active_file_bytes|node_memory_AnonHugePages_bytes|node_memory_AnonPages_bytes|node_memory_Bounce_bytes|node_memory_Buffers_bytes|node_memory_Cached_bytes|node_memory_CommitLimit_bytes|node_memory_Committed_AS_bytes|node_memory_DirectMap1G_bytes|node_memory_DirectMap2M_bytes|node_memory_DirectMap4k_bytes|node_memory_Dirty_bytes|node_memory_HugePages_Free|node_memory_HugePages_Rsvd|node_memory_HugePages_Surp|node_memory_HugePages_Total|node_memory_Hugepagesize_bytes|node_memory_Inactive_anon_bytes|node_memory_Inactive_bytes|node_memory_Inactive_file_bytes|node_memory_Mapped_bytes|node_memory_MemAvailable_bytes|node_memory_MemFree_bytes|node_memory_MemTotal_bytes|node_memory_SReclaimable_bytes|node_memory_SUnreclaim_bytes|node_memory_ShmemHugePages_bytes|node_memory_ShmemPmdMapped_bytes|node_memory_Shmem_bytes|node_memory_Slab_bytes|node_memory_SwapTotal_bytes|node_memory_VmallocChunk_bytes|node_memory_VmallocTotal_bytes|node_memory_VmallocUsed_bytes|node_memory_WritebackTmp_bytes|node_memory_Writeback_bytes|node_netstat_Icmp6_InErrors|node_netstat_Icmp6_InMsgs|node_netstat_Icmp6_OutMsgs|node_netstat_Icmp_InErrors|node_netstat_Icmp_InMsgs|node_netstat_Icmp_OutMsgs|node_netstat_IpExt_InOctets|node_netstat_IpExt_OutOctets|node_netstat_TcpExt_ListenDrops|node_netstat_TcpExt_ListenOverflows|node_netstat_TcpExt_TCPSynRetrans|node_netstat_Tcp_InErrs|node_netstat_Tcp_InSegs|node_netstat_Tcp_OutRsts|node_netstat_Tcp_OutSegs|node_netstat_Tcp_RetransSegs|node_netstat_Udp6_InDatagrams|node_netstat_Udp6_InErrors|node_netstat_Udp6_NoPorts|node_netstat_Udp6_OutDatagrams|node_netstat_Udp6_RcvbufErrors|node_netstat_Udp6_SndbufErrors|node_netstat_UdpLite_InErrors|node_netstat_Udp_InDatagrams|node_netstat_Udp_InErrors|node_netstat_Udp_NoPorts|node_netstat_Udp_OutDatagrams|node_netstat_Udp_RcvbufErrors|node_netstat_Udp_SndbufErrors|node_network_carrier|node_network_info|node_network_mtu_bytes|node_network_receive_bytes_total|node_network_receive_compressed_total|node_network_receive_drop_total|node_network_receive_errs_total|node_network_receive_fifo_total|node_network_receive_multicast_total|node_network_receive_packets_total|node_network_speed_bytes|node_network_transmit_bytes_total|node_network_transmit_compressed_total|node_network_transmit_drop_total|node_network_transmit_errs_total|node_network_transmit_fifo_total|node_network_transmit_multicast_total|node_network_transmit_packets_total|node_network_transmit_queue_length|node_network_up|node_nf_conntrack_entries|node_nf_conntrack_entries_limit|node_os_info|node_sockstat_FRAG6_inuse|node_sockstat_FRAG_inuse|node_sockstat_RAW6_inuse|node_sockstat_RAW_inuse|node_sockstat_TCP6_inuse|node_sockstat_TCP_alloc|node_sockstat_TCP_inuse|node_sockstat_TCP_mem|node_sockstat_TCP_mem_bytes|node_sockstat_TCP_orphan|node_sockstat_TCP_tw|node_sockstat_UDP6_inuse|node_sockstat_UDPLITE6_inuse|node_sockstat_UDPLITE_inuse|node_sockstat_UDP_inuse|node_sockstat_UDP_mem|node_sockstat_UDP_mem_bytes|node_sockstat_sockets_used|node_softnet_dropped_total|node_softnet_processed_total|node_softnet_times_squeezed_total|node_systemd_unit_state|node_textfile_scrape_error|node_time_zone_offset_seconds|node_timex_estimated_error_seconds|node_timex_maxerror_seconds|node_timex_offset_seconds|node_timex_sync_status|node_uname_info|node_vmstat_oom_kill|node_vmstat_pgfault|node_vmstat_pgmajfault|node_vmstat_pgpgin|node_vmstat_pgpgout|node_vmstat_pswpin|node_vmstat_pswpout|process_max_fds|process_open_fds"
    action        = "keep"
  }
}

loki.relabel "logs_integrations_linux" {
  forward_to = [loki.write.logs_integrations_linux.receiver]
  rule {
    target_label = "job"
    replacement  = "integrations/node_exporter"
  }
  rule {
    target_label = "instance"
    replacement  = "IP VM"
  }
}

journal_module "logs_integrations_linux" {
  forward_to = [loki.relabel.logs_integrations_linux.receiver]
}

//JOURNAL
declare "journal_module" {
  argument "forward_to" {
      optional = false
  }

  loki.source.journal "default"  {
      max_age       = "12h0m0s"
      forward_to    = [loki.process.default.receiver]
      relabel_rules = loki.relabel.default.rules
  }
  loki.relabel "default" {
      rule {
          source_labels = ["__journal__systemd_unit"]
          target_label  = "unit"
      }
      rule {
          source_labels = ["__journal__boot_id"]
          target_label  = "boot_id"
      }
      rule {
          source_labels = ["__journal__transport"]
          target_label  = "transport"
      }
      rule {
          source_labels = ["__journal_priority_keyword"]
          target_label  = "level"
      }
      forward_to    = []
  }
  loki.process "default" {
      forward_to    = argument.forward_to.value
  }
}

Thay các trường ở file cấu hình trên, trong đó:

Trường	Ý nghĩa	Giá trị mẫu
url	Endpoint của dịch vụ APM trên giao diện Console	https://metrics-0qcs3dsvvva.apm.vnptplatform.vn/api/v1/push
Authorization	Token của dịch vụ APM trên giao diện Console	a5130b91-ff9b-41ef-8722-9d923a574123
IP VM	IP của VM	10.168.10.78

3. Cài đặt

Sau khi lưu file cấu hình, thực hiện lệnh sau để chạy dịch vụ:

sudo systemctl restart alloy

4. Kiểm tra

4.1 Kiểm tra dịch vụ

Thực hiện lệnh sau:

sudo systemctl status alloy

Kết quả nếu thành công:

 alloy.service - Vendor-agnostic OpenTelemetry Collector distribution with programmable pipelines
    Loaded: loaded (/lib/systemd/system/alloy.service; enabled; vendor preset: enabled)
    Active: active (running) since Wed 2025-04-23 10:44:50 +07; 5s ago
      Docs: https://grafana.com/docs/alloy
  Main PID: 3119454 (alloy)
     Tasks: 13 (limit: 9385)
    Memory: 61.3M
       CPU: 848ms
    CGroup: /system.slice/alloy.service
            └─3119454 /usr/bin/alloy run --server.http.listen-addr=0.0.0.0:30000 --storage.path=/var/lib/alloy/data /etc/alloy/config.alloy

Nếu chưa thành công, thực hiện lệnh sau để xem log của Alloy:

sudo journalctl -u alloy

Sau đó, sửa lại giá trị của cấu hình và restart lại Alloy:

sudo systemctl restart alloy

4.2 Kiểm tra tích hợp

Tham khảo hướng dẫn tích hợp dashboard, kiểm tra metrics VM Linux trên giao diện Dashboard:

Một số dashboard mẫu khi tích hợp thành công: