Библиотека знаний - software:monitoring

Docker Swarm + Loki + Fluent Bit + Fluentd + Grafana

Anonymous (anonymous@undisclosed.example.com) — 2025-11-24T23:50:07+00:00

[loki, docker, swarm, fluent-bit, fluentd, grafana]

Docker Swarm + Loki + Fluent Bit + Fluentd + Grafana

Версии:

grafana/loki:3.5.8
grafana/grafana:10.2.2
fluent/fluent-bit:1.6.6
fluentd/fluentd:v1.19-1

Docker Swarm + Fluent Bit + Loki + Grafana

Anonymous (anonymous@undisclosed.example.com) — 2025-11-25T22:48:55+00:00

[loki, docker, swarm, fluent-bit, grafana]

Docker Swarm + Fluent Bit + Loki + Grafana

Версии:

Настройки

[[ loki_config ]]

auth_enabled: false

server:
  http_listen_port: 3100

common:
  instance_addr: 127.0.0.1
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2020-10-24
      store: tsdb
      object_store: filesystem
      schema: v13
      index:
        prefix: index_
        period: 24h

ruler:
  alertmanager_url: http://localhost:9093

limits_config:
  retention_period: 720h
  reject_old_samples: true
  reject_old_samples_max_age: 720h
  allow_structured_metadata: true
  max_query_length: 721h
  
ingester:
  lifecycler:
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 1h
  max_chunk_age: 1h
  chunk_target_size: 1048576
  chunk_retain_period: 30s

table_manager:
  retention_deletes_enabled: true
  retention_period: 720h

[[ fluent_bit_config ]]

[SERVICE]
    flush                     1
    log_level                 info
    daemon                    off
    storage.path              /var/log/flb-storage/
    storage.sync              normal
    storage.checksum          off
    storage.max_chunks_up     128
    storage.backlog.mem_limit 10M
    parsers_file              parsers.conf
    http_server               on
    http_listen               0.0.0.0
    http_port                 2020
 
[INPUT]
    Name              tail
    Path              /var/lib/docker/containers/*/*.log
    Parser            docker
    Refresh_Interval  10
    #Ignore_Older      1h
    Docker_Mode       On
    Tag               docker.<file_name>
    Tag_Regex         (?<file_name>[a-z0-9]*)-json.log
    Mem_Buf_Limit     50MB
    Skip_Long_Lines   On
    DB                /var/log/flb-storage/flb_db.db
    DB.sync           normal
    Storage.Type      filesystem
    Read_from_Head    true
 
[INPUT]
    Name              systemd
    Tag               host.*
    Systemd_Filter    _SYSTEMD_UNIT=docker.service
    DB                /var/log/flb-storage/flb_systemd.db
    Read_From_Tail    true
 
# Получаем метаданные контейнера через Lua
[FILTER]
    name                lua
    match               docker.*
    script              /fluent-bit/bin/docker-metadata.lua
    call                enrich_with_docker_metadata
 
# Для отладки скрипта
# [OUTPUT]
#     name                stdout
#     match               docker.*
#     format              json
 
# Копируем нужные поля в docker.* ДО создания data.*
[FILTER]
    name                modify
    match               docker.*
    copy                docker.hostname hostname
    copy                docker.container_started started
    copy                docker.container_name container_name
    copy                docker.container_name service_name
    copy                docker.container_id container_id
    copy                docker.state state
    copy                docker.stream stream
    copy                docker.label_project project
    copy                docker.label_service service
    copy                docker.label_logging logging
    copy                docker.label_logging_jobname logging_jobname
 
[FILTER]
    name              grep
    match             docker.*
    Exclude           docker.log ^$
    Exclude           docker.log ^\s\s+
    Exclude           docker.log ^\s*$
    Exclude           docker.log ^(\r?\n)?$
    Exclude           docker.log (.*fluent).+
    Exclude           container_name (.*fluent).+
 
# Создаем data.* ТОЛЬКО если logging = enabled
[FILTER]
    name                rewrite_tag
    match               docker.*
    rule                $logging ^enabled$ data.$container_id true
 
# Очищаем data.* - оставляем ТОЛЬКО нужные поля
[FILTER]
    name                record_modifier
    match               data.*
    whitelist_key       log
    whitelist_key       started
    whitelist_key       hostname
    whitelist_key       state
    whitelist_key       labels
    whitelist_key       container_id
    whitelist_key       container_name
    whitelist_key       service_name
    whitelist_key       project
    whitelist_key       service
    whitelist_key       logging
    whitelist_key       logging_jobname
    whitelist_key       stream
 
# Добавляем метаданные Swarm
[FILTER]
    name                modify
    match               data.*
    set                 node_id ${NODE_ID}
    set                 node_name ${NODE_NAME}
    set                 host_name ${NODE_NAME}
 
# [OUTPUT]
#     name                loki
#     match               data.*
#     host                loki
#     port                3100
#     labels              job=docker_swarm, node_name=$node_name, container_id=$container_id, container_name=$container_name, service_name=$service_name, project=$project, service=$service
#     label_keys          $node_name,$container_id,$container_name,$service_name,$project,$service
#     line_format         json
#     auto_kubernetes_labels off
 
[OUTPUT]
    name                stdout
    match               data.*
    format              json

storage.path: определяет путь в контейнере, где будут храниться буферные файлы. Должен совпадать с точкой монтирования volume.
storage.type filesystem: включает файловую буферизацию для input-плагина, обеспечивая сохранность данных при перезапусках .
storage.max_chunks_up: ограничивает количество чанков (блоков данных) в памяти, контролируя потребление RAM (по умолчанию ~256 МБ).
storage.backlog.mem_limit: задает лимит памяти для обработки неотправленных данных (backlog) после перезапуска.
parser=PARSER
multiline.parser=MULTILINE_PARSER

[[ fluent_bit_parser ]]

[PARSER]
    Name        docker
    Format      json
    Time_Key    time
    Time_Format %Y-%m-%dT%H:%M:%S
    Time_Keep   On

Plugins

docker_metadata

docker-metadata.lua

-- https://github.com/fluent/fluent-bit/issues/1499 (@konstantin-kornienko)
-- A few little tweak was made to parse Docker Swarm metadata with fluent-bit (@ziwon)
DOCKER_VAR_DIR = '/var/lib/docker/containers/'
DOCKER_CONTAINER_CONFIG_FILE = '/config.v2.json'
CACHE_TTL_SEC = 300
 
-- Key-value pairs to get metadata.
DOCKER_CONTAINER_METADATA = {
  ['docker.container_name'] = '\"Name\":\"/?(.-)\"',
  ['docker.container_image'] = '\"Image\":\"/?(.-)\"',
  ['docker.container_started'] = '\"StartedAt\":\"/?(.-)\"',
  ['docker.hostname'] = '\"Hostname\":\"/?(.-)\"',
  ['docker.environment'] = '\"Env\":%[/?(.-)%]',
  ['docker.labels'] = '\"Labels\":%{/?(.-)%}',
  ['docker.state'] = '\"State\":%{/?(.-)%}',
}
 
-- Additional metadata for Swarm
DOCKER_CONTAINER_CHILD_METADATA = {
  ['docker.environment'] = '\"/?(.-)=/?(.-)\",',
  ['docker.labels'] = '\"/?(.-)\":\"/?(.-)\",',
  ['docker.state'] = '\"/?(.-)\":\"?/?(.-)\"?,',
}
 
cache = {}
 
-- Print table in a recursive way
-- https://gist.github.com/hashmal/874792
function tprint (tbl, indent)
  if not indent then indent = 0 end
  for k, v in pairs(tbl) do
    formatting = string.rep("  ", indent) .. k .. ": "
    if type(v) == "table" then
      print(formatting)
      tprint(v, indent+1)
    else
      print(formatting .. v)
    end
  end
end
 
-- Apply regular expression map to the given string
function apply_regex_map(data_tbl, reg_tbl, func, str)
  if str then
    for key, regex in pairs(reg_tbl) do
        data_tbl[key] = func(str, regex)
    end
  else
    for key, regex in pairs(reg_tbl) do
      local tbl = {}
      for k, v in func(data_tbl[key], regex) do
        tbl[k] = v
      end
      data_tbl[key] = tbl
    end
  end
  return data_tbl
end
 
-- Get container id from tag
function get_container_id_from_tag(tag)
  return tag:match'^[^%.]+%.([a-f0-9]+)$'
end
 
-- Gets metadata from config.v2.json file for container
function get_container_metadata_from_disk(container_id)
  local docker_config_file = DOCKER_VAR_DIR .. container_id .. DOCKER_CONTAINER_CONFIG_FILE
  fl = io.open(docker_config_file, 'r')
  if fl == nil then
    return nil
  end
 
  -- parse json file and create record for cache
  local data = { time = os.time() }
  local reg_match = string.match
  local reg_gmatch = string.gmatch
  for line in fl:lines() do
    data = apply_regex_map(
      data,
      DOCKER_CONTAINER_METADATA,
      reg_match,
      line
    )
    data = apply_regex_map(
      data,
      DOCKER_CONTAINER_CHILD_METADATA,
      reg_gmatch
    )
  end
  fl:close()
 
  if next(data) == nil then
    return nil
  else
    return data
  end
end
 
function set_log_level(record)
  local log_msg = record['log'] or ''
  local lower_msg = log_msg:lower()
 
  if lower_msg:find('level=error') then record['stream'] = 'error'
  elseif lower_msg:find('level=warn') then record['stream'] = 'warning'
  elseif lower_msg:find('level=info') then record['stream'] = 'info'
  elseif lower_msg:find('level=debug') then record['stream'] = 'debug'
  else record['stream'] = 'info' end
end
 
function enrich_with_docker_metadata(tag, timestamp, record)
  -- print("LUA SCRIPT CALLED! Tag: " .. (tag or "nil"))
 
  -- Get container id from tag
  container_id = get_container_id_from_tag(tag)
 
  if not container_id then
    -- print("No container_id - skipping")
    return 0, 0, 0
  end
 
  -- Add container_id to record
  new_record = record
  new_record['docker.container_id'] = container_id
 
  -- Check if we have fresh cache record for container
  local cached_data = cache[container_id]
  if cached_data == nil or ( os.time() - cached_data['time'] > CACHE_TTL_SEC) then
    cached_data = get_container_metadata_from_disk(container_id)
    cache[container_id] = cached_data
    new_record['source'] = 'disk'
  else
    new_record['source'] = 'cache'
  end
 
  -- Metadata found in cache or got from disk, enrich record
  if cached_data then
    for key, regex in pairs(DOCKER_CONTAINER_METADATA) do
      new_record[key] = cached_data[key]
    end
 
    for key, regex in pairs(DOCKER_CONTAINER_CHILD_METADATA) do
      new_record[key] = cached_data[key]
    end
  end
 
  -- Extracted labels
  if cached_data and cached_data['docker.labels'] then
    new_record['docker.label_project'] = cached_data['docker.labels']['com.docker.compose.project']
    new_record['docker.label_service'] = cached_data['docker.labels']['com.docker.compose.service']
    new_record['docker.label_logging'] = cached_data['docker.labels']['logging']
    new_record['docker.label_logging_jobname'] = cached_data['docker.labels']['logging_jobname']
  end
 
  -- Set log level based on log content
  set_log_level(new_record)
 
  -- print("Returning enriched record")
  return 1, timestamp, new_record
end

Docker Compose

monitoring

version: "3.8"

x-logging: &default-logging
  driver: "json-file"
  options:
    max-size: "10m"
    max-file: "3"
    tag: "{{.Name}}/{{.ImageName}}"

x-labels: &default-labels
  logging: "enabled"
  logging_jobname: "docker_swarm"
  monitoring: "true"

services:
  loki:
    image: grafana/loki:3.5.8
    ports:
      - "3100:3100"
    configs:
      - source: loki_config
        target: /etc/loki/local-config.yaml
    volumes:
      - loki_data:/loki
    command: -config.file=/etc/loki/local-config.yaml
    networks:
      - monitoring
    deploy:
      placement:
        constraints:
          - node.role == manager
    logging: *default-logging
    labels:
      <<: *default-labels
      service: "loki"
      component: "logging"

  fluent-bit:
    image: fluent/fluent-bit:4.2.0
    configs:
      - source: fluent_bit_config
        target: /fluent-bit/etc/fluent-bit.conf
      - source: fluent_bit_parser
        target: /fluent-bit/etc/parsers.conf
      - source: docker_metadata
        target: /fluent-bit/bin/docker-metadata.lua
    environment:
      - NODE_ID={{.Node.ID}}
      - NODE_NAME={{.Node.Hostname}}
    networks:
      - monitoring
    volumes:
      - flb_storage:/var/log/flb-storage/
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
    deploy:
      mode: global
    logging: *default-logging
    labels:
      <<: *default-labels
      service: "fluent-bit"
      component: "logging"

  grafana:
    image: grafana/grafana:12.1.4
    ports:
      - "3000:3000"
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=admin
      - GF_SECURITY_ADMIN_USER=admin
    volumes:
      - grafana_data:/var/lib/grafana
    networks:
      - monitoring
    deploy:
      placement:
        constraints:
          - node.role == manager
    logging: *default-logging
    labels:
      <<: *default-labels
      service: "grafana"
      component: "monitoring"

configs:
  loki_config:
    external: true
  fluent_bit_config:
    external: true
  fluent_bit_parser:
    external: true
  docker_metadata:
    external: true

networks:
  monitoring:
    driver: overlay

volumes:
  flb_storage:
    driver: local
  loki_data:
    driver: local
  grafana_data:
    driver: local

Встраивание в docker-compose

x-logging: &default-logging
  driver: "json-file"
  options:
    max-size: "10m"
    max-file: "3"
    tag: "{{.Name}}/{{.ImageName}}"

x-labels: &default-labels
  logging: "enabled"
  logging_jobname: "docker_swarm"
  monitoring: "true"

services:

  loki:
    logging: *default-logging
    labels:
      <<: *default-labels
      service: "grafana"
      component: "monitoring"

Fluent-Bit

Anonymous (anonymous@undisclosed.example.com) — 2025-12-06T21:00:30+00:00

Fluent-Bit

FluentBit собирает, парсит и фильтрует сообщения из контейнеров, сохраняя их в хранилище Loki. Конфигурационные файлы fluent-bit.conf и parsers.conf расположены в папке /var/log/flb-storage/.

Встроенные парсеры

docker — поддерживает объединение больших записей логов, разделённых движком контейнера Docker.
cri — обрабатывает запись лога, генерированную движком контейнера CRI-O, поддерживает объединение записей логов.
go — обрабатывает записи логов, генерируемые приложением на языке Go, и выполняет объединение, если обнаружены мультистроковые сообщения.
python — обрабатывает записи логов, генерируемые приложением на языке Python, и выполняет объединение, если обнаружены мультистроковые сообщения.

Service

Flush 5 — интервал (в секундах), через который Fluent Bit будет отправлять собранные данные (логи) в Loki;
Daemon Off — указывает, что Fluent Bit не будет работать в фоновом режиме (демоне);
Parsers_File parsers.conf — задает файл, в котором находятся определения парсеров (форматов логов).

Input

Name forward — тип входного плагина, используемого Fluent Bit для приема данных. В данном случае используется плагин forward, который позволяет принимать данные через сеть (протокол Fluentd Forward);
Listen 0.0.0.0 — указывает на то, что Fluent Bit будет слушать на всех доступных сетевых интерфейсах;
Port 24224 — порт, на котором Fluent Bit принимает входящие данные.

[INPUT]
    Name                tail
    Tag                 tenant.*
    Path                /var/log/containers/*_tenant2_webapp-*.log
    Docker_Mode         On
    Docker_Mode_Flush   5
    Docker_Mode_Parser  container_firstline
    Parser              docker
    DB                  /var/log/flb-storage/flb_container.db
    Mem_Buf_Limit       50MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Rotate_Wait         30
    storage.type        filesystem
    Read_from_Head      ${READ_FROM_HEAD}
 
 [INPUT]
     Name               tail
     Tag                kube.*
     Path               /var/log/containers/*.log
     Parser             docker
     DB                 /var/log/flb_graylog.db
     DB.Sync            Normal
     Docker_Mode        On
     Buffer_Chunk_Size  512KB
     Buffer_Max_Size    5M
     Rotate_Wait        30
     Mem_Buf_Limit      30MB
     Skip_Long_Lines    On
     Refresh_Interval   10
 
[FILTER]
     Name kubernetes
     Match kube.*
     Merge_Log On
     Merge_Log_Key log
     Keep_Log Off
     K8S-Logging.Parser On
     K8S-Logging.Exclude Off
     Annotations Off
     Labels On

[INPUT[]
    Name              tail
    Tag               kube.*
    Path              /var/log/containers/*.log
    DB                /var/log/flb_kubernetes.db
    Parser            docker
    Docker_Mode       On
    Mem_Buf_Limit     64MB
    Skip_Long_Lines   On
    Refresh_Interval  10
 
[INPUT]
    Name                tail
    Tag                 application.*
    Exclude_Path        /var/log/containers/cloudwatch-agent*, /var/log/containers/fluent-bit*, /var/log/containers/aws-node*, /var/log/containers/kube-proxy*
    Path                /var/log/containers/*.log
    Docker_Mode         On
    Docker_Mode_Flush   5
    Docker_Mode_Parser  container_firstline
    Parser              docker
    DB                  /var/fluent-bit/state/flb_container.db
    Mem_Buf_Limit       50MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Rotate_Wait         30
    storage.type        filesystem
 
[INPUT]
    Name                tail
    Tag                 user-api.*
    Path                /var/log/containers/user-api*.log
    Docker_Mode         On
    Docker_Mode_Flush   5
    Docker_Mode_Parser  container_firstline_user
    Parser              docker
    DB                  /var/fluent-bit/state/flb_user_api.db
    Mem_Buf_Limit       50MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Rotate_Wait         30
    storage.type        filesystem
    Read_from_Head      ${READ_FROM_HEAD}
 
[INPUT]
  Name                tail
  Tag                 application.*
  Exclude_Path        /var/log/containers/cloudwatch-agent*, /var/log/containers/fluent-bit*, /var/log/containers/aws-node*, /var/log/containers/kube-proxy*
  Path                /var/log/containers/*.log
  Docker_Mode         On
  Docker_Mode_Flush   5
  Docker_Mode_Parser  container_firstline
  Parser              docker
  DB                  /var/fluent-bit/state/flb_container.db
  Mem_Buf_Limit       50MB
  Skip_Long_Lines     On
  Refresh_Interval    10
  Rotate_Wait         30
  Read_from_Head      Off
 
[INPUT]
  Name                tail
  Tag                 application.*
  Path                /var/log/containers/fluent-bit*
  Parser              docker
  DB                  /var/fluent-bit/state/flb_log.db
  Mem_Buf_Limit       5MB
  Skip_Long_Lines     On
  Refresh_Interval    10
  Read_from_Head      Off
 
[INPUT]
  Name                tail
  Tag                 application.*
  Path                /var/log/containers/cloudwatch-agent*
  Multiline.parser    docker,cri
  # Docker_Mode         On
  # Docker_Mode_Flush   5
  # Docker_Mode_Parser  cwagent_firstline
  #Parser              docker
  DB                  /var/fluent-bit/state/flb_cwagent.db
  rotate_wait         15
  Mem_Buf_Limit       5MB
  Skip_Long_Lines     On
  Refresh_Interval    10
  #Read_from_Head      true  
 
[INPUT]
    Name             tail
    Path             /var/log/containers/abc-*.log, /var/log/containers/def-*.log, /var/log/containers/ghi-*.log, /var/log/containers/jkl-*.log, /var/log/containers/mno-*.log
    Exclude_Path     /var/log/containers/aggregator-fluent-bit-*_logging_fluent-bit-*.log, /var/log/containers/aws-node*.log, /var/log/containers/collector-fluent-bit-*_logging_fluent-bit-*.log, /var/log/containers/kube-proxy*.log
    DB               /var/fluent-bit/state/flb_container.db
    multiline.parser docker, cri
    Tag              kube.*
    threaded         on
    Mem_Buf_Limit    32MB
    Skip_Long_Lines  On
    Skip_Empty_Lines On
    Refresh_Interval 10
    Rotate_Wait      30
 
    # Buffering & Storage (https://docs.fluentbit.io/manual/administration/buffering-and-storage#input-section-configuration)
    storage.type     filesystem

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Docker_Mode On
    Docker_Mode_Parser python-multiline

[INPUT]
    Name             tail
    Path             /var/log/containers/*.log
    Parser           docker
    Tag              kube.*
    Refresh_Interval 5
    Mem_Buf_Limit    5MB
    Skip_Long_Lines  On
    DB               /tail-db/tail-containers-state.db
    DB.Sync          Normal
    Ignore_Older 2d
    Multiline On
    Multiline_Flush 5
    Parser_Firstline first_line

Filter

Name parser — тип фильтра. Фильтр parser, который применяет парсеры для обработки данных;
Parser docker — задает парсер для Docker-логов;
Match _ — задает шаблон для сопоставления входящих данных с фильтром. Символ _ означает, что фильтр применяется ко всем входным данным;
Key_Name log — указывает, какое поле данных необходимо парсить. В данном случае поле с именем log;
Reserve_Data true — сохранение оригинальных данных после их обработки фильтром;
Preserve_Key false — после парсинга исходное поле (в данном случае log) будет удалено.

    [MULTILINE_PARSER]
        name          multiline-docker-python
        type            regex
        flush_timeout 3000
        # fluent-bit is not looking at the log field to run the regex below 
        key_content log
 
        # rules |   state name  | regex pattern                           | next state
        # ------|---------------|-------------------------------------------------------
        rule      "start_state"   "/(\d+-\d+-\d+ \d+:\d+:\d+,\d+):(.*)/"    "cont"
        rule      "cont"          "^((?!\d+-\d+-\d+ \d+:\d+:\d+,\d+).*)"    "cont"

[PARSER]
    Name python-multiline
    Format regex
    Regex /(?<time>\d+-\d+-\d+ \d+:\d+:\d+,\d+):(?<message>.*)/
    Time_Key  time
    Time_Format %F %H:%M:%S,%L
    Input:

[PARSER]
    Name        springboot
    Format      regex
    Regex       (?<time>\d{4}-\d{1,2}-\d{1,2} \d{1,2}:\d{1,2}:\d{1,2}.\d{1,3}) (?<level>[^ ]*) (?<number>\d*) --- (?<thread>\[[^ ]*) (?<logger>[^ ]*) *: (?<message>[^ ].*)$
    Time_Key    time
    Time_Format %Y-%m-%d %H:%M:%S.%L
 
[PARSER]
    Name         docker
    Format       json
    Time_Key     time
    Time_Format  %Y-%m-%dT%H:%M:%S.%L
    Time_Keep    On
    # Command      |  Decoder | Field | Optional Action
    # =============|==================|=================
    Decode_Field_As   escaped    log

    [FILTER]
        Name                parser
        Match               kube.*
        Key_Name            log
        Parser              parser_json
        Parser              parser_logs
 
    [PARSER]
        Name   parser_logs
        Format regex
        Regex  ^(?<time_stamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}): (?<environment>.*?): (?<hostname>.*?): (?<module>.*?)::(?<line>\d+) (?<log_level>[A-Z]+): (?<message>[a-zA-Z0-9 _.,:()'"!¡]*)$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z
    [PARSER]
        Name   parser_json
        Format regex
        Regex  ^(?<time_stamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}): (?<environment>.*?): (?<hostname>.*?): (?<module>.*?)::(?<line>\d+) (?<log_level>[A-Z]+): (?<message>[^{]*)(?<message_additional>{.*)$
        Time_Key time
        Time_Format %d/%b/%Y:%H:%M:%S %z
        Decode_Field_As   escaped_utf8       message_additional    do_next
        Decode_Field_As   escaped            message_additional    do_next
        Decode_Field_As   json               message_additional
    [PARSER]
        Name        container_firstline
        Format      regex
        Regex       (?<log>(?<="log":")\S(?!\.).*?)(?<!\\)".*(?<stream>(?<="stream":").*?)".*(?<time>\d{4}-\d{1,2}-\d{1,2}T\d{2}:\d{2}:\d{2}\.\w*).*(?=})
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%LZ
    [PARSER]
        Name        docker
        Format      json
        Time_Key    @timestamp
        Time_Format %Y-%m-%dT%H:%M:%S.%L
        Time_Keep   Off

[MULTILINE_PARSER]
    name          multiline-regex
    type          regex
    flush_timeout 1000
 
 
    # rules |   state name  | regex pattern                    | next state
    # ------|---------------|----------------------------------|-----------
    rule      "start_state"   "/(Dec \d+ \d+\:\d+\:\d+)(.*)/"    "cont"
    rule      "cont"          "/^\s+at.*/"                       "cont"

Output

Name grafana-loki — плагин для отправки данных в систему Grafana Loki, которая занимается сбором и хранением логов;
Match * — отправляет все данные (все потоки логов);
Url ${LOKI_URL} — URL, куда отправляются данные, задан в файле docker-compose.yml. LOKI_URL=http://loki:3100/loki/api/v1/push;
RemoveKeys container_id — удаляет ключи container_id из отправляемых данных, чтобы не отправлять ненужные поля в Loki;
Labels {service_name="planr"} — добавляет статическую метку (label) service_name="planr" к каждому потоку логов. Эти метки используются в Loki для облегчения поиска и фильтрации логов;
LabelKeys level, source — указывает, какие ключи из логов использовать для динамических меток. В данном случае метки будут добавляться на основе полей level (уровень логов) и source (источник данных);
BatchWait 1s — Fluent Bit ждет 1 секунду перед отправкой данных в батче;
BatchSize 1001024 — максимальный размер батча для отправки данных — 1 МБ (1001024 байта);
LineFormat json — отправляет данные в формате JSON.
Name file - Плагин вывода file позволяет записывать данные, полученные через плагин ввода в файл;
Match * — отправляет все данные (все потоки логов);
Path - путь к каталогу для хранения файлов.

[SERVICE]
  Flush                     1
  Daemon                    Off
  Log_Level                 info
  Parsers_File              parsers.conf
  Parsers_File              custom_parsers.conf
  HTTP_Server               On
  HTTP_Listen               0.0.0.0
  HTTP_Port                 2020
 
[INPUT]
  Name                      tail
  Path                      /var/log/containers/*.log
  Parser                    docker
  Tag                       kube.*
  Mem_Buf_Limit             4MB
  Skip_Long_Lines           On
  Skip_Empty_Lines          On
 
[FILTER]
  Name                      kubernetes
  Match                     kube.*
  Merge_Log                 On
  Keep_Log                  On
  K8S-Logging.Parser        On
  K8S-Logging.Exclude       On
 
[OUTPUT]
  Name                      loki
  Match                     kube.*
  Host                      loki.logging.svc.cluster.local
  Port                      3100
  Labels                    job=fluent, namespace=$kubernetes['namespace_name'], pod=$kubernetes['pod_name'], container=$kubernetes['container_name']
  Auto_kubernetes_labels    off
  Line_format               json

[SERVICE]
    Flush         2
    Log_Level     info
    Daemon        Off
    Parsers_File  parsers.conf
    Parsers_File  custom_parsers.conf
    HTTP_Server   On
    HTTP_Listen   0.0.0.0
    HTTP_Port     2020
 
[INPUT]
    Name                tail
    Tag                 application.*
    Exclude_Path        /var/log/containers/cloudwatch-agent*, /var/log/containers/fluent-bit*, /var/log/containers/aws-node*, /var/log/containers/kube-proxy*
    Path                /var/log/containers/*.log
    Docker_Mode         On
    Docker_Mode_Flush   5
    Docker_Mode_Parser  container_firstline
    Parser              docker
    DB                  /var/fluent-bit/state/flb_container.db
    Mem_Buf_Limit       50MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Rotate_Wait         30
    Read_from_Head      Off
 
[INPUT]
    Name                tail
    Tag                 application.*
    Path                /var/log/containers/fluent-bit*
    Parser              docker
    DB                  /var/fluent-bit/state/flb_log.db
    Mem_Buf_Limit       5MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Read_from_Head      Off
 
[INPUT]
    Name                tail
    Tag                 application.*
    Path                /var/log/containers/cloudwatch-agent*
    #Parser              multiline
    Docker_Mode         On
    Docker_Mode_Flush   5
    Docker_Mode_Parser  cwagent_firstline
    Parser              docker
    DB                  /var/fluent-bit/state/flb_cwagent.db
    rotate_wait         15
    Mem_Buf_Limit       5MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    #Read_from_Head      true   
 
[FILTER]
    Name                kubernetes
    Match               application.*
    Kube_URL            https://kubernetes.default.svc:443
    Kube_CA_File        /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    Kube_Token_File     /var/run/secrets/kubernetes.io/serviceaccount/token
    Kube_Tag_Prefix     application.var.log.containers.
    Merge_Log           On
    Merge_Log_Key       pod_name
    K8S-Logging.Parser  On
    K8S-Logging.Exclude Off
    Labels              Off
    Annotations         Off
 
[FILTER]
    Name                multiline
    Match               application.*
    multiline.key_content log
    multiline.parser      go, multiline-regex-test
 
[OUTPUT]
    Name                cloudwatch_logs
    Match               application.*
    region              ${REGION}
    log_group_name      /aws/containerinsights/${CLUSTER_NAME}/application
    log_stream_prefix   ${APP_POD_NAMESPACE}-
    auto_create_group   true
    extra_user_agent    container-insights
 
[INPUT]
    Name                systemd
    Tag                 dataplane.systemd.*
    Systemd_Filter      _SYSTEMD_UNIT=docker.service
    Systemd_Filter      _SYSTEMD_UNIT=kubelet.service
    DB                  /var/fluent-bit/state/systemd.db
    Path                /var/log/journal
    Read_From_Tail      Off
 
[INPUT]
    Name                tail
    Tag                 dataplane.tail.*
    Path                /var/log/containers/aws-node*, /var/log/containers/kube-proxy*
    Docker_Mode         On
    Docker_Mode_Flush   5
    Docker_Mode_Parser  container_firstline
    Parser              docker
    DB                  /var/fluent-bit/state/flb_dataplane_tail.db
    Mem_Buf_Limit       50MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Rotate_Wait         30
    Read_from_Head      Off
 
[FILTER]
    Name                modify
    Match               dataplane.systemd.*
    Rename              _HOSTNAME                   hostname
    Rename              _SYSTEMD_UNIT               systemd_unit
    Rename              MESSAGE                     message
    Remove_regex        ^((?!hostname|systemd_unit|message).)*$
 
[FILTER]
    Name                aws
    Match               dataplane.*
    imds_version        v1
 
[OUTPUT]
    Name                cloudwatch_logs
    Match               dataplane.*
    region              ${REGION}
    log_group_name      /aws/containerinsights/${CLUSTER_NAME}/dataplane
    log_stream_prefix   ${APP_POD_NAMESPACE}-${APP_POD_NAME}-
    auto_create_group   true
    extra_user_agent    container-insights
 
[INPUT]
    Name                tail
    Tag                 host.dmesg
    Path                /var/log/dmesg
    Parser              syslog
    DB                  /var/fluent-bit/state/flb_dmesg.db
    Mem_Buf_Limit       5MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Read_from_Head      Off
 
[INPUT]
    Name                tail
    Tag                 host.messages
    Path                /var/log/messages
    Parser              syslog
    DB                  /var/fluent-bit/state/flb_messages.db
    Mem_Buf_Limit       5MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Read_from_Head      Off
 
[INPUT]
    Name                tail
    Tag                 host.secure
    Path                /var/log/secure
    Parser              syslog
    DB                  /var/fluent-bit/state/flb_secure.db
    Mem_Buf_Limit       5MB
    Skip_Long_Lines     On
    Refresh_Interval    10
    Read_from_Head      Off
 
[FILTER]
    Name                aws
    Match               host.*
    imds_version        v1
 
[OUTPUT]
    Name                cloudwatch_logs
    Match               host.*
    region              ${REGION}
    log_group_name      /aws/containerinsights/${CLUSTER_NAME}/host
    log_stream_prefix   ${APP_NODE_NAME}.
    auto_create_group   true
    extra_user_agent    container-insights

Примеры

Prometheus - Система мониторинга и оповещения с открытым исходным кодом.

Anonymous (anonymous@undisclosed.example.com) — 2025-11-25T00:26:23+00:00

[loki, docker, swarm, promtail, grafana, monitoring, fluentd, fluent-bit, prometheus

Prometheus - Система мониторинга и оповещения с открытым исходным кодом.

Docker Compose

services:
  prometheus:
      image: prom/prometheus:latest
      container_name: monitoring_prometheus
      restart: unless-stopped
      volumes:
        - ./data/prometheus/config:/etc/prometheus/
        - ./data/prometheus/data:/prometheus
      command:
        - '-config.file=/etc/prometheus/prometheus.yml'
        - '-storage.local.path=/prometheus'
        - '-alertmanager.url=http://alertmanager:9093'
      expose:
        - 9090
      ports:
        - 9090:9090
      links:
        - cadvisor:cadvisor
        - node-exporter:node-exporter

    node-exporter:
      image: prom/node-exporter:latest
      container_name: monitoring_node_exporter
      restart: unless-stopped
      expose:
        - 9100

services:
  grafana:
      image: grafana/grafana:latest
      container_name: monitoring_grafana
      restart: unless-stopped
      links:
        - prometheus:prometheus
      volumes:
        - ./data/grafana:/var/lib/grafana
      environment:
        - GF_SECURITY_ADMIN_PASSWORD=MYPASSWORT
        - GF_USERS_ALLOW_SIGN_UP=false
        - GF_SERVER_DOMAIN=myrul.com
        - GF_SMTP_ENABLED=true
        - GF_SMTP_HOST=smtp.gmail.com:587
        - GF_SMTP_USER=myadrress@gmail.com
        - GF_SMTP_PASSWORD=mypassword
        - GF_SMTP_FROM_ADDRESS=myaddress@gmail.com

prometheus.yml

# my global config
global:
  scrape_interval:     120s # By default, scrape targets every 15 seconds.
  evaluation_interval: 120s # By default, scrape targets every 15 seconds.
  # scrape_timeout is set to the global default (10s).

  # Attach these labels to any time series or alerts when communicating with
  # external systems (federation, remote storage, Alertmanager).
  external_labels:
      monitor: 'my-project'

# Load and evaluate rules in this file every 'evaluation_interval' seconds.
rule_files:
  # - "alert.rules"
  # - "first.rules"
  # - "second.rules"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # Override the global default and scrape targets from this job every 5 seconds.
    scrape_interval: 120s

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
         - targets: ['localhost:9090','cadvisor:8080','node-exporter:9100', 'nginx-exporter:9113']

Docker Swarm + Promtail + Loki + Grafana

Anonymous (anonymous@undisclosed.example.com) — 2025-12-06T23:53:32+00:00

[loki, docker, swarm, promtail, grafana]

Docker Swarm + Promtail + Loki + Grafana

Fluentd, Fluentd Bit, Logstash и Promtail являются клиентами Loki, а Distributor и Ingester — компонентами Loki.

Версии:

grafana/loki:3.5.8
grafana/promtail:3.5.8
grafana/grafana:12.1.4

Настройки

[[ loki_config ]]

auth_enabled: false

server:
  http_listen_port: 3100

common:
  instance_addr: 127.0.0.1
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2020-10-24
      store: tsdb
      object_store: filesystem
      schema: v13
      index:
        prefix: index_
        period: 24h

ruler:
  alertmanager_url: http://localhost:9093

limits_config:
  retention_period: 720h
  reject_old_samples: true
  reject_old_samples_max_age: 720h
  allow_structured_metadata: true
  max_query_length: 721h
  
ingester:
  lifecycler:
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 1h
  max_chunk_age: 1h
  chunk_target_size: 1048576
  chunk_retain_period: 30s

table_manager:
  retention_deletes_enabled: true
  retention_period: 720h

[[ promtail_config ]]

server:
  http_listen_port: 9080
  http_listen_address: 0.0.0.0

positions:
  filename: /tmp/positions.yaml
  # Запись позиций каждые 15 секунд
  sync_period: 15s

clients:
  - url: http://loki:3100/loki/api/v1/push
    backoff_config:
      min_period: 5s
      max_period: 1m
      max_retries: 10
    batchwait: 10s
    batchsize: 1048576
    timeout: 30s

scrape_configs:

  - job_name: docker_containers
    docker_sd_configs:
    
      - host: unix:///var/run/docker.sock
        refresh_interval: 15s
        filters:
          - name: label
            values: ["logging=promtail"]

    relabel_configs:

      - target_label: job
        replacement: docker_containers
      - source_labels: ['__meta_docker_container_name']
        regex: '/(.*)'
        target_label: 'container'
        action: replace
      - source_labels: ['__meta_docker_container_id']
        target_label: 'container_id'
        action: replace
 
      # Основной источник логов - stdout/stderr контейнеров
      - source_labels: ['__meta_docker_container_name']
        regex: '/(.*)'
        target_label: 'container_name'
      - source_labels: ['__meta_docker_container_log_stream']
        target_label: 'log_stream'
        action: replace
 
      # Метаданные Docker Swarm
      - source_labels: ['__meta_docker_container_label_com_docker_swarm_service_name']
        target_label: 'service_name'
      - source_labels: ['__meta_docker_container_label_com_docker_swarm_task_name']
        target_label: 'task_name'
      - source_labels: ['__meta_docker_container_label_com_docker_swarm_node_id']
        target_label: 'node_id'
      - source_labels: ['__meta_docker_container_label_com_docker_swarm_stack_namespace']
        target_label: 'stack'
 
      # Добавляем hostname ноды
      - target_label: 'node_host'
        replacement: '${HOSTNAME}'
 
      # Путь к логам контейнера
      - source_labels: ['__meta_docker_container_id']
        target_label: '__path__'
        replacement: '/var/lib/docker/containers/*-json.log'
 
    # Пайплайн для обработки логов
    pipeline_stages:
      - docker: {}
      - timestamp:
          source: current_time
          format: RFC3339

Docker Compose

monitoring

version: "3.8"

x-logging:
  &default-logging
  driver: "json-file"
  options:
    max-size: "1m"
    max-file: "1"
    tag: "{{.Name}}"

services:

  loki:
    image: grafana/loki:3.5.8
    ports:
      - "3100:3100"
    configs:
      - source: loki_config
        target: /etc/loki/local-config.yaml
    volumes:
      - loki_data:/loki
      - /etc/localtime:/etc/localtime:ro
      - /etc/timezone:/etc/timezone:ro
    command: 
      - -config.file=/etc/loki/local-config.yaml
      - -config.expand-env=true
      - -target=all
    environment:
      - TZ=${SYSTEM_TIMEZONE:-Europe/Moscow}
    networks:
      - monitoring
    deploy:
      placement:
        constraints:
          - node.role == manager
      resources:
        limits:
          memory: 2G  # Уменьшаем память
          cpus: '1.0'
        reservations:
          memory: 1G
          cpus: '0.5'
      restart_policy:
        condition: on-failure
        delay: 10s
        max_attempts: 3
    logging: *default-logging
    labels:
      logging: "promtail"
      logging_jobname: "docker_containers"
 

  promtail:
    image: grafana/promtail:3.5.8
    configs:
      - source: promtail_config
        target: /etc/promtail/config.yaml
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/log:/var/log:ro
      - promtail_positions:/tmp
      - /etc/localtime:/etc/localtime:ro
      - /etc/timezone:/etc/timezone:ro
    command: 
      - -config.file=/etc/promtail/config.yaml
      - -config.expand-env=true
    environment:
      - TZ=${SYSTEM_TIMEZONE:-Europe/Moscow}
      - HOSTNAME={{.Node.Hostname}}
    networks:
      - monitoring
    deploy:
      mode: global
      resources:
        limits:
          memory: 512M
          cpus: '0.5'
        reservations:
          memory: 256M
          cpus: '0.25'
      restart_policy:
        condition: any
        delay: 30s
        max_attempts: 10
 

  grafana:
    image: grafana/grafana:12.1.4
    ports:
      - "3000:3000"
    environment:
      - TZ=${SYSTEM_TIMEZONE:-Europe/Moscow}
      # GF
      - GF_SECURITY_ADMIN_PASSWORD=admin
      - GF_SECURITY_ADMIN_USER=admin
      - GF_USERS_ALLOW_SIGN_UP=false
      - GF_AUTH_ANONYMOUS_ENABLED=true
      - GF_AUTH_ANONYMOUS_ORG_ROLE=Viewer
      # Настройки для решения проблемы блокировки БД
      - GF_DATABASE_TYPE=sqlite3
      - GF_DATABASE_PATH=grafana.db
      # - GF_DATABASE_MAX_IDLE_CONN=1
      # - GF_DATABASE_MAX_OPEN_CONN=1
      - GF_DATABASE_CONN_MAX_LIFETIME=14400
      # Отключаем функции, которые могут блокировать БД
      - GF_ALERTING_ENABLED=false
      - GF_REPORTING_ENABLED=false
      - GF_LIVE_ENABLED=false
    volumes:
      - grafana_data:/var/lib/grafana
      - /etc/localtime:/etc/localtime:ro
      - /etc/timezone:/etc/timezone:ro
    networks:
      - monitoring
    deploy:
      placement:
        constraints:
          - node.role == manager
      resources:
        limits:
          memory: 1G
          cpus: '0.5'
        reservations:
          memory: 512M
          cpus: '0.25'
      restart_policy:
        condition: on-failure
        delay: 10s
        max_attempts: 5
 

configs:
  loki_config:
    external: true
  promtail_config:
    external: true

networks:
  monitoring:
    driver: overlay
    attachable: true

volumes:
  promtail_positions:
    driver: local
  loki_data:
    driver: local
  grafana_data:
    driver: local

Встраивание в docker-compose

x-logging:
  &default-logging
  driver: "json-file"
  options:
    max-size: "1m"
    max-file: "1"
    tag: "{{.Name}}"

services:

  loki:
    logging: *default-logging
    labels:
      logging: "promtail"
      logging_jobname: "docker_containers"

Promtail

Anonymous (anonymous@undisclosed.example.com) — 2025-11-17T01:28:58+00:00

Promtail

Отладка агеннта

promtail-windows-amd64 –dry-run –inspect –config.file=promtail-local-config.yaml

Конфигурации парсинга scrape_configs:

В разделе scrape_config указывается набор целей и параметров, описывающих, как их парсить. В общем случае одна конфигурация парсинга соответствует одному заданию. В расширенных конфигурациях это может измениться.

Цели могут быть заданы статически с помощью параметра static_configs или обнаружены динамически с помощью одного из поддерживаемых механизмов обнаружения сервисов. Кроме того, relabel_configs позволяет вносить дополнительные изменения в любую цель и её метки перед парсингом.

Конфигурация static_configs

Пример: job logs метка для имени конфигурации (конфигураций может быть несколько)

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: logs
      __path__: \var\log\*.log

Если включена ротация логов, то в лог попадут как дневные логи, так и ротационные

Конфигурация docker_sd_config

scrape_configs:
  - job_name: docker_containers
    docker_sd_configs:
      - host: unix:///var/run/docker.sock
        refresh_interval: 60s
        filters:
          - name: status
            values: ["running"]
    relabel_configs:
      - target_label: job
        replacement: docker_containers

Доступные мета-метки relabel_configs:

Эти метки можно использовать при переименовании.

__meta_docker_container_id: идентификатор контейнера
__meta_docker_container_name: имя контейнера
__meta_docker_container_network_mode: сетевой режим контейнера
__meta_docker_container_label_<labelname>: каждая метка контейнера
__meta_docker_container_log_stream: тип потока журнала stdout или stderr
__meta_docker_network_id: идентификатор сети
__meta_docker_network_name: имя сети
__meta_docker_network_ingress: является ли сеть входящей
__meta_docker_network_internal: является ли сеть внутренней
__meta_docker_network_label_<labelname>: каждая метка сети
__meta_docker_network_scope: область действия сети
__meta_docker_network_ip: IP-адрес контейнера в этой сети
__meta_docker_port_private: порт контейнера
__meta_docker_port_public: внешний порт, если существует сопоставление портов
__meta_docker_port_public_ip: публичный IP-адрес, если существует сопоставление портов

relabel_configs
Необязательный блок limits_config настраивает глобальные ограничения для этого экземпляра Promtail.
Блок target_config управляет процессом чтения файлов с обнаруженных устройств.