一个完整的日志收集方案:Elasticsearch + Logstash + Kibana+Filebeat (一)

article/2025/8/12 17:48:54

整体链路

[应用服务器] --> [Filebeat] --> [Logstash] --> [Elasticsearch] --> [Kibana]

组件职责

  • Kibana: 可视化和分析日志数据
  • Elasticsearch: 存储和索引日志数据
  • Logstash: 解析、转换和丰富日志数据
  • Filebeat: 收集和转发日志

Elasticsearch 配置

核心配置(elasticsearch.yml)

安全配置

xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:enabled: truekeystore.path: certs/http.p12
xpack.security.transport.ssl:enabled: trueverification_mode: certificatekeystore.path: certs/transport.p12truststore.path: certs/transport.p12

集群与网络配置

cluster.name: my-elasticsearch
node.name: node-1
network.host: localhost
http.port: 9200

路径与内存配置

path.data: ./data
path.logs: ./logs
bootstrap.memory_lock: false

关键注意事项

必须为 Elasticsearch 设置专用 JDK 环境变量:

ES_JAVA_HOME

若未设置,启动时可能因找不到 tools.jar 报错 。

初始化超级用户密码

bin\elasticsearch-reset-password -u elastic

Kibana 配置

核心配置(kibana.yml)

服务器与连接配置

server.port: 5601
server.host: "localhost"
elasticsearch.hosts: ["https://localhost:9200"] 
elasticsearch.ssl.verificationMode: none

安全与加密配置

elasticsearch.serviceAccountToken: "AAEAAWVsYXN0aWMva2liYW5hL2tpYmFuYS10b2tlbjpaQldYekwyUlFHaWhKbkltV3FJQUxn"
xpack.security.encryptionKey: "something_at_least_32_characters_long"

生成加密密钥(可选)

Kibana需要加密密钥来支持告警功能,但是这一步不配置也不影响功能,只是控制台会有报错信息:生成加密密钥并更新Kibana配置:

bin\kibana-encryption-keys generate --force

创建服务账号 Token(重要)

禁止使用 elastic 超级用户运行 Kibana!

它不能直接使用elastic超级用户账号来运行Kibana,因为这是一个安全风险。我们需要使用服务账号(Service Account)来代替。

curl -k -X POST -u elastic:elastic "https://localhost:9200/_security/service/elastic/kibana/credential/token/kibana-token"

完了就可以启动了


http://www.hkcw.cn/article/GuUGWlAYot.shtml

相关文章

Notepad++找回自动暂存的文件

场景: 当你没有保存就退出Notepad,下次进来Notepad会自动把你上次编辑的内容显示出来,以便你继续编辑。除非你手动关掉当前页面,这样Notepad就会删除掉自动保存的内容。 问题: Notepad会将自动保存的文件地址,打开Note…

VMware-VMRC-12.0.1-18113358安装包下载安装与使用(附下载)

文章目录 简介1、下载地址2、安装使用总结 简介 VMware-VMRC(VMware Virtual Machine Remote Console) 是 VMware 提供的一款远程控制台工具,用于连接和管理 VMware 虚拟化环境中的虚拟机(VM)。它允许用户通过图形界面…

车载诊断框架 ---CAN诊断多帧传输时间参数记忆口诀

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 做到欲望极简,了解自己的真实欲望,不受外在潮流的影响,不盲从,不跟风。把自己的精力全部用在自己。一是去掉多余,凡事找规律,基础是诚信;二是…

docker、ctr、crictl命令简介与使用

概述 在使用k3s过程中,经常需要使用ctr和crictl两个命令,本文记录一下。 ctr 类似docker命令是docker-shim容器运行时的客户端工具,ctr是Containerd的客户端工具。一个简单的CLI接口,用作Containerd本身的一些调试用途&#xf…

Docker安装mitproxy

一:概述 mitmproxy 是一组工具,可为 HTTP/1、HTTP/2 和 WebSockets 提供支持 SSL/TLS 的交互式拦截代理。 二:安装 2.1 运行并拉取镜像 ocker run --rm -it -p 8080:8080 -p 0.0.0.0:8081:8081 mitmproxy/mitmproxy mitmweb --web-host 0.0…

Linux 简单模拟实现C语言文件流

🌇前言 在 C语言 的文件流中,存在一个 FILE 结构体类型,其中包含了文件的诸多读写信息以及重要的文件描述符 fd,在此类型之上,诞生了 C语言 文件相关操作,如 fopen、fclose、fwrite 等,这些函数…

数据要素×AI:高质量数据集如何成为智能时代的“新石油“

在数字中国建设峰会上,国家数据局提出的"三类高质量数据集"建设规划引发广泛关注。这不仅是技术层面的创新,更是对数据要素价值释放路径的深刻思考。当我们站在AI产业化的关键节点回望,会发现数据正在经历一场从"原料"到…

CCPC dongbei 2025 I

题目链接:https://codeforces.com/gym/105924 题目背景: 给定一个二分图,左图编号 1 ~ n,右图 n 1 ~ 2n,左图的每个城市都会与右图的某个城市犯冲(每个城市都只与一个城市犯冲),除…

如何学习开关电源?从“大”到“小”学习开关电源...

01 / 简介 / 参考 开关电源研学群[BUCK] ,之前创建了开关电源研学群,为电源同行提供学习交流的平台。参考 一种高效的硬件工程师学习方法[更新篇,更牛逼,加量不加价] ,之前也给大家推荐了更加高效的学习方法。 群内有很多电源大佬,经常给大家解答疑问,在此表示感谢;…

C#里与嵌入式系统W5500网络通讯(3)

有与W5500通讯时,需要使用下面的寄存器: PHYCFGR (W5500 PHY Configuration Register) [R/W] [0x002E] [0b10111XXX] PHYCFGR configures PHY operation mode and resets PHY. In addition, PHYCFGR indicates the status of PHY such as duplex, Speed, Link. 这张表格详细…

WEB3——开发者怎么查看自己的合约日志记录

在区块链中查看合约的日志信息(也叫事件 logs),主要有以下几种方式,具体方法依赖于你使用的区块链平台(如 Ethereum、BSC、Polygon 等)和工具(如 Etherscan、web3.js、ethers.js、Hardhat 等&am…

【深度学习】17. 深度生成模型:DCGAN与Wasserstein GAN公式深度推导

深度生成模型:DCGAN与Wasserstein GAN公式深度推导 深度卷积生成对抗网络 DCGAN 在原始 GAN 框架中,生成器和判别器通常使用全连接层构建,这限制了模型处理图像的能力。为此,Radford 等人在 2016 年提出了 DCGAN(Deep Convoluti…

Scratch节日 | 六一儿童节射击游戏

六一儿童节快乐!这款超有趣的 六一儿童节射击游戏,让你变身小猫弓箭手,守护节日的快乐时光! 🎮 游戏玩法 上下方向键:控制小猫的位置,自由移动,瞄准目标! 空格键&#…

IDEA PyCharm 等工具如何同时打开多个窗口

目录 1.第一步:打开软件通过左上角 File 进入到 Settings 2.第二步:进入 Settings 后选择 System Settings 3.第三步:新建项目时可以选择 此窗口(This Window) 或 新窗口(New Window) 1.第一步:打开软件通过左上角 File 进入到…

2024年09月 C/C++(四级)真题解析#中国电子学会#全国青少年软件编程等级考试

C/C++编程(1~8级)全部真题・点这里 第1题:有几个PAT 字符串 APPAPT 中包含了两个单词 PAT,其中第一个 PAT 是第 2 位,第 4 位(A),第 6 位(T);第二个 PAT 是第 3 位,第 4 位(A),第 6 位(T)。 现给定字符串,问一共可以形成多少个 PAT? 时间限制:1000 内存限制:26214…

【echarts】仪表盘

<div style"width:50%;height:33%"><Yibiaopan echart_id"ybpChart2" :series_data"gaugeData2" title"火电" unit"MWh" :colorList"[#DFA58F,#F89061,#FF8E59]" /></div> 链接&#xff1a;ht…

目标检测我来惹1 R-CNN

目标检测算法&#xff1a; 识别图像中有哪些物体和位置 目标检测算法原理&#xff1a; 记住算法的识别流程、解决问题用到的关键技术 目标检测算法分类&#xff1a; 两阶段&#xff1a;先区域推荐ROI&#xff0c;再目标分类 region proposalCNN提取分类的目标检测框架 RC…

【AI学习】检索增强生成(Retrieval Augmented Generation,RAG)

1&#xff0c;介绍 出自论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》&#xff0c;RAG是权宜之计&#xff0c;通过RAG将问题简单化、精简化、剔除噪声&#xff0c;让LLM更容易理解、生成内容。RAG&#xff1a;检索增强技术检索生成&#xff08;重…

LINUX 61 rsync定时同步;软链接

定时同步报错 [rootbackup ~]# cat rsync_java.sh !/bin/bash rsync -av user3192.168.235.10::app /backup/app1_java &&/dev/null [rootbackup ~]# cd /backup [rootbackup backup]# ls app1_java [rootbackup backup]# cd app1_java [rootbackup app1_java]# ls 1.…

[Android] APK安装器 V20160330-6.0

【应用名称】APK安装【应用版本】V20160330-6.0版本【软件大小】154KB【适用型号】安卓【应用说明】此版本兼容性极强&#xff0c;Android6-Android15都可以用&#xff0c;兼容平板和手机&#xff0c;已经过测试&#xff01; 软件优点&#xff1a; 不占内存&#xff0c;大小比…