TDengine 集群运行监控

article/2025/6/22 19:28:41

在这里插入图片描述

简介

为了确保集群稳定运行,TDengine 集成了多种监控指标收集机制,并通过 taosKeeper 进行汇总。taosKeeper 负责接收这些数据,并将其写入一个独立的 TDengine 实例中,该实例可以与被监控的 TDengine 集群保持独立。TDengine 中的两个核心组件 taosd(数据库引擎)和 taosX(数据接入平台)都通过相同的监控架构来实现对其运行时的监控,但各自的监控指标设计有所不同。

至于如何获取和使用这些监控数据,用户可以使用第三方的监测工具比如 Zabbix 来获取这些保存的系统监测数据,进而将 TDengine 的运行状况无缝集成到现有的 IT 监控系统中。也可以使用 TDengine 提供的 TDinsight 插件,使用该插件用户可以通过 Grafana 平台直观地展示和管理这些监控信息,如下图所示。这为用户提供了灵活的监控选项,以满足不同场景下的运维需求。

在这里插入图片描述

配置 taosKeeper

因为 TDengine 的监控数据都通过 taosKeeper 上报并存储,所以本节先介绍 taosKeeper 的配置。

taosKeeper 的配置文件默认位于 /etc/taos/taoskeeper.toml。详细配置见 参考手册。其中最为关键的一个配置项是 database,它决定了收集到的监控数据存储在目标系统的哪个数据库中。

监控 taosd

基于 TDinsight 监控 taosd

为了简化用户在 TDengine 监控方面的配置工作,TDengine 提供了一个名为 TDinsight 的 Grafana 插件。该插件与 taosKeeper 协同工作,能够实时监控 TDengine 的各项性能指标。

通过集成 Grafana 和 TDengine 数据源插件,TDinsight 能够读取 taosKeeper 收集的监控数据。这使得用户可以在 Grafana 平台上直观地查看 TDengine 集群的状态、节点信息、读写请求以及资源使用情况等关键指标,实现数据的可视化展示。

以下是 TDinsight 的详细使用说明,以帮助你充分利用这一强大工具。

前置条件

若要顺利使用 TDinsight,应满足如下条件。

  • TDengine 已安装并正常运行。
  • taosAdapter 已经安装并正常运行。
  • taosKeeper 已经安装并正常运行。
  • Grafana 已安装并正常运行,以下介绍以 Grafna 11.0.0 为例。

同时记录以下信息。

  • taosAdapter 的 RESTful 接口地址,如 http://www.example.com:6041
  • TDengine 集群的认证信息,包括用户名及密码。
导入仪表盘

TDengine 数据源插件已提交至 Grafana 官网,如何安装 TDengine 数据源插件和配置数据源请参考 安装 Grafana Plugin 并配置数据源。完成插件的安装和数据源的创建后,可以进行 TDinsight 仪表盘的导入。

在 Grafana 的“Home” -> “Dashboards”页面,点击位于右上角的“New” -> “import”按钮,即可进入 Dashboard 的导入页面,它支持以下两种导入方式。

  • Dashboard ID:18180。
  • Dashboard URL:https://grafana.com/grafana/dashboards/18180-tdinsight-for-3-x/

填写以上 Dashboard ID 或 Dashboard URL 以后,点击“Load”按钮,按照向导操作,即可完成导入。导入成功后,Dashboards 列表页面会出现“TDinsight for 3.x”仪表盘,点击进入后,就可以看到 TDinsight 中已创建的各个指标的面板,如下图所示:

在这里插入图片描述

注意 在 TDinsight 界面左上角的“Log from”下拉列表中可以选择 log 数据库。

TDengine V3 监控数据

TDinsight dashboard 数据来源于 log 库(存放监控数据的默认数据库,可以在 taoskeeper 配置文件中修改)。“TDinsight for 3.x”仪表盘查询了 taosd 和 TaosAdapter 的监控指标。

  • taosd 的监控指标请参考 taosd 监控指标
  • taosAdapter 的监控指标请参考 taosAdapter 监控指标

监控 taosX

taosX 是 TDengine 中提供零代码数据接入能力的核心组件,对它的监控也十分重要。taosX 监控与 TDengine 监控类似,都是通过 taosKeeper 将服务搜集的 metrics 写入指定数据库,然后借助 Grafana 面板做可视化和报警。这个功能可监控的对象包括:

  1. taosX 进程
  2. 所有运行中的 taosx-agent 进程
  3. 运行在 taosX 端或 taosx-agent 端的各个连接器子进程
  4. 运行中的各类数据写入任务

前置条件

  1. taosd,taosAdapter 和 taosKeeper 都已经部署完成并启动成功。
  2. taosX 服务监控配置正确,如何配置可以参考下文“配置 taosX 监控”,服务启动成功。
    注意:TDengine 企业版本 3.2.3.0 或以上版本包含的 taosX 才包含此功能。如果单独安装 taosX,需要 taosX 1.5.0 或以上版本。
  3. 部署 Grafana,安装 TDengine Datasource 插件,配置好数据源。可以参考:安装 Grafana Plugin 并配置数据源。
    注意:需要安装 Grafana 插件 TDengie Datasource v3.5.0 或以上版本。

配置 taosX 监控

toasX 的配置文件 (默认 /etc/taos/taosx.toml) 中与 monitor 相关的配置如下:

[monitor]
# FQDN of taosKeeper service, no default value
# fqdn = "localhost"
# port of taosKeeper service, default 6043
# port = 6043
# how often to send metrics to taosKeeper, default every 10 seconds. Only value from 1 to 10 is valid.
# interval = 10

每个配置也有对应的命令行选项和环境变量。通过以下表格说明:

配置文件配置项命令行选项环境变量含义取值范围默认值
fqdn–monitor-fqdnMONITOR_FQDNtaosKeeper 服务的 FQDN无默认值,配置 fqdn 就等于开启了监控功能
port–monitor-portMONITOR_PORTtaosKeeper 服务的端口6043
interval–monitor-intervalMONITTOR_INTERVALtaosX 发送 metrics 数据到 taosKeeper 的时间间隔,单位秒1-1010

基于 TDinsight 监控 tasoX

“TDinsight for taosX”是专门为 taosX 监控创建的 Grafana 面板。使用前需要先导入这个面板。

进入面板
  1. 在 Grafana 界面菜单中点击“Data sources”,然后选择已经配置好的 TDengine 数据源。

  2. 在数据源配置界面选择“Dashboard”Tab, 然后导入“TDinsight for taosX”面板(第一次使用需要先导入)。下面是一个示例图:

    在这里插入图片描述

    该面板每一行代表一个或一类监控对象。最上面是 taosX 监控行,然后是 Agent 监控行,最后是各类数据写入任务的监控。
    :::note

    • 如果打开这个面板后看不到任何数据,你很可能需要点击左上角的数据库列表(即“Log from”下拉菜单),切换到监控数据所在的数据库。
    • 数据库包含多少个 Agent 的数据就会自动创建多少个 Agent 行。(如上图)
      :::
监控示例
  1. taosX 监控示例图

    在这里插入图片描述

  2. Agent 监控示例图

    在这里插入图片描述

  3. TDengine2 数据源监控示例图

    在这里插入图片描述

    :::info
    监控面板只展示了数据写入任务的部分监控指标,在 Explorer 页面上有更全面的监控指标,且有每个指标的具体说明。

    :::

  4. TDengine3 数据源监控示例图

    在这里插入图片描述

  5. 其它数据源监控示例图
    在这里插入图片描述

限制

只有在以 server 模式运行 taosX 时,与监控相关的配置才生效。

explorer 集成监控面板

explorer 支持集成已有的 grafana dashboard。

配置 grafana

编辑 grafana.ini, 修改以下配置项。配置 root_url, 可能对现有的 grafana 使用习惯有所影响,为了集成到 explorer 是需要如此配置的,方便通过 explorer 做服务代理。

[server]
# If you use reverse proxy and sub path specify full url (with sub path)
root_url = http://ip:3000/grafana
# Serve Grafana from subpath specified in `root_url` setting. By default it is set to `false` for compatibility reasons.
serve_from_sub_path = true[security]
# set to true if you want to allow browsers to render Grafana in a <frame>, <iframe>, <embed> or <object>. default is false.
allow_embedding = true

配置 Explorer

修改 explorer.toml, 其中 dashboard 配置的 url 中的 ip, 应该配置为可以通过 explorer 服务器能够访问到的 grafana 服务的内网地址。

[grafana]
# The token of the Grafana server, which is used to access the Grafana server.
token = ""# The URL of the Grafana dashboard, which is used to display the monitoring data of the TDengine cluster.
# You can configure multiple Grafana dashboards.
[grafana.dashboards]
TDengine3 = "http://ip:3000/d/000000001/tdengine3?theme=light&kiosk=tv"
taosX = "http://ip:3000/d/000000002/taosx?theme=light&kiosk=tv"

如下图 (grafana V-8.5.27),获取 api key, 请注意添加只读权限的 apikey, 否则有安全风险。
在这里插入图片描述

如下图 (grafana V-8.5.27),获取 dashboard url, 获取的 url 请额外加上参数:theme=light&kiosk=tv.

在这里插入图片描述


http://www.hkcw.cn/article/IWOQWEktgM.shtml

相关文章

SoftThinking:让模型学会模糊思考,同时提升准确性和推理速度!!

摘要&#xff1a;人类的认知通常涉及通过抽象、灵活的概念进行思考&#xff0c;而不是严格依赖离散的语言符号。然而&#xff0c;当前的推理模型受到人类语言边界的限制&#xff0c;只能处理代表语义空间中固定点的离散符号嵌入。这种离散性限制了推理模型的表达能力和上限潜力…

【LUT技术专题】图像自适应3DLUT

3DLUT开山之作: Learning Image-adaptive 3D Lookup Tables for High Performance Photo Enhancement in Real-time&#xff08;2020 TPAMI &#xff09; 专题介绍一、研究背景二、图像自适应3DLUT方法2.1 前置知识2.2 整体流程2.3 损失函数的设计 三、实验结果四、局限五、总结…

【计算机网络】 ARP协议和DNS协议

文章目录 【计算机网络】ARP协议和DNS协议&#xff08;知识点详细&#xff09;一、ARP协议&#xff08;地址解析协议&#xff09;1. **协议功能**2. **ARP报文结构**3. **工作流程**&#xff08;1&#xff09;**正向ARP&#xff08;已知IP&#xff0c;求MAC&#xff09;**&…

普中STM32F103ZET6开发攻略(一)

各位看官老爷们&#xff0c;点击关注不迷路哟。你的点赞、收藏&#xff0c;一键三连&#xff0c;是我持续更新的动力哟&#xff01;&#xff01;&#xff01; 目录 普中STM32F103ZET6开发攻略 1. GPIO端口实验——点亮LED灯 1.1 实验目的 1.2 实验原理 1.3 实验环境和器材…

Azure DevOps 管道部署系列之二IIS

本博客旨在提供如何使用 Azure DevOps YAML 管道部署到虚拟机上的 IIS 的实用指南。 开始之前,您需要做好以下准备: 您拥有要部署的服务器的访问权限以及 PowerShell 的管理员访问权限。您拥有要部署的远程服务器的互联网访问权限。您拥有在服务器上安装 .NET Core 托管包的…

Linux命令之ausearch命令

一、命令简介 ausearch 是 Linux 审计系统 (auditd) 中的一个实用工具,用于搜索审计日志中的事件。它是审计框架的重要组成部分,可以帮助系统管理员分析系统活动和安全事件。 二、使用示例 1、安装ausearch命令 Ubuntu系统安装ausearch命令,安装后启动服务。 root@testser…

2025山东CCPC题解

文章目录 L - StellaD - Distributed SystemI - Square PuzzleE - Greatest Common DivisorG - Assembly Line L - Stella 题目来源&#xff1a;L - Stella 解题思路 签到题&#xff0c;因为给出的字母不是按顺序&#xff0c;可以存起来赋其值&#xff0c;然后在比较。 代码…

复数三角不等式简介及 MATLAB 演示

复数三角不等式简介及 MATLAB 演示 1. 复数三角不等式简介 复数三角不等式&#xff08;Complex Triangle Inequality&#xff09;是复数的一种重要性质&#xff0c;它类似于普通的三角不等式&#xff0c;但适用于复数空间。具体来说&#xff0c;复数三角不等式可以描述复数之…

学术合作交流

想找志同道合的科研小伙伴&#xff01;研究方向包括&#xff1a;计算机视觉&#xff08;CV&#xff09;、人工智能&#xff08;AI&#xff09;、目标检测、行人重识别、行人搜索、虹膜识别等。欢迎具备扎实基础的本科、硕士及博士生加入&#xff0c;共同致力于高质量 SCI 期刊和…

2025-05-31 Python深度学习10——模型训练流程

文章目录 1 数据准备1.1 下载与预处理1.2 数据加载 2 模型构建2.1 自定义 CNN 模型2.2 GPU加速 3 训练配置3.1 损失函数3.2 优化器3.3 训练参数 4 训练循环4.1 训练模式 (model.train())4.2 评估模式 (model.eval()) 5 模型验证 本文环境&#xff1a; Pycharm 2025.1Python 3.1…

十五、STM32的TIM(六)(PWM驱动舵机)

介绍&#xff1a;本章节主要讲解如何在 STM32C8T6 上使用 PWM 驱动舵机。通过按键输入控制&#xff0c;输出以 PWM 信号调整舵机转动角度&#xff0c;从而实现对舵机的精准控制。 目录 一、接线图 二、相关参数的计算 三、相关代码的编写 四、程序现象 一、接线图 二、相关…

C语言指针完全指南:从入门到精通(上)

目录 一、内存和指针 1.1 指针的使用场景 二、指针变量和地址 2.1 取地址符(&) 2.2指针变量和解引用操作符(*) 2.2.1 指针变量 2.3 指针变量的大小 三、指针变量类型的意义 3.2 指针-整数 ​编辑 四、指针计算 五、const修饰指针 5.1 const修饰变量 1.2 const修饰…

Kafka数据怎么保障不丢失

在分布式消息系统中&#xff0c;数据不丢失是核心可靠性需求之一。Apache Kafka 通过生产者配置、副本机制、持久化策略、消费者偏移量管理等多层机制保障数据可靠性。以下从不同维度解析 Kafka 数据不丢失的核心策略&#xff0c;并附示意图辅助理解。 一、生产者端&#xff1a…

Win10秘笈:两种方式修改网卡物理地址(MAC)

Win10秘笈&#xff1a;两种方式修改网卡物理地址&#xff08;MAC&#xff09; 在修改之前&#xff0c;可以先确定一下要修改的网卡MAC地址&#xff0c;查询方法有很多种&#xff0c;比如&#xff1a; 1、在设置→网络和Internet→WLAN/以太网&#xff0c;如下图所示。 2、在控…

Angularjs-Hello

1 关于Angularjs 最近因为项目需要又要做这个&#xff0c;所以简单复习下。其实这个大概7&#xff0c;8年前就用过&#xff0c;当时做了几个简单页面觉得太简单就还是回去做嵌入式了。按照互联网技术的进化速度&#xff0c;本来以为早死在 沙滩上了&#xff0c;没想到现在还在坚…

红外遥控(外部中断)

目录 1.红外遥控简介 通信方式&#xff1a; 红外LED波长&#xff1a; 通信协议标准&#xff1a; 2.硬件电路 发送部分1&#xff1a; 内部元件介绍&#xff1a; 工作原理&#xff1a; 为什么要以38KHZ亮灭&#xff1f; 电路图&#xff1a; 发送部分2&#xff1a; 电…

leetcode hot100刷题日记——33.二叉树的层序遍历

解题总结二维vector的初始化方法 题目描述情况1&#xff1a;不确定行数和列数情况2&#xff1a;已知行数和列数情况3&#xff1a;已知行数但不知道列数情况4&#xff1a;已知列数但不知道行数 题目描述 解答&#xff1a;用队列 思路都差不多&#xff0c;我觉得对于我自己来说&a…

GitToolBox 插件安装与配置指南

GitToolBox 插件安装与配置指南 GitToolBox GitToolBox IntelliJ plugin 项目地址: https://gitcode.com/gh_mirrors/gi/GitToolBox 1. 项目基础介绍和主要编程语言 项目基础介绍 GitToolBox 是一个专为 JetBrains 家族 IDE&#xff08;如 IntelliJ IDEA、PyCharm 等&…

开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM-结构化输出(三)

一、前言 在人工智能技术迅猛发展的今天,高效推理框架与强大语言模型的结合正不断突破应用边界。vLLM作为新一代高性能推理引擎,凭借其创新的PagedAttention技术和内存优化能力,为大规模语言模型部署提供了全新可能。 本文将聚焦vLLM框架与QWen3-8B这一国产开源大模型的深度…

史上最全 Git 图文教程(非常详细)零基础入门到精通,收藏这一篇就够了

戳上方蓝字“Java知音”关注我 Git安装 安装 1.先去官网下载这个软件, 准备安装到本电脑中 https://git-scm.com/ 2.根据自己电脑系统下载此软件到本机 Windows 系统直接下载 .exe 文件即可&#xff0c;macOS 系统使用 Homebrew 命令行安装&#xff0c;终端输入 git --versi…