关于线缆行业设备数据采集异构问题的解决

article/2025/6/8 9:29:13

通信线缆制造设备

异构设备协议情况

设备具体型号和关键参数数据传输协议
拉丝机LW-1-6/560 塑料扁丝拉丝机(螺杆Ø120mm)进料直径6.5mm→出料2mm 线速245m/min,功率30kWModbus RTU(RS485总线)
对绞机QC-500C 绞弓转速0-1500r/min 线速400m/min,节距误差±2%Modbus RTU(RS485)
成缆机CLY1600/1+3 CGB弓形成缆机(B型)成缆节距290-5099mm 出线速度4.23-31.06m/minModbus TCP(以太网)
绝缘机绝缘厚度0.7-1.8mm(对绞电缆)阻燃等级IEC 332.1 B类CAN总线(实时监控温度/挤出压力)
护套机护套材质PVC/PE 耐温-20℃~70℃Profibus-DP

核心解决的问题

一种新型的边缘网关的定制化研发
解决的问题

  • 数采协议异构问题。
  • 数据传输速度要求比较高
  • 数据的传输量级比较大,冗余数据比较多。
  • 对设备异常响应速度比较慢

架构设计:

在这里插入图片描述

开发

边缘网关的开发(基于EdgeX Foundry开发了协议适配层)

  1. 协议模板化:将Modbus寄存器地址、OPC UA节点映射为JSON模板;
  2. 动态加载: 设备接入时自动匹配协议驱动(类似打印机驱动机制);
  3. 边缘计算: 在网关层转换数据格式,减轻云端压力。最终实现15类设备即插即用,协议扩展成本降低90%。
协议模板化(JSON Schema设计)
// Modbus模板示例:寄存器地址映射
{"protocol": "Modbus-RTU","device_type": "温度传感器","registers": [{"name": "current_temp","address": 0x1001,"type": "int16","scale": 0.1,"unit": "℃"},{"name": "device_status","address": 0x1100,"type": "bits","mapping": {"bit0": "过压报警","bit3": "通讯故障"}}]
}
动态驱动加载引擎(Go实现)
// 驱动接口定义
type DeviceDriver interface {Init(config json.RawMessage) errorRead() (map[string]interface{}, error)
}// 驱动注册中心(全局单例)
var driverRegistry = make(map[string]DeviceDriver)func RegisterDriver(name string, driver DeviceDriver) {driverRegistry[name] = driver
}// 动态加载驱动
func LoadDriver(deviceType string) (DeviceDriver, error) {// 1. 从模板库加载配置config := loadTemplate(deviceType) // 2. 获取驱动实例(如ModbusDriver/OPCUADriver)driver, ok := driverRegistry[config.Protocol]if !ok {return nil, fmt.Errorf("driver not found: %s", config.Protocol)}// 3. 初始化驱动if err := driver.Init(config.RawConfig); err != nil {return nil, err}return driver, nil
}
边缘数据转换处理成json(Python处理函数)
def raw_to_unified(raw_data: bytes, template: dict) -> dict:"""将原始数据转换为统一JSON模型"""result = {}for item in template["registers"]:# 从字节流中提取数据(示例:Modbus处理)start = item["address"] - template["base_address"]end = start + type_size(item["type"])segment = raw_data[start:end]# 类型转换value = convert_type(segment, item["type"])# 应用缩放和单位if "scale" in item:value *= item["scale"]# 位映射处理if item["type"] == "bits":value = {desc: bool(value & (1 << idx)) for idx, desc in item["mapping"].items()}result[item["name"]] = valuereturn result
特性: 协议热拔插
  • 监控配置文件目录(inotify机制)
  • 动态加载/卸载驱动(依赖Go plugin机制)
// 监听模板目录变化
watcher, _ := fsnotify.NewWatcher()
watcher.Add("/etc/edgex/templates")for event := range watcher.Events {if event.Op&fsnotify.Write == fsnotify.Write {reloadTemplate(event.Name) // 重载模板}
}
特性: 驱动缓冲池
  • 避免频繁初始化开销
var driverPool sync.Poolfunc GetDriver(deviceType string) (DeviceDriver, error) {if drv, ok := driverPool.Get(deviceType); ok {return drv, nil}return LoadDriver(deviceType) // 并放入缓存池
}

特性: 协议头压缩算法

1. 架构图

算法设计架构图

2. 规则模板压缩算法
// Modbus RTU协议头压缩 (6字节 → 2字节)
func CompressModbusHeader(frame []byte) []byte {// 协议特征识别if frame[0] == 0x01 && frame[1] == 0x03 { // 读保持寄存器return []byte{0x80 | (frame[0] & 0x0F), // 高4位标记类型,低4位设备地址frame[4] << 4 | frame[5],  // 寄存器数量压缩}}return frame // 不满足条件返回原帧
}
3. 增量编码压缩算法
class DeltaEncoder:def __init__(self):self.last_values = {}  # 设备ID: 上次值def compress(self, device_id, values):# 首次传输全量数据if device_id not in self.last_values:self.last_values[device_id] = valuesreturn b'\x00' + pickle.dumps(values)  # 0x00标记全量# 增量计算deltas = {}for k, v in values.items():if v != self.last_values[device_id][k]:deltas[k] = v - self.last_values[device_id][k]# 更新状态self.last_values[device_id] = valuesreturn b'\x01' + pickle.dumps(deltas)  # 0x01标记增量
4. 字典压缩
// 预定义高频值字典
var valueDict = map[uint16]byte{0x0000: 0x01,  // 状态正常0xFFFF: 0x02,  // 设备故障0x00FF: 0x03,  // 阈值告警
}func DictEncode(value uint16) byte {if code, ok := valueDict[value]; ok {return code  // 返回1字节字典编码}return 0x00 // 0x00标记原始值
}
5. 智能路由压缩决策引擎
def smart_compress(frame: bytes) -> bytes:# 协议类型识别if frame[0] == 0x01:  # Modbusreturn compress_modbus(frame)elif frame[:2] == b"##":  # 自定义协议return delta_encoder.compress(frame[2:10], parse_values(frame[10:]))# 通用LZ4压缩return b'\xFF' + lz4.frame.compress(frame)  # 0xFF标记通用压缩
6.压缩效果实测
协议类型原始头大小压缩后头大小压缩率适用场景
Modbus RTU6字节2字节66%工业传感器
DL/T645-200712字节4字节67%智能电表
OPC UA Binary32字节8字节75%高端设备监控
自定义JSON协议48字节16字节67%IoT云平台对接

整体边缘网关的测试效果

场景原生EdgeX优化方案提升幅度
100设备并发接入78秒12秒550%
CPU占用(500设备)92%43%↓53%
协议扩展成本5人日/协议0.5人日/协议↓90%

遇到相同场景问题的小伙伴可以借鉴一下。


http://www.hkcw.cn/article/TeVIXasFVG.shtml

相关文章

电力设备故障预测网关技术方案——基于EFISH-SCB-RK3588的国产化替代实践

一、国产化替代战略背景 行业痛点分析 传统x86方案&#xff08;赛扬N100/N150&#xff09;存在单线程性能瓶颈&#xff08;SPECint2006仅15.2分&#xff09;进口芯片供应链风险&#xff08;Intel产品生命周期通常仅3-5年&#xff09;工业现场总线支持不足&#xff08;需外扩CA…

基于SpringBoot的“嗨玩旅游”网站设计与实现(源码+定制+开发)嗨玩旅游平台开发:景点展示与个性化推荐系统(SpringBoot)

博主介绍&#xff1a; ✌我是阿龙&#xff0c;一名专注于Java技术领域的程序员&#xff0c;全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师&#xff0c;我在计算机毕业设计开发方面积累了丰富的经验。同时&#xff0c;我也是掘金、华为云、阿里云、InfoQ等平台…

网络安全问题及对策研究

摘 要 网络安全问题一直是近年来社会乃至全世界十分关注的重要性问题&#xff0c;网络关乎着我们的生活&#xff0c;政治&#xff0c;经济等多个方面&#xff0c;致力解决网络安全问题以及给出行之有效的安全策略是网络安全领域的一大目标。 本论文简述了课题的开发背景&…

Modbus转Ethernet IP网关助力罗克韦尔PLC数据交互

在工业自动化领域&#xff0c;Modbus协议是一种广泛应用的串行通信协议&#xff0c;它定义了主站和从站之间的通信规则和数据格式。罗克韦尔PLC是一种可编程的逻辑控制器&#xff0c;通过Modbus协议实现与其他设备之间的数据交互。然而&#xff0c;随着以太网技术的普及和发展&…

SpringBoot 数据库导入导出 Xlsx文件的导入与导出 全量导出 数据库导出表格 数据处理 外部数据

介绍 poi-ooxml 是 Apache POI 项目中的一个库&#xff0c;专门用于处理 Microsoft Office 2007 及以后版本的文件&#xff0c;特别是 Excel 文件&#xff08;.xlsx 格式&#xff09;和 Word 文件&#xff08;.docx 格式&#xff09;。 在管理系统中需要对数据库的数据进行导…

EagleTrader采访|在市场中修行的交易之道与实战反思

在交易世界的洪流中&#xff0c;真正让人敬佩的不是一时的高收益&#xff0c;而是对规则的敬畏与长期自我修正的能力。来自EagleTrader的交易员罗秋林&#xff0c;正是这样一位在实战中历练出的“老兵”。 七八年时间&#xff0c;他从爆仓阴影走出&#xff0c;如今选择通过Eag…

OpenCV CUDA模块霍夫变换------在 GPU 上执行概率霍夫变换检测图像中的线段端点类cv::cuda::HoughSegmentDetector

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 cv::cuda::HoughSegmentDetector 是 OpenCV 的 CUDA 模块中一个非常重要的类&#xff0c;它用于在 GPU 上执行 概率霍夫变换&#xff08;Probabi…

MybatisPlus--核心功能--service接口

Service接口 基本用法 MyBatisPlus同时也提供了service接口&#xff0c;继承后一些基础的增删改查的service代码&#xff0c;也不需要去书写。 接口名为Iservice&#xff0c;而Iservice也继承了IRepository&#xff0c;这里提供的方法跟BaseMapper相比只多不少&#xff0c;整…

Silky-CTF: 0x02靶场

Silky-CTF: 0x02 来自 <Silky-CTF: 0x02 ~ VulnHub> 1&#xff0c;将两台虚拟机网络连接都改为NAT模式 2&#xff0c;攻击机上做namp局域网扫描发现靶机 nmap -sn 192.168.23.0/24 那么攻击机IP为192.168.23.128&#xff0c;靶场IP192.168.23.131 3&#xff0c;对靶机进…

图片组件|纯血鸿蒙组件库AUI

摘要&#xff1a; 图片组件(A_Image)&#xff1a;可设置图片地址、图片宽度、图片高度、圆角类型及是否显示外框线。圆角类型支持普通圆角、圆形及无圆角。 一、组件调用方式 1.极简调用 只需要输入A_Image&#xff0c;然后给src&#xff08;图片地址&#xff09;属性赋值即可…

tGSSA-LSTM多输入回归|改进麻雀优化-长短期记忆神经网络|Matlab回归通用

目录 一、程序及算法内容介绍&#xff1a; 基本内容&#xff1a; 亮点与优势&#xff1a; 二、实际运行效果&#xff1a; 三、方法原理介绍&#xff1a; 四、完整程序下载&#xff1a; 一、程序及算法内容介绍&#xff1a; 基本内容&#xff1a; 本代码基于Matlab平台编译…

【吾爱】逆向实战crackme160破解记录(二)

前言 最近在拿吾爱上的crackme程序练练手&#xff0c;发现论坛上已经有pk8900总结好的160个crackme&#xff0c;非常方便&#xff0c;而且有很多厉害的前辈已经写好经验贴和方法了&#xff0c;我这里只是做一下自己练习的记录&#xff0c;欢迎讨论学习&#xff0c;感谢吾爱论坛…

C# Onnx 动漫人物人脸检测

目录 效果 模型信息 项目 代码 下载 参考 效果 模型信息 Model Properties ------------------------- stride&#xff1a;32 names&#xff1a;{0: face} --------------------------------------------------------------- Inputs ------------------------- name&am…

使用cmd命令行创建数据库和表-简单步骤记录

前提&#xff1a; 已安装MySQL 步骤&#xff1a; 1.WinR&#xff0c;回车&#xff0c;输入cmd&#xff0c;回车 2.输入 mysql -u root -p 后&#xff0c;输入自己的密码&#xff0c;看到welcome等字样就是成功登录了MySQL 3.创建数据库 create database success; &#xff0…

Centos7使用rpm升级glibc2.28

Centos7使用rpm升级glibc2.28 检查glibc版本下载glibc2.28的rpm包使用rpm包升级到glibc-2.28结果验证 检查glibc版本 ldd --version下载glibc2.28的rpm包 参考&#xff1a; https://www.cnblogs.com/caya-yuan/p/10561439.html 下载 glibc、make 的 feroda29(fc29)系统 rpm包…

堆叠弹窗 VS 队列弹窗之争

前言 如果一个页面上有多个弹窗&#xff0c;设计上是把前一个弹窗暂时隐藏还是盖住前一个弹窗多一点&#xff1f; 在多弹窗设计的情境下&#xff0c;最佳实践通常倾向于以下两种处理方式&#xff1a; 1、堆叠弹窗 新弹窗覆盖旧弹窗&#xff0c;但每个弹窗保持完整显示&#…

刷leetcode hot100返航必胜版--链表6/3

链表初始知识 链表种类&#xff1a;单链表&#xff0c;双链表&#xff0c;循环链表 链表初始化 struct ListNode{ int val; ListNode* next; ListNode(int x): val&#xff08;x&#xff09;,next(nullptr) {} }; //初始化 ListNode* head new ListNode(5); 删除节点、添加…

[概率论基本概念4]什么是无偏估计

关键词&#xff1a;Unbiased Estimation 一、说明 对于无偏和有偏估计&#xff0c;需要了解其叙事背景&#xff0c;是指整体和抽样的关系&#xff0c;也就是说整体的叙事是从理论角度的&#xff0c;而估计器原理是从实践角度说事&#xff1b;为了表明概率理论&#xff08;不可…

React-native之Flexbox

本文总结: 我们学到了 React Native 的 Flexbox 布局&#xff0c;它让写样式变得更方便啦&#xff01;&#x1f60a; Flexbox 就像一个有弹性的盒子&#xff0c;有主轴和交叉轴&#xff08;行或列&#xff09;。 在 RN 里写样式要用 StyleSheet.create 对象&#xff0c;属性名…

学习日记-day21-6.3

完成目标&#xff1a; 目录 知识点&#xff1a; 1.集合_哈希表存储过程说明 2.集合_哈希表源码查看 3.集合_哈希表无索引&哈希表有序无序详解 4.集合_TreeSet和TreeMap 5.集合_Hashtable和Vector&Vector源码分析 6.集合_Properties属性集 7.集合_集合嵌套 8.…