Email:xpjco@foxmail.com
精准采集官网-精准客源-邀请码代理-十年专注目标客户资源数据采集
当前位置:网站首页 > 行业资讯 正文 行业资讯

工业物联网环境下设备数据采集实现

fctime.cn 2021-11-18 行业资讯 10 ℃ 0 评论

随着工业物联网的发展,工业设备的智能化程度越来越高,然而设备的通讯受限于不同设备的物理链路、各种不同的协议,因此大多数数据不能互联互通数据采集。同时,现有的SQL数据库也很难适应工业物联网中时间序列数据的存储特点,使得数据的存储和查询效率很低。

目前,国内外厂商对于工业物联网数据采集措施,主要有两种方案数据采集。

一是利用嵌入式工业网关接入工业现场,或通过以太网,或通过串口,或通过OPC服务器等介质进行数据采集数据采集。这种方式需要购买厂商的硬件设备,往往价格高昂,并且与设备厂商的平台进行强绑定,不利于用户开发,难以满足个性化和定制化需求。优点是对于要求不多的客户,使用省心,不需要考虑很多,并且售后服务比较有保障。

二是利用数据传输单元DTU进行透明传输,将现场设备接入厂商云端,通过Socket方式实现数据采集数据采集。这种方式不需要购买或替换厂商的硬件网关,能直接利用用户已有的设备,减少了硬件成本开销。缺点是云服务价格取决于厂商,用户的话语权减弱,且迁移数据受限制。

文章介绍了一种新型的利用Modbus工业总线现场协议进行数据采集的方法,实现了在云端对边缘设备进行数据采集的功能数据采集。借助这种方法,工业数据的采集可以不依赖于具体硬件网关,减少使用成本,对于企业及时参与工业物联网的发展有一定的启示意义。

1 需求及解决方案

该系统主要实现在云端对边缘设备进行采集的功能,同时进行可视化的呈现数据采集。国内做数据采集工业网关的厂家非常多,证明这个技术方向有一定的研究价值。本采集系统使用Modbus+MQTT+InfluxDB的技术方案,经过验证,技术上具有一定的可行性,可以满足用户的数据采集需求。

1.1 数据采集

用户使用本数据采集系统时,首要的需求便是采集现场数据数据采集。这要求系统能够支持用户设备的通信协议。经过分析研究,Modbus TCP与Modbus RTU协议已经能够满足用户的基础需求。另外,为了支持一些原始的串口协议,系统也加入了对于DTU透传模块的支持,经过正确配置后也可以通过DTU模块读取下属设备的数据。只有对协议的支持是远远不够的。为了能够方便用户的操作配置,系统的配置文件一定要清晰明了,不使用户感到迷惑。

因此系统选用的JSON格式作为配置格式,既方便用户阅读和修改配置,也便于程序读取和解析数据采集。

1.2 数据存储

在满足用户的采集需求后,另一个问题便是数据存储问题数据采集。由于时序数据的天然特殊性,SQL类数据库并不适合存储该类数据。因此本系统选用时序数据库中性能较为优异的InfluxDB数据库作为存储方案,为如何收集数据,如何存储数据,如何处理和监视数据,以及如何可视化数据提出了合适的解决方案。

另外,系统还提供了备选方案,如存储到MQTT中,后面接入消息队列,可以进一步处理;用户也可以选择直接存入云厂商数据库,例如,百度云天工TSDB数据库数据采集。

1.3 数据可视化

用户对于数据的分析和处理有着强烈的需求数据采集。例如,用户想要知道某台设备数据的波动情况,来判断这台设备是否稳定;或者根据数据的趋势来对后续数据的情况进行预测分析;这些都要求系统能够对数据进行可视化展示,或者对数据转发至具有可视化能力的平台中。为解决这个问题,系统提供多种方案,如Chronograf展示或Grafana展示,也可以借助百度云天工的物可视进行展示。

2 系统设计

本系统使用的开发软件为Jetbrains Goland,使用GO语言作为开发语言数据采集。

系统采用Modbus作为数据采集的协议,MQTT作为配置文件下发和数据存储方案,InfluxDB和OpenTSDB作为时序数据库进行存储,用GO语言进行代码编写,JSON协议作为配置文件和API交互的格式,使用Docker容器虚拟化平台进行系统的整体部署和安装数据采集。系统整体框架可分为三部分:主函数模块、采集驱动模块、存储驱动模块。

2.1 主函数模块

主函数模块为该模块程序的入口数据采集。程序主要执行的动作有:加载配置文件、加载存储驱动、加载采集驱动、开始采集任务、注册系统监听事件、阻塞主函数等待等。

程序执行的流程为:

首先从JSON文件中读取并加载配置文件,然后将存储模块的配置文件交给存储模块去加载,将采集模块的配置交给采集模块去加载数据采集。待加载完成后,循环遍历驱动字典,为每个采集驱动实例开辟线程,并开始采集任务。接着,程序注册了对于系统的监听事件,当按下键盘停止程序时,程序会循环遍历驱动字典并停止每个驱动实例。此外,程序还在主线程中一直循环等待阻塞,使得其他采集线程能一直执行。主函数模块流程图如图1所示。

工业物联网环境下设备数据采集实现 数据采集  工业数据采集 第1张

图1 主函数模块流程图

主函数模块代码如下:

func main() {

config := loadConfig()

S := drivers.NewStorage(config.Info.Storage)

driverMap := drivers.NewDriver(config.Info.Gateway, S)

for k := range driverMap {

driver := driverMap[k]

go driver.Start()

监听系统事件,有停止信号时关闭程序并销毁资源数据采集。

var stopLock sync.Mutex

stop := false

stopChan := make(chan struct{}, 1)

signalChan := make(chan os.Signal, 1)

go func() {

-signalChan

stopLock.Lock()

stop = true

stopLock.Unlock()

log.Println("Cleaning before stop...")

程序终止之前,先要关闭所有正在运行的任务,并销毁对应的资源数据采集。

for k := range driverMap {

driver := driverMap[k]

go driver.Stop()

stopChan - struct{}{}

os.Exit(0)

signal.Notify(signalChan, syscall.SIGINT, syscall.SIGTERM)

使用select一直阻塞主程序,等待其他函数执行,或者等待中断信号发送select {}数据采集。

2.2 采集驱动模块

该模块是程序的核心数据采集,该模块程序主要执行的动作有:

解析存储配置、生成采集驱动、调度采集程序、开始和停止采集任务、校验数据类型、转换数据格式、监听网络端口等数据采集。程序执行的流程是:首先解析配置文件,判断每个驱动的采集协议,根据不同协议生成对应的采集驱动,然后开始采集。

采集时,如果协议是Modbus,首先判断函数功能码,然后去调用对应的函数数据采集。采集到的结果是原始值,与用户的需求值不相吻合。因此调用转换函数。转换函数首先判断传进来的采集结果是否为空,为空则直接返回。

如果采集到的数据不为空,首先判断采集点表中数据类型是否正确数据采集。如果正确,利用反射机制调用对应转换函数,将传进来的原始值转换为对应的需求值。

如果协议是原始串口类型,则启动网络监听程序,等待客户端连接数据采集。如果有客户端请求连接,判断客户端合法性,合法则接受客户端连接,否则拒绝。服务器校验通过并接受连接后,程序发送采集指令到客户端,等待客户端返回结果,然后同样的将数据进行转换操作后返回。采集驱动模块流程图如图2所示。


图2 采集驱动模块流程图

2.3 存储驱动模块

这一部分是程序的结尾部分,也是程序向上传输的通道数据采集。当每个采集驱动采集到数据并转换完成后,都会调用存储模块,对数据进行写入。存储驱动的流程是:获取到数据后,根据对应的存储驱动启用与否,调用对应的存储函数进行写入,可以是写入数据库,也可以是发送到MQTT的Topic里面去。数据发送后,如果失败则打印相应的日志,如果成功,返回并进行下一次数据的发送。


图3 存储驱动模块流程图

3 系统实现

系统使用Go语言编写,在Goland里面添加Docker远程部署,链接到服务器,点击运行即可将系统部署到服务器数据采集。开发中需要使用的代码文件和用途描绘如表1所示。

表1 项目部分GO代码说明


系统使用Docker部署数据采集。需要编写Dockerfile和entrypoint.sh代码。

Dockerfile代码内容如下:

FROM alpine:latest

MAINTAINER GuoYuchao ihidchaos@qq.com

ENV LANG C.UTF-8

WORKDIR /root/

COPY ./bin bin

COPY ./entrypoint.sh entrypoint.sh

ENTRYPOINT ./entrypoint.sh

entrypoint.sh代码内容如下:

#!/bin/sh

cd ~/bin/ || exit

./linux_amd64 &

status=$?

if [ $status -ne 0 ]; then

exit $status

fi

while true ; do

sleep 1

done

在Goland里面添加Docker远程部署配置,连接到服务器,点击运行即可将本系统部署到服务器数据采集。部署完后进行系统测试,先查看服务器是否存在在Docker容器中,显示系统已经成功部署,如图4所示。


图4 系统部署结果

部署成功后进行数据采集结果测试、数据存储测试,以及数据可视化测试数据采集。先看采集程序是否采集到了数据,接着检查InfluxDB和OPEN TSDB数据库,再检查数据是否正确的发送到了数据库中,最后检查TSDB数据可视化,数据可视化结果如图5所示。


图5 Chronograf数据可视化和Grafana数据可视化

4 结论

本系统解决了传统的数据采集系统使用C语言和一些单片机产品组合开发存在的开发效率低下,产品价格昂贵,部署、维护难度高花费大等缺点,实现了数据采集、数据存储、数据可视化的功能,满足了工业物联网环境下企业对数据采集和智能化生产的需求,借助这种方法,工业数据的采集可以不依赖于具体的硬件网关,减少了企业智能化改造的成本,同时数据可视化的呈现为企业进行生产优化和决策提供了依据,助力企业智能化的发展数据采集。

本文作者:欧阳旻 郭玉超 王桓 王志兵 原文刊载于《软件工程》2020年12期

了解更多精彩内容,请关注我们公众号【ID:xingongyecn】,或百度搜“新工业网”数据采集。

本文标签:数据采集工业数据采集

版权说明:如非注明,本站文章均为 精准采集官网 原创,转载请注明出处和附带本文链接

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

搜索
«    2021年11月    »
1234567
891011121314
15161718192021
22232425262728
2930
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
标签列表
最新留言
友情链接
  • 精准采集APP,精准人脉大师
  • 订阅本站的 RSS 2.0 新闻聚合
Copyright © 2016-2021 fctime.cn 精准采集 DJY团队. Powered By Z-Blog,xpjco@foxmail.com Some Rights Reserved.
精准采集   精准客源

赞助广告×