博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
流数据的Web界面配置
阅读量:4162 次
发布时间:2019-05-26

本文共 1183 字,大约阅读时间需要 3 分钟。

作者:doremi

流数据服务(Streming Service)基于Spark Streaming分布式实时计算框架,因此在配置服务前,需要开启Spark集群。您可以使用iServer内置的Spark来搭建集群,也可以自行在其他的机器上搭建Spark集群服务,参考https://blog.csdn.net/supermapsupport/article/details/91973584,将Spark集群服务注册到iServer中,并且开启分布式分析服务即可开启分布式分析环境,参考https://blog.csdn.net/supermapsupport/article/details/90903095

流模型

在使用流数据服务时,我们必须先了解流模型的结构。

流数据处理流程包含:
在这里插入图片描述
依据上述处理流程,流数据的处理模型包含四个部分:Receiver(接收器)、Filter(过滤器)、Mapper(转换器)和Sender(发送器)。每个部分作为一个节点,可以进行连接和合并,构建成实时数据处理流 Stream。除了处理流 Stream 以外,还有一些辅助参数作为整个服务的运行条件,一并存储在启动参数类型 Startup 中。
在这里插入图片描述
发布流数据服务需要将配置好的流处理模型文件发布出来,为了方便大家配置流处理模型,我们提供了WEB端的可视化流处理模型编辑器

流处理模型编辑器

使用管理员用户登录iServer服务管理页面,进入服务页面,在默认打开的“概述”页面单机“配置流数据服务”,打开流处理模型编辑器

在这里插入图片描述
如图所示,左边为流处理模型的组件列表,包含四部分:接收器、发送器、转换器和过滤器,每个部分作为一个节点,可在右侧的节点编辑器中,进行连接和合并,同时编辑各节点的属性信息,从而构建流处理模型。在编辑器中可直接发布构建好的流处理模型为流数据服务,在页面上部可指定流数据服务的服务名,“发布”按钮用于发布流数据服务。

接收器作为流数据处理的入口,接收各种来源的数据,需要设置接收信息的元数据,消息的读取格式

转换器用于建立字段映射以及对字段进行管理,主要包括字段映射、添加字段、删除字段、字段运算以及地理围栏

过滤器用于过滤当前数据,进行数据的清洗与整理

具体详细的参数配置信息介绍可以参考帮助文档(

构建流处理模型

添加节点,将左侧的组件拖拽至右侧编辑区域,添加后如下图

在这里插入图片描述
编辑属性,单机节点进行属性编辑,填入实际情况的数据属性或者计算表达式,编辑完成选择保存
在这里插入图片描述
连接节点,拖拽方框的右侧绿色部分,将拖拽出的箭头指向下一个节点。发送器作为最终节点用于输出处理结果,因此无下一节点
在这里插入图片描述
删除节点和连接,鼠标悬浮于几点上,单机右上角的x即可删除此节点,单机节点连接箭头可删除该连接

流处理模型编辑器的大致介绍就到这了,后续我们会对各个类型的接收器进行详细的配置介绍和实际运用

你可能感兴趣的文章
带WiringPi库的交叉笔译如何处理二之软链接概念
查看>>
postgresql监控工具pgstatspack的安装及使用
查看>>
【JAVA数据结构】双向链表
查看>>
C++模板
查看>>
Spring MVC中使用Thymeleaf模板引擎
查看>>
深入了解php底层机制
查看>>
PHP中的stdClass 【转】
查看>>
XHProf-php轻量级的性能分析工具
查看>>
就在昨天,全球 42 亿 IPv4 地址宣告耗尽!
查看>>
Mysql复制表以及复制数据库
查看>>
【Python】学习笔记——-7.3、继承和多态
查看>>
【Python】学习笔记——-7.5、实例属性和类属性
查看>>
git中文安装教程
查看>>
虚拟机 CentOS7/RedHat7/OracleLinux7 配置静态IP地址 Ping 物理机和互联网
查看>>
Jackson Tree Model Example
查看>>
常用js收集
查看>>
如何防止sql注入
查看>>
springmvc传值
查看>>
在Eclipse中查看Android源码
查看>>
Android使用webservice客户端实例
查看>>