Spark系列 – 结构化数据流基本内容
本文将介绍Spark结构化数据流的基本概念和使用方法，StructuredStreaming的编程模型以及外部存储器模式等内容。
Spark结构化数据流是基于SparkSQL引擎的可扩展和容错的数据流处理框架，可以处理结构化数据流，并且保证仅一次容错。数据以增量连续方式运行，在流数据到达时进行更新。可以使用scala、java、python或R的DataSet/DataFrame API来表示数据流聚合、时间窗口等，通过检查点、预写日志方式实现容错。
编程模型
StructuredStreaming的关键是将实时数据流作为无边界的连续追加的表，和批处理模型很像，实时处理可以看作是一个静态表进行处理。
每个消息实体作为表的一行追加到表中，针对输入表查询将生成结果表，每次触发新的ROWDATA将被追加到输入表中，然后更新结果表。无论何时更新，我们都希望将更新后的数据写入到外部存储器。
外部存储器模式
StructuredStreaming支持三种外部存储器模式：
- CompleteMode：每次触发整个结果表将写入到外部存储器。适用于聚合查询输出的情况。
- AppendMode：每次触发将追加到结果表中的新行才会被写入到外部存储器，适用于结果表中现有行不会更改的查询。
- UpdateMode：每次触发后在结果表中较上次触发后更新或新增的行才会被写入到外部存储器。如果没有聚合操作，则该模式与AppendMode相同。如果有聚合操作，则可以基于watermark清理过期的状态。
需要注意的是，StructuredStreaming只读取最近可用的数据而不是整个数据表，然后更新结果表，然后就丢弃输入数据，只保留处理最新状态的数据。
以上就是Spark结构化数据流基本内容的介绍，想要了解更多信息，请关注IT那活儿（上海新炬王翦团队）。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6258.html
相关推荐
-
Docker技术之构建镜像和网络模式解析
Docker技术之构建镜像 Dockerfile是一个用来构建镜像的文本文件，文本内容包含了一条条构建镜像所需的指令和说明。基于Dockerfile构建镜像可以使用docker b…
-
Redis安装配置实践
本际云服务器推荐网小编介绍 欢迎来到本际云服务器推荐网，小编小本本将为你介绍如何安装和配置Redis。 Redis安装和配置实践 首先通过虚拟机链接公网获取Redis安装包，使用以…
-
MYSQL主从sql线程not_running故障处理
MYSQL主从sql线程not_running故障处理 本文介绍了MYSQL主从sql线程not_running故障的处理方法。 故障现象：主从线程未running，同步中断。报错…
-
iTerm2简介和安装
小本本介绍 大家好，我是本际云服务器推荐网的小编小本本，今天给大家介绍一款非常好用的mac命令行工具——iTerm2。 iTerm2特性 iTerm2是mac上一款比自带的term…
-
python中requests库怎么安装与使用？
Python Requests库介绍 本文将为您介绍Python Requests库，包括安装方法和常用请求方法，以及相关参数的说明。 Requests库安装方法 Requests…
-
Python出错:ModuleNotFoundError的解决方案
Python报:ModuleNotFoundError不正确的解决方案 ModuleNotFoundError: Nomodule named ‘xxx’是…
-
PyCharm创建Django项目的简单步骤记录
创建Django项目的步骤 本文旨在详细介绍如何创建Django项目，并为大家提供步骤和图片记录。 具体步骤 1. 创建虚拟环境 首先，创建一个新文件夹，并在PyCharm终端中切…
-
MySQL5.7.38初始化参数datadir引发的相关问题
MySQL5.7.38初始化参数datadir引发的相关问题 本文将介绍MySQL5.7.38初始化参数datadir引发的相关问题。在数据库初始化时，datadir用于指定数据文…
-
k8s部署应用包步骤流程
k8s部署应用包步骤 部署主要步骤：新建镜像，将应用包打入镜像内。将镜像上传至远程仓库。新建pod，并引用远程仓库中的镜像并运行pod。 k8s基本介绍 1.K8s的组件介绍 组件…
-
IBM磁带库驱动器故障日志收集办法
故障环境说明 本文旨在分享如何收集IBM磁带库驱动器故障日志，并对收集过程中需注意事项做出说明。河南移动业务支撑中心平台软件组备份软件侧反馈北环机房IBM磁带库驱动器故障，无法正常…