Spark系列：结构化数据流
自Spark 2.0之后，DataFrame和DataSet可以用于表示静态有界数据和无界流数据，并使用SparkSession从流源创建DataFrame/DataSet。使用spark.readStream()可以创建流。
我们设计了数据源、接收器和执行引擎，以实现端到端一次传输。数据源具有偏移量，执行引擎使用检查点和预写日志来记录每次触发后正在处理数据的偏移范围。接收器使用幂等接收，确保结构化数据流实现了端到端一次性传输。
数据源
内置数据源包括：
- Filesource：读取目录中的文件，按文件修改时间进行处理。支持text、csv、json、orc、parquet格式。
- Kafkasource：兼容kafkabroker0.10.0或更高版本。
- Socketsource（用于测试）：从socket连接中读取数据，监听socket套接字。
- Ratesource（用于测试）：以每秒指定的行数生成数据。
案例
可以通过创建socket流和文件流来测试数据集是否为流数据。可以使用DF.isStreaming来判断数据集是否为流数据。Spark 3.1开始，也支持根据DataStreamReader.table()来创建结构化数据流。当读取目录时如果存在key=value形式的子目录时，将自动递归到这些目录中并发生分区。
以上内容来源于IT那活儿（上海新炬王翦团队）的潘宗昊。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6259.html
相关推荐
-
性能故障之内存抖动的诊断过程
性能故障解析——内存抖动诊断 本文将分享一起性能故障的解决过程，为大家提供参考。最近，我们接到了一个关于XX系统Connecttodatabasetimeout的报障，要协助检查数…
-
宝兰德BES中间件JVM堆自动化扩缩容
宝兰德BES中间件JVM堆自动化扩缩容 最近在部署国产宝兰德bes中间件时，得益于安装部署场景和数据源配置场景已经在AMP平台落地，大大提升了部署效率。但是在使用过程中发现jvm堆…
-
argocd安装和使用
小本本介绍 大家好，我是本际云服务器推荐网的小编小本本，今天我来为大家介绍一个名为argocd的gitops工具。 argocd的功能及安装 argocd是一款功能强大的gitop…
-
Nginx虚拟主机和反向代理
介绍 我是本际云服务器推荐网的小编小本本，今天要为大家介绍Nginx虚拟主机配置和反向代理的方法。 Nginx虚拟主机和反向代理 1. 环境准备：因为是本地测试，首先需要关闭SEl…
-
通过自学python求已经知道DNA模版的相辅相成DNA序列
通过自学Python求已知DNA模版的相辅相成DNA序列 我是本际云服务器推荐网的小编小本本，接下来给大家介绍如何通过学习Python求得已知DNA模版的相辅相成DNA序列。 代码…
-
oracle小版本升级实战
小编介绍 你好，我是本际云服务器推荐网的小编小本本。今天给大家分享一个实战案例，讲述如何将oracle11.2.0.3升级至11.2.0.4单机版。希望通过这篇文章，可以帮助到大家…
-
解决Apache官网无法访问的问题 apache官网进不去
解决Apache官网无法访问的问题- apache官网进不去近期有不少用户反映在访问Apache官网时遇到了问题，无法正常访问。这是由于众所周知的原因，因此导致访问不稳定。下面提供…
-
oracle不同类型的job介绍
Oracle不同类型的job介绍 作为本际云服务器推荐网的小编小本本，今天给大家介绍一下Oracle的不同类型的job。 dba_jobs 创建存储过程： create or re…
-
ORACLE服务器关闭透明大页并启用大页
ORACLE服务器关闭透明大页并启用大页 本文由IT那活儿公众号的小编小本本发布，今天将为大家介绍ORACLE服务器的大页和透明大页，并详细讲解如何关闭透明大页并启用大页来提高服务…
-
MGMTDB重建与迁移操作方法
MGMTDB重建方法 从oracle12.1版本开始，集群环境中多了一个MGMTDB实例。它是一个单实例数据库，因此它将在集群中的一个节点上启动并运行。在日常运维过程中，如果遇到M…