触发器的设置和流式查询
流式查询中触发器的设置定义了流数据处理的时间，可以是微批处理，也可以是连续查询执行。
微批触发类型和连续处理模式
微批触发类型和连续处理模式是流查询中的两种方式，可以实现低延迟的流数据处理。连续处理模式是Spark2.3中引入的一种新的实验性流式执行模式，可实现小于1毫秒的端到端延迟。自spark2.4，连续处理模式下仅支持操作、数据源和接收器等查询类型。
注意：使用连续处理模式需要确保集群中有足够的内核并行执行任务，同时需要采用合适的数据源和接收器来观察端到端的低延迟处理。
流查询管理通过start()方法后生成StreamingQuery对象，可用于监视可管理流查询。可以使用spark的DropwizardMetrics支持或编程方式进入查询进行监控和恢复。
需要注意的是，在故障和故意关闭后，可以通过检查点和预写日志来恢复以前查询的进度和状态，并在停止时继续流数据处理。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6341.html
相关推荐
-
静态托管服务器
什么是静态托管服务器？ 静态托管服务器是一种将静态网站或应用程序托管在云端的服务。静态网站是指不包含动态内容的网站，例如HTML、CSS和JavaScript文件。 在使用静态托管…
-
oracle补丁介绍及下载
Oracle 补丁介绍 你好，我是 IT那活儿 的小编小本本。Oracle 为了维持与安全相关的修复以及高优先级的非安全修复，每年的1月，4月，7月和10月中每个季度发布一个 RU…
-
Nginx安装与配置详解（附：完整指南）
Nginx简介 Nginx是一款开源的高性能HTTP和反向代理服务器，能够同时处理静态和动态请求，并且适用于更高的并发性。其主要优点是占用较少的内存资源，适用于负载平衡和高访问量网…
-
黑色星期五是哪一天(10月13日哪年是星期五？)
10月13日哪年是星期五？ 小编了解到：今年10月13日是星期三，平年有52周零一天，这就意味着平年星期几开始，就是星期几结束，今年10月13日星期三，到2022年10月12日是一…
-
Python使用pywebview开发设计桌面应用的全流程
介绍 作为桌面应用程序的开发者，你是否曾经想学习并设计桌面应用程序呢？那么本文将介绍使用Python的pywebview开发设计桌面应用程序的相关资料，希望这能够给大家带来帮助。 …
-
前端，不只局限于vue！
前端，不止局限于Vue！ 你好，我是本站的小编小本本。虽然Vue是一个非常流行的前端框架，但前端的世界远不止于此。在实际应用中，开发人员经常会遇到各种挑战，例如数据回写不生效、效果…
-
叮！小伙伴们，开工大吉
云服务器推荐：稳定高效的IT基础设施 在当今数字化时代，云计算已成为企业高效运营和数字转型的关键基础设施。云服务器的出现可以帮助企业构建稳定、高效的IT基础设施，提高数据安全性、运…
-
Ubuntu18安装nginx教程
介绍Ubuntu和Nginx Ubuntu是一种流行的Linux操作系统，而Nginx是一款高性能的Web服务器和反向代理服务器。通过安装和配置Nginx，您可以将服务器用于托管网…
-
oracle迁移Oceanbase数据迁移踩坑记（二）
事件背景 我是本际云服务器推荐网的小编小本本，今天分享的是oracle迁移Oceanbase数据迁移踩坑记的第二部分。上次分享问题多在全量迁移阶段，这次是续全量迁移后增量迁移问题填…
-
python文件读取数据read及readlines两种方式应用详细说明
Python文件读取数据read方法应用范例及差别 大家好，我是本际云服务器推荐网的小编小本本。今天要给大家介绍Python文件读取数据read及readlines两种方式的应用范…