小编介绍
以下是本际云服务器推荐网的小编小本本，今天为大家带来关于Flink数据广播使用总结的文章。
为什么要使用广播
在Flink使用场景中，常常需要获取外部配置或规则数据后进行计算或规则匹配，同时当外部数据发生变化时，Flink中程序也要保持更新。但传统的方式如预加载、本地缓存均难以实时更新。因此，广播成为了一种可以实时更新外部数据的方式。
什么是广播
广播是一种类似于全局性共享的数据，可以将数据作为一个整体或对象广播，避免了大量的shuffle，导致集群性能下降。广播变量创建后，可以运行在集群中的任何函数上，而不需要多次传递给集群节点，可以直接在内存中获取数据。同时，不同的任务在节点上都能够获取到广播数据，并在每个节点上只会存在一份，而不是在每个并发线程中存在。Flink中的广播分为广播变量和广播流两种类型，实现方式类似，但广播流能够实时更新。
广播的使用
根据广播使用场景将广播的类型分为广播变量和广播流。广播变量将广播的数据作为一个整体或对象广播，而广播流是实时的，可以根据外部数据新增、修改或删除记录进行更新。广播流比较适合需要实时更新外部数据场景，如自定义KafkaSource、MQ等。
对于广播变量的使用，一般需要通过定时任务从外部获取全部数据，然后通过Flink的BroadcastState广播出去。对于广播流的使用，需要将外部数据来源如Kafka存储在广播状态中，然后根据外部数据新增、修改或删除记录，对广播状态进行实时更新。在
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/5957.html
相关推荐
-
导数界顶端的pg_bulkload
介绍 作为PostgreSQL提供的一种高速数据加载工具，pg_bulkload插件能够快速帮助用户将大量数据导入到数据库中。除此之外，它还能够实现数据过滤等功能，方便日常的运维工…
-
Nginx启动失败怎么办？（附：Nginx启动常见问题与解决方法）
介绍 Nginx是一款广泛使用的Web服务器软件，但在使用过程中，可能会遇到启动失败的情况，本文将为大家介绍Nginx启动失败的常见问题及解决方法。 Nginx启动失败的常见问题 …
-
Oracle各版本文本数据生成方案
Oracle各版本文本数据生成方案 你好，我是本际云服务器推荐网的小编小本本。在日常维护工作中，经常会遇到客户要求将标的数据库导出为TXT、CSV等文件。 解决方案 2.1 Ora…
-
Docker镜像管理常用操作代码示例
介绍 大家好，我是本际云服务器推荐网的小编小本本，今天要介绍如何使用docker删除镜像。 查看镜像 首先，我们可以使用命令docker images来查看本地所有的镜像。如果镜像…
-
六个Python编程最受用的内置函数使用详解
Python编程常用函数介绍 作为一名本际云服务器推荐网的小编，今天给大家介绍一些Python编程中常用的函数，希望能帮助大家更好的掌握这门编程工具。 常用函数一：Map函数 Ma…
-
rpm包构建
介绍 大家好，我是本际云服务器推荐网的小编小本本。今天我们来聊一下 RPM，也就是 Redhat Package Manager。这是一种用于 RHEL、CentOS、Fedora…
-
python多线程死锁现象及解决方法
关于python多线程的问题解答 我是本际云服务器推荐网的小编小本本，今天主要为大家介绍关于python多线程的问题解答。如果遇到多线程问题现象，我们应该怎么去进行解答呢？下面我将…
-
spark系列-结构化数据流-数据源
Spark系列：结构化数据流 自Spark 2.0之后，DataFrame和DataSet可以用于表示静态有界数据和无界流数据，并使用SparkSession从流源创建DataFr…
-
IIS维护分享
介绍 我是本际云服务器推荐网的小编小本本。今天我来和大家分享一下关于IIS维护的一些知识。 IIS服务器介绍 IIS是Internet Information Server的缩写，…
-
如何让win系统重启后自动启动nginx？（附：nginx开机自启方法）
背景介绍 在使用nginx服务器时，经常会出现重启系统后需要手动启动nginx的情况，这对于经常需要重启电脑的用户来说很不方便，本文将介绍如何让win系统重启后自动启动nginx。…