Spark Dstreams缓存
与RDD类似，DStreams也可以使用persist()方法将数据流持久化到内存中。使用Cache/Persistence对于需要多次计算的数据流中的数据非常有用。在基于窗口和状态操作时，持久性存储将隐式进行，无需开发人员显示调用persist()方法。需要显示指定持久化的数据集可以通过调用persist()方法实现。默认情况下，通过网络接收的输入流将被复制到两个节点以实现容错，并且默认持久性存储级别将在内存中进行序列化。
Spark Dstreams持久性存储
Checkpointing是Spark Streaming应用程序保持持久性的关键机制。由于流式应用程序需要24/7运行，因此必须适应与程序逻辑无关的故障。checkpointing有两种类型：metadata checkpointing和data checkpointing。元数据checkpointing将定义流式计算的信息保存到可靠的存储（如HDFS）中，以便于从程序驱动节点的故障中进行恢复。数据checkpointing将生成的RDD保存到可靠的存储中。对于有状态转换的基本功能，data checkpointing是必需的。在此类转换中，生成的RDD依赖于以前批处理的RDD，导致依赖链不断增加。为了避免恢复时间的无限增加，data checkpointing定期检查到可靠的存储中以切断依赖链。需要使用checkpointing的流应用程序必须提供checkpoint目录以允许定期RDD检查点。
需要注意的是RDD检查点会导致成本，并会导致检查点所在批次的处理时间增加。因此，需要谨慎设置检查点间隔。而对于无法从Spark Streaming中的检查点恢复累加器和广播变量的，需要对其创建延迟实例化的单例实例。在使用持久化时，persist()方法将RDD的partition持久化到磁盘，但当executor所在进程CoarseGrainedExecutorBackendstop后，被cache到磁盘上的RDD也会被清空。而checkpoint将RDD持久化到HDFS或本地文件夹，并且一直存在。在实际使用中，应根据实际情况选择适合的持久化方法。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6222.html
相关推荐
-
PostgreSQL逻辑备份与恢复
什么是逻辑备份和恢复 逻辑备份和恢复是指通过一些工具，如pg_dump和pg_restore，对PostgreSQL数据库进行备份和恢复操作。逻辑备份和恢复可以保证即使在数据库并发…
-
pandas应用实例之pivot函数详解
介绍Pandas中的pivot函数 作为一个超大的数据库，Pandas会调用到很多函数。在调用函数的时候，会涉及到很多的数据，其中调用数据的时候，会用到pivot函数，下面就给大家…
-
Elasticsearch安全漏洞修复
小本本介绍 本篇文章由本际云服务器推荐网的小编小本本为您介绍Elasticsearch安全漏洞修复方法。 Elasticsearch未授权访问漏洞修复 本次修复的主要内容是添加用户…
-
Oracle的块改变跟踪引发的宕库案例
介绍 大家好，我是本际云服务器推荐网的小编小本本，今天给大家分享一起Oracle数据库宕库的案例分析及解决方法。 问题分析 某天晚上22点16分左右，收到了一个RAC数据库两节点的…
-
亚马逊收款方式有哪些(亚马逊怎么收款和提款？)
亚马逊收款和提现方式 作为亚马逊卖家，如何进行收款和提现呢？首先需要绑定一张与申请账户本人一致的银行卡，银行卡开户人和绑定软件的本人要一致，才能正常绑定软件。成功绑定银行卡后，就可…
-
跨境金融是什么意思(什么是境外汇款代码？)
什么是境外汇款代码？ 境外汇款代码是指用于国际汇款的银行间代码。其中，SWIFT代码覆盖面最广，是国际汇款中使用最多的代码。此外，欧洲范围的IBAN码和美国的ABA码也很著名。每一…
-
内存库长事务告警的自愈之路
认识内存库长事务 我是本际云服务器推荐网的小编小本本，今天要和大家分享内存库长事务告警的自愈之路。首先，我们需要了解什么是内存库长事务。指的是运行时间较长、长时间未提交的事务，往往…
-
DM同步主键冲突原因及排查恢复
DM同步主键冲突原因及排查恢复 我是本际云服务器推荐网的小编小本本，今天给大家介绍一下DM同步主键冲突的原因及排查恢复。 报错分析情况1：上游数据存在冲突的情况 如果上游两套 My…
-
Docker容器网络之服务名称或别名连接容器服务原理剖析
介绍 本文将讲解Docker容器网络中通过服务名或别名连接容器服务的原理以及分析，涉及到netfilter/iptables防火墙、evth-pair技术、DNS等技术。因Dock…
-
Redis设置中的”redisset”和”redissetkey”是否存在覆盖问题？
Redis是一款非常强大的键值对存储数据库，其核心特点包括高性能、丰富的数据结构、分布式支持等等。在Redis中，我们常常使用一些设置来控制数据库的行为，其中就包括“redisse…