动态拓展flink集群计算节点
你好，我是本际云服务器推荐网的小编小本本。近期由于flink集群的CPU总核数限制，flink集群已经没有看可用的slot资源，无法继续在集群上新增flink任务，所以需要横向拓展flink集群的计算节点。目前flink的部署模式是flinkonyarn，所以只用动态拓展现有的hadoop集群的数据节点即可。
拓展计算节点步骤
1. 设置主机环境
首先需要修改主机环境和用户环境变量。修改主机名称和用户环境变量后，需要重新加载用户环境配置文件。
2. 安装并配置hadoop
需要将所有主机加入hadoop集群，并修改hadoop配置文件。接下来需要安装并配置hadoop组件，同时修改配置文件，最后启动datanode和nodemanager服务。
拓展计算节点注意事项
启动datanode时，可能会遇到版本不对的问题需要修改VERSION文件。拓展完成后，需要刷新数据节点，将新节点加载到集群中。如果需要平衡节点数据，可以使用start-balancer.sh命令，查看所有节点信息使用hdfs dfsadmin命令即可。
以上就是拓展flink集群计算节点的步骤和注意事项，希望能对大家有所帮助。本文作者：胡京康（上海新炬王翦团队）。
原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6469.html
相关推荐
-
基于平台的应急开机效率提升分享
基于平台的应急开机效率提升分享 大家好，我是本际云服务器推荐网的小编小本本。今天我想分享一些关于业务相关知识和在遇到问题后如何基于平台沉淀场景的经验。特别是在应急开机效率提升方面，…
-
PostgreSQL在线将普通表转换为分区表插件之pg_rewrite
关于分区表 您好，我是本际云服务器推荐网的小编小本本。说到分区，我们首先想到的是表为什么要分区，分区有什么好处？当前版本不能对单表或者单个分区进行并行执行垃圾回收。对于多表或者多个…
-
做出口生意怎么做(做外贸生意如何资金往来？)
外贸生意资金往来 你好，我是本际云服务器推荐网的小编小本本。想要做好外贸生意，需要注意资金的往来。具体来说，可以按照以下步骤进行： 首先选择好产品，为做好销售打下基础。 然后建立一…
-
配置ssh免密登录
配置ssh免密登录 作为本际云服务器推荐网的小编小本本，今天为大家介绍一下如何配置ssh免密登录，让你的服务器管理更加便捷。 配置第一步 为了获得/root/.ssh这个文件，首先…
-
greenplum集群实例频繁宕机
Greenplum集群实例宕机问题排查 你好，我是本际云服务器推荐网的小编小本本。在生产环境中，我们所维护的Greenplum集群偶尔会出现节点实例宕停的情况。实例宕停的因素比较多…
-
kubectl自带的debug命令
使用kubectl debug调试k8s容器 作为一名使用k8s的开发人员，我们在调试容器时通常都会使用exec-it命令来登录容器并执行一些调试命令。但是，由于为了体积和安全的考…
-
Oracle补丁就该这么打
Oracle补丁的下载和备份 作为一个Oracle数据库管理员，在打补丁之前，最重要的是备份重要数据，并下载最新的补丁集。对于19c版本的最新补丁集，可以参考Assistant: …
-
19C_ADG_数据网络_搭建思路
关于搭建数据网络的思路 本文将详细介绍如何搭建数据网络，并对每个步骤进行说明。数据网络的搭建非常重要，能够确保数据的稳定和安全，因此我们需要认真对待这个过程。 配置数据网络 配置数…
-
Python正则表达式r'(.*)are(.*?).*’具体是什么意思呢？
Python正则表达式解答 小编写这篇文章的一个主要目的，主要是给大家去做一个解答，解答的内容是关于Python正则表达式的内容，主要是会涉及到r'(.*)are(.*?)\s.*…
-
Linux服务器安装FTP服务
小编小本本来啦！今天给大家分享一下如何安装vpsftp服务以及配置，快来跟着小编的步骤一步步操作吧！ 安装Vpsftp服务 首先，我们需要使用yum-y install vsftp…