Flink 集群搭建 Standlone 模式搭建 解压flink 1 [bigdata@hadoop102 software]$ tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/ 修改集群配置 1. 修改 flink-conf.yaml 1 2 3 4 5 6 7 [atguigu@hadoop102 conf]$ vim flink-conf.yaml # JobManager 节点地址. jobmanager.rpc.address: hadoop102 jobmanager.bind-host: 0.0.0.0 rest.address: hadoop102 rest.bind-address: 0.0.0.0 # TaskManager 节点地址.需要配置为当前机器名 taskmanager.bind-host: 0.0.0.0 anager.host: hadoop102 2.修改workers ...
Flume 环境配置 解压安装 解压 Flume 并重命名 1 2 3 [bigdata@hadoop102 software]$ tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/ [bigdata@hadoop102 module]$ mv /opt/module/apache-flume-1.9.0-bin /opt/module/flum-1.9.0 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 1 [bigdata@hadoop102 module]$ rm /opt/module/flume-1.9.0/lib/guava-11.0.2.jar 监听端口 安装 netcat 工具 ...
解压安装 解压安装包 1 [bigdata@hadoop102 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/ 进入到 config 目录，修改配置文件 1 2 3 4 5 6 7 [bigdata@hadoop102 kafka_2.12-3.3.1]$ cd config [bigdata@hadoop102 config]$ vim server.properties ### 输入修改以下内容 broker.id=0 log.dirs=/opt/module/kafka_2.12-3.0.0/datas zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka 分发安装包上,并分别修改配置文件server.properties 中的 broker.id=1、broker.id=2 ...
集群安装 解压安装 Zookeeper 解压 Zookeeper 安装包到/opt/module/目录下并修改 apache-zookeeper-3.5.7-bin 名称为 zookeeper-3.5.7 1 2 3 4 # 解压 [bigdata@hadoop102 software]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/ # 重命名 [bigdata@hadoop102 module]$ mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7/ 配置服务器编号 在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData ...
HBase环境配置 安装HBase 解压 Hbase 到指定目录 1 tar -zxvf hbase-2.5.11-bin.tar.gz -C /opt/module/ 配置环境变量 1 2 3 4 5 sudo #HBASE_HOME export HBASE_HOME=/opt/module/hbase export PATH=$PATH:$HBASE_HOME/bin 分发环境变量，并 source 1 2 3 xsync /etc/profile.d/my_env.sh # 分别在节点上 source 环境变量 source /etc/profile.d/my_env.sh 修改 HBase 的环境变量 修改 hbase-env.sh ...
安装环境配置 把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下 apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面 ...
Spark 环境配置 Yarn 模式 解压安装文件并重命名 1 2 3 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/ cd /opt/module mv spark-3.0.0-bin-hadoop3.2/ spark-3.0.0/ 修改配置文件 修改 hadoop 的 yarn-site.xml, 并分发 1 2 3 4 5 6 7 8 9 10 11 12 13 <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true --> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> 修改 conf/spark-env.sh， 添加 JAVA_HOME 和 YARN_CONF_DIR 配置 ...
Hadoop 环境配置 修改网络配置 修改hosts 虚拟机安装 JDK 用 XShell 传输工具将 JDK 导入到 opt 目录下面的 software 文件夹下面 解压 JDK 到 /opt/module 目录下 1 [haitng@hadoop111 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 配置 JDK 环境变量 ...