Spark 环境配置
Spark 环境配置 Yarn 模式 解压安装文件并重命名 1 2 3 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/ cd /opt/module mv spark-3.0.0-bin-hadoop3.2/ spark-3.0.0/ 修改配置文件 修改 hadoop 的 yarn-site.xml, 并分发 1 2 3 4 5 6 7 8 9 10 11 12 13 <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true --> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> 修改 conf/spark-env.sh， 添加 JAVA_HOME 和 YARN_CONF_DIR 配置 ...