解决Spark Standalone模式下Work的Address和HDFS不匹配的问题
## 问题描述
HDFS的DataNode节点,节点名称为主机名,非IP。
Spark Standalone模式下,Worker列表中,Address信息为IP,不是主机名。
这会导致Spark处理HDFS上的数据时,无法精准分发任务,大数据量下会有性能问题。
## 解决方案
修改`sbin/start-slave.sh`下的`start_instance`方法。
默认为:
```b
阅读全文...