标签-hadoop

## 背景 有个好久好久没怎么维护的Hadoop集群，一直在提供服务，也做了HA，由于某些原因要对HDFS做重启，重启前检查了遍服务，发现另一个NameNode已经挂了有一段时间了。 重启过程倒是没啥问题，但NameNode的Startup Progress特别久，持续Loading edits，将近3个小时。 ## 分析 到NameNode的数据目录看了下，发现有大量的`edits_*` 阅读全文...

## 问题描述 HDFS的DataNode节点，节点名称为主机名，非IP。 Spark Standalone模式下，Worker列表中，Address信息为IP，不是主机名。 这会导致Spark处理HDFS上的数据时，无法精准分发任务，大数据量下会有性能问题。 ## 解决方案 修改`sbin/start-slave.sh`下的`start_instance`方法。 默认为： ```b 阅读全文...

## 背景 2个NameNode - namenode1, active - namenode2, standby `DFSZKFailoverController`和`zookeeper`服务都正常运行的情况下，将namenode1的进程执行kill -9，namenode2没有自动切换为active的状态，导致HDFS只读不可写。 ## 分析 分析了两个namenode节点的zkfc 阅读全文...

编辑`hdfs-site.xml`，修改`dfs.namenode.shared.edits.dir`配置，加入新的节点。 添加新的JournalNode节点后，如果集群已经有其他的JournalNode在正常运行，直接copy其他JournalNode的data数据到新的JournalNode节点的数据目录下，就可以正常启动了。 如果集群从来没有配置过JournalNode，添加后。停掉Na 阅读全文...

鄙人使用的Hadoop版本为2.6.4。Hadoop的默认日志级别为INFO，对于百台以上的集群，如果文件操作频繁的话，NameNode会狂打日志，对性能会有一定的影响。 我们可以通过`http:// /logLevel`在线修改NameNode的日志级别。如下所示：  但是，如果N 阅读全文...

最近在云主机中部署Spark+Hadoop，部署完成后，发现只要启动Java相关的命令都提示： ``` java.lang.OutOfMemoryError：unable to create new native thread ``` 经过排查和操作系统设置有关，使用`ulimit -a`查看 阅读全文...

修改地址： ``` http://{your_hadoop_namenode_ip}:50070/logLevel ``` 对于在线排查问题还是很方便的。 hadoop 2.4.0， 当配置双namenode，其中一个挂掉很长时间时，再次启动，会有大量的FSImage同步操作，此时namenode处于safe mode，这个操作可能非常耗时（视文件变动多少而定），关闭无关日志可以加快namen 阅读全文...

hadoop版本：2.4.0 通过Hadoop，FileSystem中的append方法追加数据。 核心代码（Scala）如下： ``` import java.net.URI import org.apache.hadoop.fs.{Path, FileSystem} ... def appendText(content: String): Unit = { // 目标文件 阅读全文...