hadoop 报错解决汇总_warn datanucleus.query: query for candidates of or

• Name node is in safe mode

这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。

可以通过以下命令来手动离开安全模式：

hdfs dfsadmin -safemode leave

• 内存分配不合理

表现

2017-12-14 18:32:32,336 ERROR [Thread-52] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Could not deallocate container for task attemptId attempt_1513247318192_0014_r_000008_0
 
2017-12-14 19:20:22,161 ERROR [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Container complete event for unknown container id container_1513249512179_0014_01_000064

解决办法

修改map，reduce内存和堆栈内存

可能是因为设置大了，也可能是因为设置小了。要根据机器配置修改

保证为map 和reduce分配内存的时候不会超过节点的内存

yarn.nodemanager.resource.memory-mb=2G
yarn.scheduler.maximum-allocation-mb=4G

• 时钟不同步

各种报错 安装ntp

yum install ntp

配置ntp

restrict default ignore   //默认不允许修改或者查询ntp,并且不接收特殊封包
restrict 127.0