安装使用Hadoop遇到的一些问题

作者:无名 - 其它综合 -

安装完后却不能运行hadoop,仔细查看日志信息,hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。

无论是启动,还是以后会经常用到的mapreduce中的每一个job,以及hdfs等相关信息,hadoop均存有日志文件以供分析。

例如:

namenode和datanode的namespaceid不一致,日志信息为:

java.io.ioexception:incompatible namespaceids in/root/tmp/dfs/data:namenode

namespaceid=1307672299; datanode namespaceid=389959598

若hdfs一直没有启动,可以查询日志,并通过日志进行分析,以上提示信息显示了namenode和datanode的namespaceid不一致。

这个问题一般是由于两次或两次以上的格式化namenode造成的。

有两种方法可以解决,第一种方法是删除datanode的所有资料;第二种方法是修改每个datanode的namespaceid(位于/dfs/data/current/version文件中)或修改namenode的namespaceid(位于/dfs/name/current/version文件中),使其保持一致。

下面这两种方法在实际应用中也可能会用到。

1)重启坏掉的datanode或jobtracker。当hadoop集群的某单个节点出现问题时,一般不必重启整个系统,只须重启这个节点,它会自动连入整个集群。

在坏死的节点上输入如下命令即可:

bin/hadoop-daemon.sh start datanode

bin/hadoop-daemon.sh start jobtracker

2)动态加入datanode或tasktracker。这个命令允许用户动态将某个节点加入集群中。

bin/hadoop-daemon.sh --config./conf start datanode

bin/hadoop-daemon.sh --config./conf start tasktracker

安装使用hadoop遇到的一些问题

原文地址:https://www.cnblogs.com/xiaohaigege666/p/9670926.html

IT人知识库 原文地址:http://www.itpeo.net/9999/4539848.html





PHP代码规范之PSR-1

1.概述 1. 必须使用lt;php gt; 或是lt;=gt;这两种标签 2. php代码中必须使用utf-8 wit ...

python3之深浅copy对比

一、赋值对比1、列表l1=[1,2,3] l2=l1 l1.append(#39;a#39;) print(l1,l2) ...

JSP基础--九大内置对象

jsp九大内置对象 object findattribute(string name):依次在page、request ...

Markdown:Syntax

markdown: syntax main basics syntax license ...

docker部署nginx服务器

1,下载nginx镜像 docker pull nginx 2,启动 docker run --name runo ...

wepy小程序入门和项目初始化

前言: wepy小程序项目初始化的操作,官方文档看了好几遍,感觉写得不是很清楚。 这篇写得挺好的:小程序开发之wepy ...

EffectiveJavaP2CreatingandDestroyingObjects

this chapter concerns creating and destorying objects : wh ...

vue中的ref,refs使用

使用elementui时,tree遇到的坑 1、发现,this.$refs每次都是undefined; 问题原因:渲染组 ...

Leetcode672.灯泡开关II

灯泡开关ii 现有一个房间,墙上挂有n只已经打开的灯泡和 4 个按钮。在进行了m次未知操作后,你需要返回这n只灯泡可能有 ...

golang基础学习-strings包常用函数学习

package main import ( "fmt" "strings" ) //strfunc 字符串说明 ...

c++string去除首尾空格、\n、\r、\t

string s = " test "; size_t n = s.find_last_not ...

.Net基础之3——运算符

(3)convert类型转换 1、类型如果相兼容的两个变量,可以使用自动类型转换或者显示类型转换。 但是如果两个类型的变 ...

iOS的match函数

1.求余 extern double fmod(double,double); fmod(10.2,3) =1.2 ...

AndroidStudio解决ADB检测不到手机导致无法连接的问题

adb的全称是android debug bridge,是用来管理模拟器和真机的通用调试工具。   开usb调试 ...

Django==>Form组件

django ==gt; form 组件 目录: 1.基本使用 2.form中字段和插件 3.自定义验证规则 4.动态加 ...

「mysql优化专题」详解引擎(InnoDB,MyISAM)的内存优化攻略?(9)

注意:以下都是在mysql目录下的my.ini文件中改写(技术文)。 一、innodb内存优化 innodb用一块内存区 ...

新媒体的冲击,传统企业的出路在哪?

新媒体冲击,传统企业的出路在哪? 在二零壹伍克强总理提出我们进入互联网+时代起,我国正式宣布进入后互联网时代,在互联网新 ...

西南seo大神理解的互联网+

“农村将成为互联网领域的‘沃土’,而非信息时代失联的‘孤岛’。大力发展农村互联网,打造现代智慧农村。在农村产业结构调整、 ...

[poj]3281Dining

原题 题目大意 n头奶牛,只能吃某种食物和饮料(而且只能吃特定的一份) 一种食物被一头牛吃了之后,其余牛就不能吃了 第一 ...

0x5A~0x5B

目录 0x5a~0x5b 0x5a 斜率优化 ...