hadoop命令_hadoop创建命令

一：介绍

用于Hadoop集群用户命令。

二：archive

创建一个Hadoop档案.More information can be found at Hadoop Archives Guide.

三：classpath

打印Hadoop jar和所需的libs的class路径。

用法: mapred classpath

四：distcp

递归复制文件或目录. More information can be found at Hadoop DistCp Guide.

五：job

MapReduce jobs的命令

用法：

mapred job | [GENERIC_OPTIONS] | [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>] | [-set-priority <job-id> <priority>]
 
 
1

六：pipes

运行一个pipes job.

用法：

mapred pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]
 
 
1

七：queue

查看作业队列信息

用法:

mapred queue [-list] | [-info <job-queue-name> [-showJobs]] | [-showacls]
 
 
1

八：version

打印版本。

用法: mapred version

Administration Commands

一：介绍

用于Hadoop集群用户命令。

二：historyserver

启动JobHistoryServer.

用法: mapred historyserver

三：hsadmin

运行一个MapReduce hsadmin客户端执行jobhistoryserver administrative命令。

用法：

Usage: mapred hsadmin [-refreshUserToGroupsMappings] | [-refreshSuperUserGroupsConfiguration] | [-refreshAdminAcls] | [-refreshLoadedJobCache] | [-refreshLogRetentionSettings] | [-refreshJobRetentionSettings] | [-getGroups [username]] | [-help [cmd]]
 
 
1

YARN Commands

一：介绍

所有的YARN命令通过bin/yarn 脚本调用。不指定参数运行yarn脚本会打印所有命令的描述。

用法:

yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
 
 
1

YARN有一个选项解析框架用于解析一般的选项和运行类。

User Commands

一：介绍

用于Hadoop集群用户命令。

二：application

打印app报表或kill掉app

用法: yarn application [options]

三：applicationattempt

打印applicationattempt(s) 报表 
用法:

yarn applicationattempt [options]
 
 
1

四：classpath

打印Hadoop jar和需要的库类路径。

用法: yarn classpath

五：container

打印container(s)报表

用法: yarn container [options]

六：jar

执行一个jar文件。

用法: yarn jar <jar> [mainClass] args...

七：logs

转储容器日志

用法:

yarn logs -applicationId <application ID> [options]
 
 
1

八：node

打印node报表

用法: yarn node [options]

九：queue

打印queue信息

用法: yarn queue [options]

十：version

打印hadoop版本。

用法: yarn version

Administration Commands用

一：介绍

用于Hadoop集群用户命令。

二：daemonlog

获取/设置在后台Log的级别

用法：

yarn daemonlog -getlevel <host:httpport> <classname>
       　　　　yarn daemonlog -setlevel <host:httpport> <classname> <level>
 
 
1
2

三：nodemanager

启动NodeManager

用法: yarn nodemanager

四：proxyserver

启动web proxy server

用法: yarn proxyserver

五：resourcemanager

启动ResourceManager

用法:

yarn resourcemanager [-format-state-store]
 
 
1

六：rmadmin

运行ResourceManager管理客户端

用法：

yarn rmadmin [-refreshQueues]
                   [-refreshNodes]
                   [-refreshUserToGroupsMapping]
                   [-refreshSuperUserGroupsConfiguration]
                   [-refreshAdminAcls]
                   [-refreshServiceAcl]
                   [-getGroups [username]]
                   [-transitionToActive [--forceactive] [--forcemanual] <serviceId>]
                   [-transitionToStandby [--forcemanual] <serviceId>]
                   [-failover [--forcefence] [--forceactive] <serviceId1> <serviceId2>]
                   [-getServiceState <serviceId>]
                   [-checkHealth <serviceId>]
                   [-help [cmd]]
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13

七：scmadmin

运行Shared Cache Manager管理客户端

用法:

yarn scmadmin [options]
 
 
1

八：sharedcachemanager

启动Shared Cache Manager

用法: yarn sharedcachemanager

九：timelineserver

启动TimeLineServer

用法: yarn timelineserver