MapReduce程序之Job提交源码_mapreduce apllication job

MepReduce程序之Job提交源码

1）Job提交流程源码详解

waitForCompletion(true)

submit();

// 1建立连接
connect();	
		// 1.1创建提交Job的代理
		new Cluster(getConfiguration());
		// 1.2判断是本地yarn还是远程
		initialize(jobTrackAddr, conf); 

// 2 提交job
submitter.submitJobInternal(Job.this, cluster)
	// 2.1 创建给集群提交数据的Stag路径
	Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);

	// 2.2 获取jobid ，并创建Job路径
	JobID jobId = submitClient.getNewJobID();
	
	//2.3 将jobid和jobStagingArea两个路径合到一起（最终提交路径）
	Path submitJobDir = new Path(jobStagingArea,jobId);

	//2.4 拷贝jar包到集群(如果是向集群提交那么会上传到HDFS上一个jar包)
	copyAndConfigureFiles(job, submitJobDir);
		2.4.1
		rUploader.uploadFiles(job, jobSubmitDir);

	//2.5 计算切片，生成切片规划文件
	writeSplits(job, submitJobDir);
		//2.5.1
		maps = writeNewSplits(job, jobSubmitDir);
		input.getSplits(job);

	//2.6 向Stag路径写XML配置文件
	writeConf(conf, submitJobFile);
	conf.writeXml(out);

	//2.7 提交Job,返回提交状态
	status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39