hadoop xsync 集群分发脚本_hadoop集群分发脚本xsync

首先介绍一下scp和rsync ~

1）scp（secure copy）安全拷贝

• scp 可以实现服务器与服务器之间的数据拷贝。

scp    -r        $pdir/$fname       $user@$host:$pdir/$fname 
命令   递归     要拷贝的文件路径/名称  目的地用户@主机:目的地路径/名称
1
2

2）rsync 远程同步工具

• rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

• rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更 新。scp 是把所有文件都复制过去。

 rsync  -av     $pdir/$fname        $user@$host:$pdir/$fname 
 命令  选项参数  要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称
1
2

3）xsync 集群分发脚本

作用：将当前终端的文件同步到hadoop102 hadoop103 hadoop104下

在终端创建脚本,我放在了 /home/karse/bin

vim xsync
1

命令如下：

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
     echo Not Enough Arguement!
     exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
     echo ==================== $host ====================
     #3. 遍历所有目录，挨个发送
     for file in $@
     do
         #4. 判断文件是否存在
         if [ -e $file ]
			 then
                 #5. 获取父目录
                 pdir=$(cd -P $(dirname $file); pwd)
                 #6. 获取当前文件的名称
                 fname=$(basename $file)
                 ssh $host "mkdir -p $pdir"
                 rsync -av $pdir/$fname $host:$pdir
 			else
 				 echo $file does not exists!
		 fi
 	 done
done
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

注意：for host in xx,xx,xx 这里我将创建的虚拟机IP修改为了以hadoop命名，便于操作。

解读： dirname 文件名 ：该命令可以获得文件的父目录， cd 进入这个目录，-P使得当文件为软链接时可以获得源文件的父目录，然后继续执行 pwd输出路径，则pdir得到这个路径

4）期望脚本在任何路径都能使用

修改环境变量

vim /etc/environment
1

添加脚本所在的路径(要使用 : 隔开)

 :/home/karse/bin
1

5）修改脚本权限

chmod 777 xsync
1

大功告成，接着可以将终端文件分发到各个节点了

xsync 文件名
1