大数据平台HDP-2.6.4 安装与配置

一：关于HDP的介绍

二：系统环境介绍

三：系统环境初始化

四：安装HDP-2.6.4平台

五：启用NameNode HA 与 YARN HA

一：关于HDP的介绍

1.1：hdp是什么

HDP全称叫做Hortonworks Data Platform。

　　Hortonworks数据平台是一款基于Apache Hadoop的是开源数据平台，提供大数据云存储，大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据，并使其处理起来能变成简单、更有成本效益。HDP还提供了一个开放，稳定和高度可扩展的平台，使得更容易地集成Apache Hadoop的数据流业务与现有的数据架构。该平台包括各种的Apache Hadoop项目以及Hadoop分布式文件系统（HDFS）、MapReduce、Pig、Hive、HBase、Zookeeper和其他各种组件，使Hadoop的平台更易于管理，更加具有开放性以及可扩展性。

官网地址为：http://zh.hortonworks.com/

1.2 hdp的封装的大数据平台组件

二：系统环境介绍

vim /etc/hostname

2.1：配置系统主机名

vim /etc/hosts

172.17.100.11   ZY-001.flyfish

172.17.100.12   ZY-002.flyfish

172.17.100.13   ZY-003.flyfish

2.2: 安装整体步骤

1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；

2.外部数据库安装

3.安装Ambari管理器；

4.安装HDP集群；

5.集群完整性检查，包括 HDFS 文件系统、MapReduce、Hive 等是否可以正常运行。

三：系统环境初始化

3.1：无密钥登录配置

做root用户无密钥认证

ssh-keygen ---一直敲回车到最后

cat ~/.ssh/id_rsa.pub >>authorized_keys

将所有的公钥导入authorized_keys分发到所有的机器(包括本地)的.ssh/ 下面ssh-copy-id -i ~/.ssh/id_rsa.pub root@ZY-001.flyfish

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ZY-002.flyfish

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ZY-003.flyfish

然后测试

3.2: 关闭firewalld，iptables与selinux

yum install -y firewall* iptable*

  (1) 关闭firewalld

systemctl stop firewalld.service

systemctl disable firewalld.service

firewall-cmd --state

 (2) 关闭iptables

iptables -F

systemctl stop iptables.service

serviceiptables save

systemctl disable iptables.service

 (3) 禁用selinux

sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config

setenforce 0

getenforce 0

sestatus

重启机器

reboot

3.3 所有机器更改centos7.5x64的文件句柄数

vim /etc/security/limits.conf

---

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

---

 

关闭当前shell窗口，重新打开输入ulimit -a查看是否设置成功

3.4 生产环境配置chrony时间同步服务器

所有机器 yum install chrony*

1. ZY-001.flyfish:

vim /etc/chrony.conf增加

----

注释掉相关默认的server

server ntp1.aliyun.com iburst

allow 172.17.100.0/16

Service chronyd start

Chkconfig chronyd on

2. ZY-002.flyfish---ZY-003.flyfish 同步node-01.flyfish

vim /etc/chrony.conf

----

注释掉默认的server

server 172.17.100.21 iburst

----

service chronyd stop

service chronyd start

chkconfig chronyd on