技术博文 · 2021-09-02 0

centos 7.9安装cdh6.0.1、kudu1.6.0

1、前置条件配置host、关闭防火墙、修改selinux、安装jdk、安装基础依赖、配置ssh免密访问、安装ntp机群时间同步

参考《CM+CDH集群构建—大数据平台软件hdfs、hive、hbase、yarn(MapReduce)、kudu、kafka、zook全家桶控制台式安装》

2、下载所需要的资源包cdh-6.0.1的rpm包(官网已经不在提供,如有需要可以加我微信suhuayue001)

image-20210902140551346image-20210902140613014

3、安装数据库驱动

# 所有节点下载mysql驱动
wget https://downloads.mysql.com/archives/get/p/3/file/mysql-connector-java-5.1.49.tar.gz
# 解压
tar zxvf mysql-connector-java-5.1.46.tar.gz
# 创建数据库驱动存放路径
mkdir -p /usr/share/java/
# 将驱动包解压目录下的驱动jar移动到上面的路径下
cd mysql-connector-java-5.1.46
mv mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

4、主节点安装cloudera-manager-daemon、cloudera-manager-server、cloudera-manager-agent,其他节点安装cloudera-manager-daemon、cloudera-manager-agent

rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm 
rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm 
rpm -ivh cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm 

5、创建并初始化数据库

# 登录mysql
mysql -uroot -p
# 登录后执行下面的sql
create database amon default character set utf8 default collate utf8_general_ci;
create database rman default character set utf8 default collate utf8_general_ci;
create database hue default character set utf8 default collate utf8_general_ci;
create database metastore default character set utf8 default collate utf8_general_ci;
create database sentry default character set utf8 default collate utf8_general_ci;
create database nav default character set utf8 default collate utf8_general_ci;
create database oozie default character set utf8 default collate utf8_general_ci;
create database hive default character set utf8 default collate utf8_general_ci;
grant all on *.* to 'bigdata'@'%' identified by 'Abcd!234';
flush privileges;
# 使用root账号初始化cm数据库(密码自己设置)
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456

6、主节点启动cm-server、修改cm agent配置,指定cm server的连接地址,然后启动其他节点cm-agent

sudo vi /etc/cloudera-scm-agent/config.ini
修改server_host=主节点IP
serversystemctl start cloudera-scm-server
serversystemctl start cloudera-scm-agent

7、打开CM WEB UI,http://<主节点IP>:7180进行可视化配置

image-20210902142229020

8、安装配置过程中的一些问题

  • CDH 安装组件java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

将/usr/share/java目录下的驱动文件名中的版本号删除,即可解决。 CDH 对MySQL驱动的文件名是有要求的需要指定为mysql-connector-java.jar,而不是mysql-connector-java-5.1.49.jar

  • Cloudera Manager Server Panel doesn't work properly

配置/etc/cloudera-scm-agent/config.ini指定server_host=cloudera-scm-server地址

  • CM定期报"查询 Service Monitor 时发生内部错误"

web界面经常报"查询 Service Monitor 时发生内部错误"无法正常显示。是因为Cloudera Management Service的内存不足所致,Service Monitor 和 Host Monitor服务JVM内存配置太低以至于垃圾回收增多,导致服务进程当掉,扩大相关服务内存即可

  • No Java JDK is detected on the host

image-20210902143339191

这个原因基本是由于主机配置的内存不够分配导致的,有条件的话加大宿主机的物理内存,如果没条件的话就减少cloudera Managerment Service的内存分配即可。

  • IOException thrown while collecting data from host:没有到主机的路由

在启动CDH集群的时候,两个错误:
*Inspector did not run successfully
IOException thrown while collecting data from host:没有到主机的路由

检查防火墙,可能是主机的防火墙忘记关闭或者禁用,关闭防火墙,解决==*

参考文档:

CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解