本文共 2504 字，大约阅读时间需要 8 分钟。

CDH5.3环境下Oozie服务搭建指南

作为Hadoop生态系统的一部分，Oozie是一个功能强大的工作流程管理和调度服务，能够协调和管理Hadoop上的多种任务（如MapReduce、Pig、Hive等）。以下将详细介绍在CDH5.3环境下部署Oozie服务的完整流程。

软件包选择

Oozie服务采用服务器-客户端架构，主要提供两个软件包：

安装前置条件

Oozie服务器安装需求

• 操作系统支持：需支持CDH5.3的操作系统。
• JDK版本：需安装Oracle JDK。
• 数据库选择：若不使用Oozie内置的Derby数据库，可选择MySQL、PostgreSQL等支持的数据库。

Oozie客户端安装需求

• JDK版本：同样需安装Oracle JDK。

安装步骤

使用yum安装服务包

sudo yum install oozie

使用yum安装客户端包

sudo yum install oozie-client

配置Oozie

配置数据库

mysql -u root -p

创建Oozie数据库及其用户：

create database oozie;
grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
exit

2. 配置oozie-site.xml：

sudo vim /etc/oozie/conf/oozie-site.xml

添加以下配置：

    
  
     
      oozie.service.JPAService.jdbc.driver
     
  
     
      com.mysql.jdbc.Driver
     
    
    
  
     
      oozie.service.JPAService.jdbc.url
     
  
     
      jdbc:mysql://localhost:3306/oozie
     
    
    
  
     
      oozie.service.JPAService.jdbc.username
     
  
     
      oozie
     
    
    
  
     
      oozie.service.JPAService.jdbc.password
     
  
     
      oozie
     
    

3. 将MySQL JDBC驱动拷贝至Oozie安装目录：

cp mysql-connector-java-5.1.24-bin.jar /usr/lib/oozie/

4. 创建Oozie数据库表结构：

sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run

配置Oozie Web控制台

5. 下载并安装ExtJS库：

# 下载并解压ExtJS
unzip ext-2.2.zip -d /usr/lib/oozie/

2. 安装Oozie共享库：

# 根据实际使用的MapReduce版本安装共享库
# MRv1版本：
sudo oozie-setup sharelib create -fs hdfs://
       
        :
        
          -locallib /usr/lib/oozie/oozie-sharelib-mr1.tar.gz
# YARN版本：
sudo oozie-setup sharelib create -fs hdfs://
         
          :
          
            -locallib /usr/lib/oozie/oozie-sharelib-yarn.tar.gz
          
         
        
       

启动和管理

3. 启动Oozie服务器：

sudo service oozie start

2. 停止Oozie服务器：

sudo service oozie stop

3. 通过命令行访问：

oozie admin -status

4. 通过Web浏览器访问：

http://
          
           :11000/oozie/
          

注意事项

5. 权限管理：确保Oozie用户在Hadoop集群中拥有必要的权限，尤其是NameNode和ResourceManager。
6. 配置Hadoop：
   • 如果使用MRv1，需配置hadoop-mapreduce-archive-uris。
   • 如果使用YARN，需配置yarn.hdfs-archive-path。

故障排除

• 权限问题：在NameNode和ResourceManager上修改hdfs-site.xml，添加允许Oozie impersonate的权限：

          
  
           
            hadoop.proxyuser.oozie.hosts
           
  
           
            *
           
          
          
  
           
            hadoop.proxyuser.oozie.groups
           
  
           
            *
           
          

• 数据库连接问题：检查数据库配置是否正确，确保Oozie服务能够连接MySQL数据库。

通过以上步骤，可以在CDH5.3环境中成功部署并管理Oozie服务。

转载地址：http://pcrfk.baihongyu.com/