博客
关于我
CDH5.3 Oozie服务搭建
阅读量:798 次
发布时间:2023-04-04

本文共 2504 字,大约阅读时间需要 8 分钟。

CDH5.3环境下Oozie服务搭建指南

作为Hadoop生态系统的一部分,Oozie是一个功能强大的工作流程管理和调度服务,能够协调和管理Hadoop上的多种任务(如MapReduce、Pig、Hive等)。以下将详细介绍在CDH5.3环境下部署Oozie服务的完整流程。

软件包选择

Oozie服务采用服务器-客户端架构,主要提供两个软件包:

  • Oozie服务包:用于部署Oozie服务器,包名为oozie
  • Oozie客户端包:用于提交和管理Oozie工作流程,包名为oozie-client
  • 安装前置条件

    Oozie服务器安装需求

    • 操作系统支持:需支持CDH5.3的操作系统。
    • JDK版本:需安装Oracle JDK。
    • 数据库选择:若不使用Oozie内置的Derby数据库,可选择MySQL、PostgreSQL等支持的数据库。

    Oozie客户端安装需求

    • JDK版本:同样需安装Oracle JDK。

    安装步骤

    使用yum安装服务包

    sudo yum install oozie

    使用yum安装客户端包

    sudo yum install oozie-client

    配置Oozie

    配置数据库

  • 安装并启动MySQL:
  • mysql -u root -p

    创建Oozie数据库及其用户:

    create database oozie;
    grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
    grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
    exit
    1. 配置oozie-site.xml
    2. sudo vim /etc/oozie/conf/oozie-site.xml

      添加以下配置:

      oozie.service.JPAService.jdbc.driver
      com.mysql.jdbc.Driver
      oozie.service.JPAService.jdbc.url
      jdbc:mysql://localhost:3306/oozie
      oozie.service.JPAService.jdbc.username
      oozie
      oozie.service.JPAService.jdbc.password
      oozie
      1. 将MySQL JDBC驱动拷贝至Oozie安装目录:
      2. cp mysql-connector-java-5.1.24-bin.jar /usr/lib/oozie/
        1. 创建Oozie数据库表结构:
        2. sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run

          配置Oozie Web控制台

        3. 下载并安装ExtJS库:
        4. # 下载并解压ExtJS
          unzip ext-2.2.zip -d /usr/lib/oozie/
          1. 安装Oozie共享库:
          2. # 根据实际使用的MapReduce版本安装共享库
            # MRv1版本:
            sudo oozie-setup sharelib create -fs hdfs://
            :
            -locallib /usr/lib/oozie/oozie-sharelib-mr1.tar.gz
            # YARN版本:
            sudo oozie-setup sharelib create -fs hdfs://
            :
            -locallib /usr/lib/oozie/oozie-sharelib-yarn.tar.gz

            启动和管理

          3. 启动Oozie服务器:
          4. sudo service oozie start
            1. 停止Oozie服务器:
            2. sudo service oozie stop
              1. 通过命令行访问:
              2. oozie admin -status
                1. 通过Web浏览器访问:
                2. http://
                  :11000/oozie/

                  注意事项

                3. 权限管理:确保Oozie用户在Hadoop集群中拥有必要的权限,尤其是NameNode和ResourceManager。
                4. 配置Hadoop
                  • 如果使用MRv1,需配置hadoop-mapreduce-archive-uris
                  • 如果使用YARN,需配置yarn.hdfs-archive-path
                5. 故障排除

                  • 权限问题:在NameNode和ResourceManager上修改hdfs-site.xml,添加允许Oozie impersonate的权限:
                  hadoop.proxyuser.oozie.hosts
                  *
                  hadoop.proxyuser.oozie.groups
                  *
                  • 数据库连接问题:检查数据库配置是否正确,确保Oozie服务能够连接MySQL数据库。

                  通过以上步骤,可以在CDH5.3环境中成功部署并管理Oozie服务。

    转载地址:http://pcrfk.baihongyu.com/

    你可能感兴趣的文章
    MySQL中的IO问题分析与优化
    查看>>
    MySQL中的ON DUPLICATE KEY UPDATE详解与应用
    查看>>
    mysql中的rbs,SharePoint RBS:即使启用了RBS,内容数据库也在不断增长
    查看>>
    mysql中的undo log、redo log 、binlog大致概要
    查看>>
    Mysql中的using
    查看>>
    MySQL中的关键字深入比较:UNION vs UNION ALL
    查看>>
    mysql中的四大运算符种类汇总20多项,用了三天三夜来整理的,还不赶快收藏
    查看>>
    mysql中的字段如何选择合适的数据类型呢?
    查看>>
    MySQL中的字符集陷阱:为何避免使用UTF-8
    查看>>
    mysql中的数据导入与导出
    查看>>
    MySQL中的时间函数
    查看>>
    mysql中的约束
    查看>>
    MySQL中的表是什么?
    查看>>
    mysql中穿件函数时候delimiter的用法
    查看>>
    Mysql中索引的分类、增删改查与存储引擎对应关系
    查看>>
    Mysql中索引的最左前缀原则图文剖析(全)
    查看>>
    MySql中给视图添加注释怎么添加_默认不支持_可以这样取巧---MySql工作笔记002
    查看>>
    Mysql中获取所有表名以及表名带时间字符串使用BetweenAnd筛选区间范围
    查看>>
    Mysql中视图的使用以及常见运算符的使用示例和优先级
    查看>>
    Mysql中触发器的使用示例
    查看>>