Hadoop Common概览

大数据 Quarterback 27℃ 0评论

本文主要讨论这几个问题:

  1. 基本功能模块
  2. hadoop-common模块

1. 基本功能模块

25499393
  • hadoop-annotations
    • 包含两个注解:InterfaceAudience, 用来标记被注解类的使用范围。InterfaceStability,用来标记被注解类的兼容性 
  • hadoop-auth
    • Hadoop Auth是一个Java库,它由一个客户机和一个服务器组件组成,用于为HTTP启用Kerberos SPNEGO身份验证

      • GSSAPI(通用安全服务应用程序口,Generic Security Services Application Program Interface)
      • SPNEGO(简单且受保护的GSSAPI协商机制,Simple and Protected GSSAPI Negotiation Mechanism)
  • hadoop-common
    • Hadoop Common提供了配置,序列化,压缩,远程调用等基础功能模块。
  • hadoop-kms
    • Hadoop KMS(Hadoop Key Management Server)是一个基于Hadoop KeyProvider API的密钥管理服务
    • KMS提供了一个客户端和一个服务器组件,它们通过http rest接口进行通信。
    • KMS是一个基于tomcat的Java web程序,它是一个密钥管理服务器,并不负责加密文件,数据加密和解密都由客户端完成
  • hadoop-minikdc
    • MiniKDC构建了一个内嵌的KDC(key distribution center),并允许动态创建principals 和keytabs,MiniKDC可以被集成到Hadoop 安全单元测试中。
  • hadoop-nfs
    • hdfs挂载: hdfs是分布式系统,要想访问hdfs上的文件,可以用java api 或者hadoop shell等工具,如果想操作hdfs文件系统就像操作本地文件系统一样的便捷,可以将hdfs文件系统挂载到本地的一个目录上,使用hdfs nfs功能:用户或程序通过Linux自带的nfs client访问hdfs nfs服务,然后再由nfs网关作为hdfs的客户端访问hdfs

2. hadoop-common模块

  • conf
    • 配置相关类,用于从配置文件中去读取配置或者设置配置,提供了很多get/set方法来获取和设置其中的属性。

91fb0b86-a77a-4ee9-b847-34945d80e3fa

  • crypto
  •  
  • fs
  •  
  • ha
  • http
  • io
  •  
  • ipc
  •  
  • jmx
  • log
  • metrics
  • metrics2
  • net
  • record
  • security
  • service
  • tools
  • tracing
  • util
 


/* 本文属于原创文章,转载请注明作者和出处 quarterback.cn,请勿用于任何商业用途 */




喜欢 (0)or分享 (0)
Quarterback.cn 打赏作者
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址