分类:大数据

Hadoop Common概览

Hadoop Common概览
本文主要讨论这几个问题: 基本功能模块 hadoop-common模块 1. 基本功能模块 hadoop-annotations 包含两个注解:InterfaceAudience, 用来标记被注解类的使用范围。I...

Quarterback 5个月前 (06-18) 112℃ 0评论 0喜欢

HBase部署

HBase部署
本文主要讨论这几个问题: HBase有哪些部署方式 Standalone(单机部署) Pseudo-Distributed(伪分布式) Fully-Distributed(分布式) 手动部署 通过HDP(ambari)和CDH(clo...

Quarterback 5个月前 (06-07) 6℃ 0评论 0喜欢

Hadoop概述

Hadoop概述
本文主要讨论这几个问题: 什么是Hadoop,Hadoop发展历史,Hadoop组成及生态 为什么要使用Hadoop构建大数据平台 Hadoop中常见大数据处理思想、理论、术语、常用算法、数据结构、系统架构 Hadoop平台版本...

Quarterback 6个月前 (05-23) 263℃ 0评论 0喜欢

大数据概述

大数据概述
本文主要讨论这几个问题: 何谓大数据 大数据的特点 大数据应用场景 通用大数据处理流程 大数据开发职能分工 常用大数据技术栈概览 1. 何谓大数据(Big Data) 定义:大数据通常指 无法用常规软件工具或手段,在期望的时...

Quarterback 7个月前 (04-25) 228℃ 0评论 0喜欢

使用MongoDB开发过程常见错误分析

使用MongoDB开发过程常见错误分析
本文主要讨论这几个问题: 1.Mongo shell中使用大整数字面量 2.片键使用自增长字段 3.程序里游标循环迭代过程中进行长时间的操作 4.滥用数组类型 5.滥用upsert更新参数 6.错误的设计索引 7.错误的认为复制等于备份 ...

Quarterback 1年前 (2018-08-26) 393℃ 0评论 0喜欢

大数据论文

大数据论文
持续整理中… 本文主要讨论这几个问题: Google File System(分布式文件系统) Google MapReuce(分布式批处理计算模型) Google Bigtable(分布式结构化数据存储系统) Google...

Quarterback 3年前 (2017-01-09) 834℃ 0评论 0喜欢