博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
《深入理解大数据:大数据处理与编程实践》一一第3章 大数据存储——分布式文件系统HDFS...
阅读量:7114 次
发布时间:2019-06-28

本文共 345 字,大约阅读时间需要 1 分钟。

第3章 大数据存储——分布式文件系统HDFS

大数据处理面临的第一个问题是,如何有效存储规模巨大的数据?对于大数据处理应用来说,依靠集中式的物理服务器来保存数据是不现实的,容量也好,数据传输速度也好,都会成为瓶颈。要实现大数据的存储,需要使用几十台、几百台甚至更多的分布式服务器节点。为了统一管理这些节点上存储的数据,必须要使用一种特殊的文件系统——分布式文件系统。为了提供可扩展的大数据存储能力,Hadoop设计提供了一个分布式文件系统HDFS(Hadoop Distributed File System)。

本章首先简要介绍HDFS的基本特征、基本构架、工作过程,以及HDFS的可靠性设计和数据存储及访问方法,在此基础上进一步介绍HDFS的文件操作命令和HDFS的编程接口和编程示例。

转载地址:http://muzel.baihongyu.com/

你可能感兴趣的文章
opencv python 直方图均衡化
查看>>
HotFrameLearning 热门框架学习(前言)
查看>>
git团队开发流程
查看>>
【Under-the-hood-ReactJS-Part6】React源码解读
查看>>
深入理解css之vertical-align
查看>>
Laravel事件
查看>>
matlab绘制peano(皮亚诺)曲线和koch(科赫曲线,雪花曲线)分形曲线
查看>>
使用pipenv代替virtualenv管理python包
查看>>
Docker零基础入门指南(四):Docker容器使用
查看>>
React 深入系列4:组件的生命周期
查看>>
Mybatis之设计模式之迭代器模式
查看>>
房间号生成器
查看>>
CentOS 6.8 安装vsftpd
查看>>
js设计模式 --- 装饰设计模式
查看>>
Flask源代码阅读笔记(一)——应用启动
查看>>
IOS精品源码,仿探探UIButton封装iOS提示弹框迅速引导页自定义导航栏
查看>>
setState的一个Synthetic Event Warning
查看>>
通读Python官方文档之wsgiref(未完成)
查看>>
2017回顾
查看>>
Maven3 快速入门
查看>>