LinuxEye - Linux系统教程

LinuxEye - Linux系统教程

当前位置:主页 > TAG标签 > Hadoop
  • Facebook打破Hadoop最大容量上限 日期:2012-11-14 09:56:06 点击:148 好评:0

    你可能会认为,100拍(petabyte)字节对于任何公司来说都是非常大的数据量级了。但是对于社交网站明星Facebook而言,100拍字节的数据根本不算什么。 由于拥有10亿用户,以及需要每隔30分...

  • 深入理解Hadoop集群和网络 日期:2012-11-09 10:03:30 点击:183 好评:0

    本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。 Hadoop里的服务器角色 Hadoop主要的任务部署...

  • hadoop常用命令 日期:2012-11-02 09:37:11 点击:165 好评:0

    启动Hadoop 进入HADOOP_HOME 目录。 执行 sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs ls [文件目录] eg: hadoop dfs ls /user/wangkai.pt 2、打开某...

  • Facebook的Hadoop应用与故障转移方案 日期:2012-07-03 20:30:58 点击:225 好评:0

    我们知道,Facebook使用Hadoop来进行大数据的处理,但Facebook又是如何保障频繁、庞大的数据请求等高压环境下不发生故障的呢?我们一起来了解一下Facebook内部的Hadoop使用情况以及其Nam...

  • 关于Hadoop你不得不知道的12个事实 日期:2012-06-29 17:35:15 点击:229 好评:0

    现如今,Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库,并以自己儿子的大象玩偶为其命名的时候,谁能想到它有...

  • Hadoop集群配置 日期:2012-06-24 01:35:31 点击:221 好评:0

    通常,集群里的一台机器被指定为NameNode,另一台不同的机器被指定为JobTracker。这些机器是 masters 。余下的机器即作为DataNode 也 作为TaskTracker。这些机器是 slaves\ 官方地址:( http://had...

  • Hadoop学习笔记 - 简介和安装 日期:2012-06-18 16:50:48 点击:211 好评:0

    这里先大致介绍一下Hadoop. 本文大部分内容都是从官网 Hadoop 上来的。其中有一篇 介绍HDFS的pdf文档 ,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从 这里 一步一...

  • 浅析Hadoop文件格式 日期:2012-06-08 10:30:33 点击:200 好评:0

    Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过,MPP数据库社区也一直批评Hadoop由于文件格式并非 为特定目的而建,因此序...

  • 百度Hadoop分布式系统揭秘:4000节点集群 日期:2012-05-10 15:57:31 点击:424 好评:0

    百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点,超过10个的集群,最大的集群规模在1000个节点以上。每个节点由8核CPU以 及16G内存以及12TB硬盘组成,每天的数据生成...

  • Hadoop分布式文件系统-架构和设计要点 日期:2012-04-17 15:27:12 点击:219 好评:0

    Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式...

推荐内容