hadoop 0.19.1 rpc代码分析
一、概述 hadoop中mr类图大致如下所示，其中只是简单列出了一些主要的功能模块。JobConf、JobTracker、TaskTracker、RPC Server等组件。在图中，我用红色框框框出了一些基本的类。此图基本反映了MR的类图结构。 一个简单的job在hadoop上面跑起来，基本可以分为10个步骤。如下图所示：...
View Articlehadoop mr类图大纲
分析一框架，莫过于类图，近日，亲自画此类图。 高清图：http://img1.ph.126.net/pngTQtip2YZ5JR_yqdNSmQ==/6597918589632662351.jpg 主要分为： client、JobTracker、TaskTracker、TaskRunner、Clild。 协调有的是通过RPC调用，有的是通过Shell命令调用。...
View Articlehadoop日志简单分析
一、概述 本文基于0.19.1分析得出，有一些是alibaba hadoop优化的部分。本文不涉及jobtracker及nodename元数据的部分,本文主要讲述一个任务在计算阶段大致产生的一些日志，及日志的一些问题。 二、日志简单介绍 当所有的守护进程都起来后（为了简单起见，我们用的是伪分布模式，是由一个机器搭建的），大致的目录结构如下： [dragon.caol@hd19-vm1 logs]$...
View Articlehadoop mr的一些文件归属（包括临时文件的存储情况）
一、概述 一个计算的流程如下图所示，对于一个简单的wordcount的计算中，总共要经历哪些文件呢？本文将详细探讨这个话题。文章可能会重新编辑，如果想浏览最新内容请访问原创博客：http://blog.csdn.net/bxyz1203/article/details/8057810。由于作者个人知识面有限，如果描述有错误或者遗留之处敬请谅解，再欢迎指出，我们共同进步。...
View Articlehadoop mr的数据流程交互简单描述
一、概述 文章可能会重新编辑，如果想浏览最新内容请访问原创博客：http://blog.csdn.net/bxyz1203/article/details/8074248。由于作者个人知识面有限，如果描述有错误或者遗留之处敬请谅解，再欢迎指出，我们共同进步。 二、计算流程 MR计算框架发展到1.0.3左右，计算框架没有发展大的变化。在《hadoop The Definitive...
View Articlehadoop相关的一些技巧
分布式系统比普通程序开发有一些特别的难度，最主要的就是环境问题。本博客将记录怎么去解决这些问题，最主要的是一些脚本。后期会连续更新，目前最主要的技巧有：...
View Article
