模块一:Hadoop核心框架(三)----Hadoop简介

    技术2022-07-10  187

    Hadoop特点

    扩容能力:在计算机集群内分配数据并完成计算任务,集群可以方便的扩展到数以千计个节点。低成本:通过普通廉价的机器组成服务器集群来分发以及处理数据,以至于成本很低。高效率:可以在节点之间动态并行的移动数据,使得速度非常快。可靠性:能自动维护数据的多份复制,并且在任务失败后能自动的重新部署(redeploy)计算任务。

    Hadoop的发行版本

    Apache Hadoop 原始版本:–学习使用软件发行版本:ClouderaManager CDH 版本–生产环境免费开源版本HoryonWorks HDP版本–生产环境

    Apache Hadoop 版本更迭

    0.x:最早的一个开源版本 1.x:修复上一个版本的bug 2.x:架构产生重大变化,引入yarn平台等许多新特性 3.x:EC技术、yarn时间轴服务等新特性

    Hadoop 的优缺点

    优点:

    具有存储和处理数据能力的高可靠性通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。能够在节点之间进行动态地迁移数据,并保证各个节点的动态平衡;处理速度非常快,具有高效性。能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配,具有高容错性。

    缺点:

    不适用于低延迟数据访问不能高效存储大量小文件不支持多用户写入并任意修改文件
    Processed: 0.008, SQL: 9