《Hadoop权威指南》学习笔记(2)——Hadoop在Linux上的配置

    技术2024-04-05  90

    这一篇文章主要是对上一篇的一个补充。因为虽然上一篇写了Java程序以及MapReduce的原理等,但是如果没有成功安装hadoop的话,一切都是白搭,所以这篇文章主要记录一下Hadoop在Ubuntu上的安装。

    安装环境:Vmware Workstation 15, Ubuntu 18.04 安装内容:Java jdk1.8,hadoop-2.7.1

    Java jdk的安装

    这个比较简单,与在Windows上安装是一样的,不过以前在官网可以直接下载,现在好像必须要用Oracle账号登录才能下载。 需要注意的就是要配置环境变量。

    Hadoop的安装

    Hadoop的安装是直接按着这篇文章来的,感觉质量还蛮高的。 不过伪分布式配置没有试,因为书上说第六章才用的到,到时候再说。 里面感觉有点问题的是环境变量的配置,可能会导致后面运行java程序出现问题,所以对于配置环境变量参考了另一篇文章。 简而言之就是把vim ~/.bashrc、source ~/.bashrc改成了sudo vim /etc/profile,source /etc/profile。

    Hadoop下MapReduce的使用以及程序的运行

    使用的命令仍旧是参照这篇文章。 运行本章中实例所需的数据使用github上官方给出的样例即可,如果想要使用更多的数据进行尝试,可以通过这个网站进行下载。

    Processed: 0.020, SQL: 9