编译hadoop-2.7.2源码的native以支持Snappy压缩

一、下载需要的源码包（注意：我用的是非root用户）

第一步：切换到hadoop-2.7.2目录（自己的安装目录，我的是 /opt/module/hadoop-2.7.2/）

[wwt@note01 ~]$ cd /opt/module/hadoop-2.7.2/

第二步：创建native_snappy目录

[wwt@note01 hadoop-2.7.2]$ mkdir native_snappy

第三步：进入到native_snappy目录

[wwt@note01 hadoop-2.7.2]$ cd native_snappy/

第四步：下载snappy-1.1.1.tar.gz压缩包

[wwt@note01 native_snappy]$ wget http://pkgs.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.1.tar.gz/8887e3b7253b22a31f5486bca3cbc1c2/snappy-1.1.1.tar.gz

如果提示：-bash: wget: command not found，说明没有安装wget,所以先安装wget，

[wwt@note01 native_snappy]$ sudo yum install -y wget [wwt@note01 native_snappy]$ wget http://pkgs.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.1.tar.gz/8887e3b7253b22a31f5486bca3cbc1c2/snappy-1.1.1.tar.gz

第五步：下载protobuf-2.5.0.tar.gz压缩包，官网已没有了，自己找相关下载链接。也可从我下边提供的百度云连接中下载。 第六步：下载hadoop-2.7.2-src.tar.gz压缩包

[wwt@note01 native_snappy]$ wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz [wwt@note01 native_snappy]$ ll total 21952 -rw-rw-r--. 1 wwt wwt 18290860 Jan 26 2016 hadoop-2.7.2-src.tar.gz -rw-r--r--. 1 root root 2401901 Jul 23 2019 protobuf-2.5.0.tar.gz -rw-rw-r--. 1 wwt wwt 1777992 Feb 24 2014 snappy-1.1.1.tar.gz

相关安装包的百度云链接 百度云链接 提取码：n9s9

二、准备编译环境

maven（maven安装） zlib-devel svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc-c++

[wwt@note01 native_snappy]$ sudo yum -y install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*

三、编译安装snappy （用root用户执行以下命令）

[root@note01 native_snappy]# tar -zxf snappy-1.1.1.tar.gz [root@note01 native_snappy]# cd snappy-1.1.1 [root@note01 snappy-1.1.1]# ./configure [root@note01 snappy-1.1.1]# make [root@note01 snappy-1.1.1]# make install

查看snappy库文件

[root@note01 snappy-1.1.1]# ls -lh /usr/local/lib | grep snappy -rw-r--r--. 1 root root 229K Jul 2 04:28 libsnappy.a -rwxr-xr-x. 1 root root 953 Jul 2 04:28 libsnappy.la lrwxrwxrwx. 1 root root 18 Jul 2 04:28 libsnappy.so -> libsnappy.so.1.2.0 lrwxrwxrwx. 1 root root 18 Jul 2 04:28 libsnappy.so.1 -> libsnappy.so.1.2.0 -rwxr-xr-x. 1 root root 145K Jul 2 04:28 libsnappy.so.1.2.0

四、编译安装protobuf

[root@note01 snappy-1.1.1]# cd .. [root@note01 native_snappy]# tar -zxf protobuf-2.5.0.tar.gz [root@note01 native_snappy]# cd protobuf-2.5.0 [root@note01 protobuf-2.5.0]# ./configure [root@note01 protobuf-2.5.0]# make [root@note01 protobuf-2.5.0]# make install

五、查看protobuf版本以测试是否安装成功

[root@note01 protobuf-2.5.0]# protoc --version libprotoc 2.5.0

六、编译hadoop native

[root@note01 protobuf-2.5.0]# cd .. [root@note01 native_snappy]# tar -zxf hadoop-2.7.2-src.tar.gz [root@note01 native_snappy]# cd hadoop-2.7.2-src

注意：将hadoop-2.7的pom.xml文件中的\ <requireMavenVersion>和 <requireJavaVersion>的版本改成自己安装的maven和jdk的版本：

<requireMavenVersion> <version>3.0.5</version> </requireMavenVersion> <requireJavaVersion> <version>1.8.0</version> </requireJavaVersion> [root@note01 hadoop-2.7.2-src]# mvn install [root@note01 hadoop-2.7.2-src]# mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy [INFO] Apache Hadoop Distribution ........................ SUCCESS [1:08.479s] [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 49:36.495s [INFO] Finished at: Thu Jul 02 08:45:26 CST 2020 [INFO] Final Memory: 174M/667M [INFO] -------------------------------------------

执行成功后，hadoop-dist/target/hadoop-2.7.2.tar.gz即为新生成的二进制安装包

注：新生成的安装包与官网安装包的区别就是lib/native中多了一些与snappy相关的文件