模块一:Hadoop核心框架(六)---用IDEA创建一个对hadoopAPI简单操作项目

    技术2025-06-10  26

    创建一个新项目

    选择maven项目

    然后next

    输入项目名称(自定义)

    然后finish

    导入需要的jar包

    有hadoop-common ;hadoop-client ; hadoop-hdfs

    <!--hadoop common--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.9.2</version> </dependency> <!--hadoop client--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.9.2</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </dependency>

    导入需要点时间,慢慢等待。

    log4j配置

    在resource文件下,创建log4j.properties文件

    log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

    创建一个类用来测试链接

    package com.lagou.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Test; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; /** * @author: yehw * @date: 2020/7/4 14:16 * @description: hdfs客户端样例 */ public class HdfsClient { @Test public void testMkdir() throws IOException, URISyntaxException, InterruptedException { /** * 创建配置对象 * */ Configuration configuration=new Configuration(); /** * 获得fs文件对象 * */ FileSystem root = FileSystem.get(new URI("hdfs://linux121:9000"), configuration, "root"); /** * fs接口使用 * */ boolean mkdirs = root.mkdirs(new Path("/app_test1")); /** * 关闭fs * */ root.close(); } }

    启动方法,到http://linux121:50070/explorer.html#/查看

    文件创建成功。

    Processed: 0.009, SQL: 9