php访问网站,网站建设部署与发布有效期,做浏览单的网站,用帝国cms做视频网站#x1f9e0; 1. 什么是伪分布式模式#xff08;Pseudo-distributed Mode#xff09;#xff1f; 在 Hadoop 中#xff0c;伪分布式模式是一种 用一台机器模拟多节点集群 的运行方式。 每个 Hadoop 组件#xff08;如 NameNode、DataNode、ResourceManager、NodeManager 1. 什么是伪分布式模式Pseudo-distributed Mode 在 Hadoop 中伪分布式模式是一种 用一台机器模拟多节点集群 的运行方式。 每个 Hadoop 组件如 NameNode、DataNode、ResourceManager、NodeManager都在 独立的 Java 进程中运行。 适合做开发、调试、学习使用。
简单来说“一台电脑装扮成一群电脑”。 2. 什么是 MapReduce MapReduce 是一种用于大数据处理的编程模型由两个阶段组成 阶段作用说明Map对数据进行切分处理比如统计每个词出现一次Reduce对中间结果合并比如把相同的词频加总 经典例子是统计一篇文章中每个单词出现了几次WordCount 3. 开始运行 WordCount 示例程序
我们使用的是 Hadoop 自带的 MapReduce 示例程序hadoop-mapreduce-examples-3.3.4.jar 里面包括了经典的应用程序比如wordcount, grep, pi 等。 步骤一查看有哪些示例程序
$ hadoop jar /usr/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar 这条命令会列出 JAR 包里的所有示例比如 wordcount统计词频 grep用正则表达式匹配文本 pi估算圆周率 步骤二查看 wordcount 的用法
$ hadoop jar /usr/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount
你会看到提示
Usage: wordcount input output
说明它需要两个参数 输入路径inputHDFS 上的目录里面放文本文件 输出路径output结果存储的目录注意不能事先存在 步骤三准备环境
✅ 1启动 HDFS 和 YARN
$ start-dfs.sh $ start-yarn.sh start-dfs.sh 启动分布式文件系统NameNode、DataNode start-yarn.sh 启动任务调度系统ResourceManager、NodeManager
✅ 2创建用户目录如果没建过
$ hdfs dfs -mkdir -p /user/user
这一步是给你在 HDFS 上建一个“个人文件夹”。 步骤四上传输入文件
✅ 创建输入目录并上传文件
$ hdfs dfs -mkdir input$ hdfs dfs -put text.txt input mkdir input 是在 HDFS 上建一个 input 文件夹 put text.txt input 把本地的 text.txt 文件上传进去 步骤五运行 WordCount 程序
$ hadoop jar /usr/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount input output 输入目录是 input 输出目录是 output 程序会在后台运行 Map 和 Reduce 任务统计每个单词的出现次数。 步骤六查看结果
✅ 方法一下载输出结果到本地
$ hdfs dfs -get output/part-* $ cat part-r-00000 part-r-00000 是 Reduce 阶段的输出文件。 里面是每个单词及其频率比如 a 5 and 3 hadoop 10 ✅ 方法二直接在终端查看输出内容
$ hdfs dfs -cat output/part-* ⚠️ 常见错误输出目录已存在
如果你再次运行程序而 output 文件夹还存在就会报错。 解决方案一删掉旧的输出目录
$ hdfs dfs -rm -r output 解决方案二用新的输出目录
比如
$ hadoop jar ... wordcount input output2$ hdfs dfs -cat output2/part-* ✅ 总结流程图简化
Step 1: 启动 Hadoop → start-dfs.sh → start-yarn.shStep 2: 准备数据 → 上传 text.txt 到 HDFS 的 input 文件夹Step 3: 运行程序 → hadoop jar ... wordcount input outputStep 4: 查看结果 → cat output/part-* ✅ 一句话总结 Hadoop 的 MapReduce 示例程序如 wordcount能在伪分布式模式中运行读取 HDFS 上的文本文件统计词频并将结果保存到 HDFS 的输出目录中。
