hadoop订单项目实战
1.到https://github.com/rathboma/hadoop-framework-examples#readme网址下载该项目文件2.删除test文件夹修改RawMapducer.java文件的路径地址3.修改pom.xml文件删除该文件的一下内容:<dependency><groupId>org.apache.commons</groupId>&
1.到https://github.com/rathboma/hadoop-framework-examples#readme网址下载该项目文件
2.删除test文件夹
修改RawMapducer.java文件的路径地址
3.修改pom.xml文件
删除该文件的一下内容:
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-io</artifactId>
<version>1.3.2</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>commons-httpclient</groupId>
<artifactId>commons-httpclient</artifactId>
<version>3.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-test</artifactId>
<version>2.0.0-mr1-cdh4.3.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.8.2</version>
<scope>test</scope>
</dependency>
并修改如下:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.3.1</version>
</dependency>
4.将windows系统下的文件上传到服务器的hadoop系统上,使用sftp工具在windows系统下找到hadoop项目文件和老师所给的transactions.txt和users.txt文件通过拖拽到服务器上的hadoop文件系统即可,也可以通过复制粘贴方法。
5.通过putty工具远程连接服务器主机
6.格式化配置的HDFS文件系统:hadoop namenode -format
7.进入hadoop文件系统:cd /usr/local/hadoop
8.依次创建对应的数据所在文件夹
注意:新建目录集/user/path/users与/users/path/transactions/ 请注意,目录需要一层层创建,否则会出错。
9.把hadoop系统中的transactions.txt和users.txt文件放到users与transactions文件夹中。
10.进入到该项目的target目录下启动分布式文件系统:start-dfs.sh和start-yarn.sh
10.执行该命令运行该项目:
hadoop jar java-mapreduce-1.0-SNAPSHOT-jar-with-dependencies.jar
Transactions的路径:
/home/hadoop/Hadoop_3/hive/data/transactions
Users的路径:
/home/hadoop/Hadoop_3/hive/data/users
/home/hadoop/Hadoop_3/java-mapreduce/target
11.在网页输入主机IP+:9870地址,查看运行结果输出的文件
三、中间遇到的问题
1.在网页没有查看到output文件
需要把staging文件夹通过命令行删除:
bin/hadoop fs -rm -r /user/path/staging
错误显示界面如下:
正确显示界面如下;
2.点击Download无法下载问题,浏览器显示访问的网页无法访问问题
在自己windows-》System32-》drivers-》etc-》hosts文件使用记事本软件打开最后添加上自己服务器主机的:IP+主机名称(中间用一个英文空格隔开)。修改完成即可通过浏览器访问下载文件
下载的结果文件使用记事本打开如下:
四、实验总结:
虽然本次实验画了一些时间,去摸索查资料如何运行hadoop项目。在操作过程中也踩了不少的坑,但是到最后还是成功解决,在解决过程中需要内心去查资料,参考别人的解决方法。等自己把该项目运行成功就很有成就感,感觉并没有那么高深莫测也没有那么难,就是那样而已。
更多推荐
所有评论(0)