Zhongwei +

Hadoop笔记(二)

Hadoop笔记(二)

[TOC]

18. 如何编译和调试Hadoop代码?

  1. 使用Eclipse

从Github上下载hadoop-eclipse插件,然后将hadoop-eclipse-plugin-2.6.0.jar放置在eclipse的plugins目录。

重启eclipse,在windows->preferences可以看到Hadoop Map/Reduce选项。

Alt text

Hadoop installation directory是Hadoop的目录。

打开Windows->Open Perspective->Other,选择Map/Reduce。

Alt text

点击左上角配置Map/Reduce Location选项,输入Location Name,任意名称即可。配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的设置一致即可。

Alt text

点击左侧的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安装成功。

Alt text

  1. 使用Maven

参考使用Maven搭建Hadoop

  1. 使用Ant

19. MapReduce编程实例I:Top-N问题

20. MapReduce编程实例II:K-means聚类

21. MapReduce编程实例III:贝叶斯分类

Blog

Project

Favorite