群组首页 → 企业架构 → Hadoop → 论坛
发表回复

eclipse下查看job的详细工作情况

sampras87 2012-06-08
  我在eclipse里运行来一个job后，我到那里查看它启动了多少个map，多少个reduce我在50030里没找到！
zc0604 2012-06-08
通过hadoop自带的 web服务器，在浏览器中 通过http://IP:50030就可以  jobtracker中可以方便的查看作业的执行情况。当然也可以通过命令行 查看 当前的作业状态。
tenderuser 2012-06-08
用eclipse起job，应该是本地起的，本地起的话，map和reduce好像都只会是1个。。。
因为是在本地起的，所以在那个50030端口看不到也是很正常的嘛。。。如果想通过运行eclipse提交一个job到你的真实集群中，需要配置对应的jobtracker地址，以及其他参数的。。。 而且需要把job相关的jar包提交到hdfs上，或者直接放在hadoop的的classpath下，当然需要在每个节点上都放一个
tenderuser 2012-06-08
tenderuser 写道
用eclipse起job，应该是本地起的，本地起的话，map和reduce好像都只会是1个。。。
因为是在本地起的，所以在那个50030端口看不到也是很正常的嘛。。。如果想通过运行eclipse提交一个job到你的真实集群中，需要配置对应的jobtracker地址，以及其他参数的。。。 而且需要把job相关的jar包提交到hdfs上，或者直接放在hadoop的的classpath下，当然需要在每个节点上都放一个

ps : 是job所需要的class打成的jar包   
发表回复
Global site tag (gtag.js) - Google Analytics