请问hadoop可以用来控制可执行文件所需的输入数据吗?
依夜轻舟
2013-07-07
具体就是:hadoop集群的各台机器上都有一个可执行文件,可以让hadoop集群控制可执行文件执行所需的输入数据,触发每台机器都执行可执行文件,可执行文件的执行过程还是在单台机器上操作的,没有经过hadoop集群,有什么方法吗?
|
|
suncf1985
2013-07-23
以前我也想这么弄来着,后来实在没有早到合适的方法,就自己写了一个程序来调度.
说一下我的实现方式吧 1.通过ssh的方式,连接到linux主机,执行命令,可以采用多线程方式,每个机器同时启动. 2.命令成功运行后,可通过查看日志方式来确定是否执行完成. 3.出错时的控制. java 远程执行linux命令 |
|
pht10
2013-07-24
可以利用mapreduce机制在hadoop集群中运行可执行文件,hadoop中的输入是用key-value控制的,只要自己做一些设置就可以了
|