从HDFS部署Samza工作

2018-08-21 18:24 更新

如果要将Samza作业的.tar.gz包发布到HDFS,本教程将使用hello-samza来说明如何运行Samza作业。

上传包

hadoop fs -put ./target/hello-samza-0.12.0-dist.tar.gz /path/for/tgz

添加HDFS配置

将集群的 hdfs-site.xml 文件放入 〜/ .samza / conf 目录(与纱线-site.xml相同的位置)。如果设置了 HADOOP_CONF_DIR,如果 hdfs-site.xml 不存在,那么将 hdfs-site.xml 放在配置目录中。

更改属性文件

将属性文件中的 yarn.package.path 更改为 HDFS 位置。

yarn.package.path=hdfs://<hdfs name node ip>:<hdfs name node port>/path/to/tgz

那么你应该能够按照 hello-samza的 描述运行Samza的工作。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号