从HDFS部署Samza工作
2018-08-21 18:24 更新
如果要将Samza作业的.tar.gz包发布到HDFS,本教程将使用hello-samza来说明如何运行Samza作业。
上传包
hadoop fs -put ./target/hello-samza-0.12.0-dist.tar.gz /path/for/tgz
添加HDFS配置
将集群的 hdfs-site.xml 文件放入 〜/ .samza / conf 目录(与纱线-site.xml相同的位置)。如果设置了 HADOOP_CONF_DIR,如果 hdfs-site.xml 不存在,那么将 hdfs-site.xml 放在配置目录中。
更改属性文件
将属性文件中的 yarn.package.path 更改为 HDFS 位置。
yarn.package.path=hdfs://<hdfs name node ip>:<hdfs name node port>/path/to/tgz
那么你应该能够按照 hello-samza的 描述运行Samza的工作。
以上内容是否对您有帮助:
更多建议: