Storm 系列（八）—— Storm 集成 HDFS 和 HBase

一、Storm集成HDFS#

1.1 项目结构#

本用例源码下载地址：storm-hdfs-integration

1.2 项目主要依赖#

项目主要依赖如下，有两个地方需要注意：

• 这里由于我服务器上安装的是 CDH 版本的 Hadoop，在导入依赖时引入的也是 CDH 版本的依赖，需要使用 <repository> 标签指定 CDH 的仓库地址；
• hadoop-common、hadoop-client、hadoop-hdfs 均需要排除 slf4j-log4j12 依赖，原因是 storm-core 中已经有该依赖，不排除的话有 JAR 包冲突的风险；

Copy
<properties>     <storm.version>1.2.2</storm.version> </properties>  <repositories>     <repository>         <id>cloudera</id>         <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>     </repository> </repositories>  <dependencies>     <dependency>         <groupId>org.apache.storm</groupId>         <artifactId>storm-core</artifactId>         <version>${storm.version}</version>     </dependency>     <!--Storm 整合 HDFS 依赖-->     <dependency>         <groupId>org.apache.storm</groupId>         <artifactId>storm-hdfs</artifactId>         <version>${storm.version}</version>     </dependency>     <dependency>         <groupId>org.apache.hadoop</groupId>         <artifactId>hadoop-common</artifactId>         <version>2.6.0-cdh5.15.2</version>         <exclusions>             <exclusion>                 <groupId>org.slf4j</groupId>                 <artifactId>slf4j-log4j12</artifactId>             </exclusion>         </exclusions>