一. 概述

上一篇我们介绍了如何将数据从 mysql 抛到 kafka，这次我们就专注于利用 storm 将数据写入到 hdfs 的过程，由于 storm 写入 hdfs 的可定制东西有些多，我们先不从 kafka 读取，而先自己定义一个 Spout 数据充当数据源，下章再进行整合。这里默认你是拥有一定的 storm 知识的基础，起码知道 Spout 和 bolt 是什么。

写入 hdfs 可以有以下的定制策略：

1. 自定义写入文件的名字
2. 定义写入内容格式
3. 满足给定条件后更改写入的文件
4. 更改写入文件时触发的 Action

本篇会先说明如何用 storm 写入 HDFS，写入过程一些 API 的描述，以及最后给定一个例子：

storm 每接收到 10 个 Tuple 后就会改变 hdfs 写入文件，新文件的名字就是第几次改变。

ps：storm 版本：1.1.1 。Hadoop 版本：2.7.4 。

接下来我们首先看看 Storm 如何写入 HDFS 。

二. Storm 写入 HDFS

Storm 官方有提供了相应的 API 让我们可以使用。可以通过创建 HdfsBolt 以及定义相应的规则，即可写入 HDFS　。

首先通过 maven 配置依赖以及插件。

     <properties>         <storm.version>1.1.1</storm.version>     </properties>      <dependencies>          <dependency>             <groupId>org.apache.storm</groupId>             <artifactId>storm-core</artifactId>             <version>${storm.version}</version>             <!--<scope>provided</scope>-->             <exclusions>                 <exclusion>                     <groupId>org.slf4j</groupId>                     <artifactId>log4j-over-slf4j</artifactId>                 </exclusion>             </exclusions>         </dependency>         <dependency>             <groupId>commons-collections</groupId>             <artifactId>commons-collections</artifactId>             <version>3.2.1</version>         </dependency>         <dependency>             <groupId>com.google.guava</groupId>             <artifactId>guava</artifactId>             <version>15.0</version>         </dependency>          <!--hadoop模块-->         <dependency>             <groupId>org.apache.hadoop</groupId>             <artifactId>hadoop-client</artifactId>             <version>2.7.4</version>             <exclusions>                 <exclusion>                     <groupId>org.slf4j</groupId>                     <artifactId>slf4j-log4j12</artifactId>                 </exclusion>             </exclusions>         </dependency>         <dependency>             <groupId

                    

                        
关键字：