大数据HelloWorld-Flink实现字数统计

所有语言都以Hello Word开头，数据处理引擎也有Hello Word。这就是字数。MR，Spark和Flink之后的第一个节目是字数统计。所以今天Flink的目标是在本地调试字数。

Flink的独立安装

在启动FLink之前，请尝试在本地安装Flink，尽管Flink通常以集群模式部署。作者穷，机器配置太低，开不了几个虚拟机。所以我们只能先演示一下单机的安装。

Apache Flink需要在Java1.8或更高版本中运行。

因此，首先确保您的JDK版本是1.8或更高版本。

Flink单机部署非常简单，只需安装、下载和安装即可。如果需要结合Hadoop版本，下载对应的Hadoop相关版本。如果不与Hadoop结合，可以直接下载Scala。我直接在这里下载了Scala2.11的相关版本。

点击进入Apache页面下载，大小约283MB。

解压缩下载的压缩包。

打开命令行并直接执行

/bin/start-cluster.bat

开始。

浏览器打开http://localhost:8081

此时，Flink在Windows10环境下启动。

写字数

因为Flink是Scala开发的，Scala是基于JVM的语言。所以最终会转换成Java字节码文件，所以可以用JAVA和Scala开发Flink程序。也可以同时开发。例如，Java写了部分代码，Scala写了另一部分代码。可以参考Apache Flink，使用Maven混合Scala和Java。

Flink官方为快速工程生成提供了两个工具：SBT和Maven。因为作者熟悉Maven，(或者从来没有用过SBT)。所以直接用Maven快速创建一个项目。

Java版本

mvnarchetype: generate \-darchetypegroupid=org . Apache . flink \-darchetypeartifactid=flink-QuickStart-Java \-darchetypeversion=1 . 8 . 0 Scala版本

mvnarchetype: generate \-darchetypegroupid=org . Apache . flink \-darchetypeartifactid=flink-quick start-Scala \-darchetypeversion=1。8.0根据提示输入相关信息，即可生成最终项目。

pom.xml src 主 资源log4j . propertiesScala/ideaorgmy org

如果使用Scala，需要安装Scala插件。同时搜索并安装Scala语言包。

如果不知道怎么做，可以微信联系我。

包装罐；导入组织。阿帕奇。弗林克。API。常见。功能。平面映射函数；导入组织。阿帕奇。弗林克。API。常见。功能。减少功能；导入组织。阿帕奇。弗林克。API。Java。执行环境；导入组织。阿帕奇。弗林克。API。Java。操作员。数据源；导入组织。阿帕奇。弗林克。API。Java。元组。元组2；导入组织。阿帕奇。弗林克。乌提尔。收藏家；公共类BatchJob { public static void main(String[]args)引发异常{//设置批处理执行环境最终执行环境环境=执行环境。getexecutionenvironment()；//读取目录下的文件数据源资源数据=env。readtextfile(///opt/Server _ Packets/log/Server _ log _ 1 _ runtime。log’)；//把文件中的内容按照空格进行拆分为单词，1 1是为了能够在下面进行计算。data.flatMap(新FlatMapFunctionString，Tuple2String，Integer(){ @覆盖公共void flat map(String s，CollectorTuple2String，Integer collector)引发异常{ for(String word :s。split(')} { collector。收集(新Tuple2(word，1))；}}})//按照元组中的第一位进行分组groupBy(0)//分组的元组的计算方式为价值值也就是刚才的同样的词把1 1 .reduce(新的reduce函数Tuple2String，Integer(){ @ override public tuple 2 string，Integer reduce(Tuple2String，Integer t2，tuple 2 string，Integer t1))抛出异常{返回新Tuple2(t1.f0，t1。f1 T2。f1)；}})//输出结果print()；}}总结

以上所述是小编给大家介绍的大数据HelloWorld-Flink实现字数，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！