欢迎来到天剑厚德,这里有最新的大数据技术原创分享。

标签:flink

flink

17 flink数据案例分析

17 flink数据案例分析
17.1 批处理案例1 示例 使用Flink SQL统计用户消费订单的总金额、最大金额、最小金额、订单总数。 订单id用户名订单日期消费金额1zhangsan2018-10-20 15:30358.5 测试数据(订单ID、用户名、订单日期、订单金...

healthsun 2个月前 (08-10) 0评论 0喜欢

flink

16 Flink SQL开发

16 Flink SQL开发
16.1. 什么是flink关系型API 当我们在使用flink做流式和批式任务计算的时候,往往会想到几个问题: 需要熟悉两套API : DataStream/DataSet API,API有一定难度,开发人员无法集中精力到具体业务的开发需要有Java或Scala...

healthsun 2个月前 (08-10) 0评论 0喜欢

flink

15 Flink的容错

15 Flink的容错
15.1. Checkpoint介绍 Checkpoint是Flink容错的核心机制。它可以定期地将各个Operator处理的数据进行快照存储(Snapshot)。如果Flink程序出现宕机,可以重新从这些快照中恢复数据。 每个需要Checkpoint的应用在启动...

healthsun 2个月前 (08-10) 0评论 0喜欢

flink

14 Flink的状态管理

14 Flink的状态管理
14.1. 什么是有状态的计算 官网对Flink的解释:Stateful Computations over Data Streams,这是说Flink是一个有xA的数据流计算框架。 那什么是有状态的计算? 计算任务的结果不仅仅依赖于输入,还依赖于它的当前状...

healthsun 2个月前 (08-10) 0评论 1喜欢

flink

13 Flink的水印机制

13 Flink的水印机制
13.1. Flink流处理时间方式 EventTime[事件时间]事件发生的时间,例如:点击网站上的某个链接的时间IngestionTime[摄入时间]某个Flink节点的source operator接收到数据的时间,例如:某个source消费到kafka中的数据Pr...

healthsun 2个月前 (08-10) 0评论 1喜欢

flink

12 Flink的Window操作

12 Flink的Window操作
Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。 12.1. 什...

healthsun 2个月前 (08-10) 0评论 0喜欢

flink

10 DataStream的Transformation

10 DataStream的Transformation
和DataSet批处理一样,DataStream也包括一系列的Transformation操作. 流数据处理和批数据处理有很多操作是类似的,所以就不再一 一讲解。我们主要讲解,和批处理不一样的一些操作。 10.1. keyBy 按照指定的key来进行分流,类似...

healthsun 2个月前 (08-10) 0评论 0喜欢

flink

8 flink广播变量-累加器-分布式缓存

8 flink广播变量-累加器-分布式缓存
Flink支持广播。可以将数据广播到TaskManager上,数据存储到内存中。数据存储在内存中,这样可以减缓大量的shuffle操作;比如在数据join阶段,不可避免的就是大量的shuffle操作,我们可以把其中一个dataSet广播出去,一直加载到taskManager的内...

healthsun 2个月前 (08-10) 0评论 1喜欢