欢迎来到天剑厚德,这里有最新的大数据技术原创分享。

最新发布 第2页

天剑厚德 -- 康健的个人博客

  • None data.
flink

14 Flink的状态管理

14 Flink的状态管理
14.1. 什么是有状态的计算 官网对Flink的解释:Stateful Computations over Data Streams,这是说Flink是一个有xA的数据流计算框架。 那什么是有状态的计算? 计算任务的结果不仅仅依赖于输入,还依赖于它的当前状...

healthsun 2个月前 (08-10) 0评论 1喜欢

flink

13 Flink的水印机制

13 Flink的水印机制
13.1. Flink流处理时间方式 EventTime[事件时间]事件发生的时间,例如:点击网站上的某个链接的时间IngestionTime[摄入时间]某个Flink节点的source operator接收到数据的时间,例如:某个source消费到kafka中的数据Pr...

healthsun 2个月前 (08-10) 0评论 1喜欢

flink

12 Flink的Window操作

12 Flink的Window操作
Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。 12.1. 什...

healthsun 2个月前 (08-10) 0评论 0喜欢

flink

10 DataStream的Transformation

10 DataStream的Transformation
和DataSet批处理一样,DataStream也包括一系列的Transformation操作. 流数据处理和批数据处理有很多操作是类似的,所以就不再一 一讲解。我们主要讲解,和批处理不一样的一些操作。 10.1. keyBy 按照指定的key来进行分流,类似...

healthsun 2个月前 (08-10) 0评论 0喜欢

flink

8 flink广播变量-累加器-分布式缓存

8 flink广播变量-累加器-分布式缓存
Flink支持广播。可以将数据广播到TaskManager上,数据存储到内存中。数据存储在内存中,这样可以减缓大量的shuffle操作;比如在数据join阶段,不可避免的就是大量的shuffle操作,我们可以把其中一个dataSet广播出去,一直加载到taskManager的内...

healthsun 2个月前 (08-10) 0评论 1喜欢

flink

6 Flink批处理Sink

6 Flink批处理Sink
flink在批处理中常见的sink 基于本地集合的sink(Collection-based-sink)基于文件的sink(File-based-sink) 6.1 基于本地集合的sink 目标: 基于下列数据,分别 进行打印输出,error输出,col...

healthsun 2个月前 (08-10) 0评论 1喜欢