欢迎来到天剑厚德,这里有最新的大数据技术原创分享。

 分类:flink

Flink电商指标分析项目3

Flink电商指标分析项目3
1. 模板方法提取公共类 模板方法 模板方法模式是在父类中定义算法的骨架,把具体实延迟到子类中去,可以在不改变一个算法的结构时可重定义该算法的某些步骤。 前面我们已经编写了三个业务的分析代码,代码结构都是分五部分,非常的相似。针对这样的代码,我们可以进行优...

healthsun 2个月前 (08-11) 0评论 0喜欢

Flink电商指标分析项目2

Flink电商指标分析项目2
1. HBaseUtil工具类 前面我们实现了Flink整合Kafka,可以从Kafka中获取数据进行分析,分析之后我们要把结果存入HBase中,为了方便操作,我们先提前编写一个操作HBase的工具类。HBase作为一个数据库,我们肯定要进行数据的增删改查,那么我们就围...

healthsun 2个月前 (08-10) 0评论 0喜欢

Flink电商指标分析项目1

Flink电商指标分析项目1
1. 项目背景 1.1. 项目简介 公司有一个正在运营中的电商网站,名称叫做【品优购】。这是一个B2B2C的电商平台,类似京东。 现在我们想了解一下该电商网站的各种用户行为(访问行为、购物行为、点击行为等),统计出PV、UV等数据。 针对这样的大数据分析...

healthsun 2个月前 (08-10) 0评论 0喜欢

17 flink数据案例分析

17 flink数据案例分析
17.1 批处理案例1 示例 使用Flink SQL统计用户消费订单的总金额、最大金额、最小金额、订单总数。 订单id用户名订单日期消费金额1zhangsan2018-10-20 15:30358.5 测试数据(订单ID、用户名、订单日期、订单金...

healthsun 2个月前 (08-10) 0评论 0喜欢

16 Flink SQL开发

16 Flink SQL开发
16.1. 什么是flink关系型API 当我们在使用flink做流式和批式任务计算的时候,往往会想到几个问题: 需要熟悉两套API : DataStream/DataSet API,API有一定难度,开发人员无法集中精力到具体业务的开发需要有Java或Scala...

healthsun 2个月前 (08-10) 0评论 0喜欢

15 Flink的容错

15 Flink的容错
15.1. Checkpoint介绍 Checkpoint是Flink容错的核心机制。它可以定期地将各个Operator处理的数据进行快照存储(Snapshot)。如果Flink程序出现宕机,可以重新从这些快照中恢复数据。 每个需要Checkpoint的应用在启动...

healthsun 2个月前 (08-10) 0评论 0喜欢

14 Flink的状态管理

14 Flink的状态管理
14.1. 什么是有状态的计算 官网对Flink的解释:Stateful Computations over Data Streams,这是说Flink是一个有xA的数据流计算框架。 那什么是有状态的计算? 计算任务的结果不仅仅依赖于输入,还依赖于它的当前状...

healthsun 2个月前 (08-10) 0评论 1喜欢

13 Flink的水印机制

13 Flink的水印机制
13.1. Flink流处理时间方式 EventTime[事件时间]事件发生的时间,例如:点击网站上的某个链接的时间IngestionTime[摄入时间]某个Flink节点的source operator接收到数据的时间,例如:某个source消费到kafka中的数据Pr...

healthsun 2个月前 (08-10) 0评论 1喜欢

12 Flink的Window操作

12 Flink的Window操作
Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。 12.1. 什...

healthsun 2个月前 (08-10) 0评论 0喜欢