欢迎来到天剑厚德,这里有最新的大数据技术原创分享。

healthsun的文章

spark

第三天-Spark Streaming

第三天-Spark Streaming
0.简介 streaming data的实际例子还包括处理市场提要、天气数据、电子股票交易数据等等。所有这些应用程序都以非常快的速度生成大量数据,并且需要对数据进行特殊处理,以便您能够实时地从数据中获得洞察力。 streaming 的一个重要用例是复杂事件处...

1个月前 (09-22) 0评论 0喜欢

spark

第二天-Spark SQL

第二天-Spark SQL
1.理解schema进化 DataFrames Spark SQL使用一个名为DataFrame的编程抽象。它是一个分布式的数据集合,组织在指定的列中。DataFrame相当于数据库表,但提供了更精细的优化级别。DataFrame API还确保Spark在不同语言...

1个月前 (09-21) 0评论 0喜欢

scala

Scala这些语法糖和新概念

Scala这些语法糖和新概念
下面就来说一下Scala这些语法糖和新概念: 一、单例对象(singleton object) scala没有static关键字,搞出了个object关键字来新建单例对象。在单例对象中的成员都是static的。所以要写util类或者单例一般都要用这个Object...

2个月前 (08-12) 0评论 0喜欢

flink

Flink电商指标分析项目3

Flink电商指标分析项目3
1. 模板方法提取公共类 模板方法 模板方法模式是在父类中定义算法的骨架,把具体实延迟到子类中去,可以在不改变一个算法的结构时可重定义该算法的某些步骤。 前面我们已经编写了三个业务的分析代码,代码结构都是分五部分,非常的相似。针对这样的代码,我们可以进行优...

2个月前 (08-11) 0评论 0喜欢

flink

Flink电商指标分析项目2

Flink电商指标分析项目2
1. HBaseUtil工具类 前面我们实现了Flink整合Kafka,可以从Kafka中获取数据进行分析,分析之后我们要把结果存入HBase中,为了方便操作,我们先提前编写一个操作HBase的工具类。HBase作为一个数据库,我们肯定要进行数据的增删改查,那么我们就围...

2个月前 (08-10) 0评论 0喜欢

flink

Flink电商指标分析项目1

Flink电商指标分析项目1
1. 项目背景 1.1. 项目简介 公司有一个正在运营中的电商网站,名称叫做【品优购】。这是一个B2B2C的电商平台,类似京东。 现在我们想了解一下该电商网站的各种用户行为(访问行为、购物行为、点击行为等),统计出PV、UV等数据。 针对这样的大数据分析...

2个月前 (08-10) 0评论 0喜欢

flink

17 flink数据案例分析

17 flink数据案例分析
17.1 批处理案例1 示例 使用Flink SQL统计用户消费订单的总金额、最大金额、最小金额、订单总数。 订单id用户名订单日期消费金额1zhangsan2018-10-20 15:30358.5 测试数据(订单ID、用户名、订单日期、订单金...

2个月前 (08-10) 0评论 0喜欢

flink

16 Flink SQL开发

16 Flink SQL开发
16.1. 什么是flink关系型API 当我们在使用flink做流式和批式任务计算的时候,往往会想到几个问题: 需要熟悉两套API : DataStream/DataSet API,API有一定难度,开发人员无法集中精力到具体业务的开发需要有Java或Scala...

2个月前 (08-10) 0评论 0喜欢

flink

15 Flink的容错

15 Flink的容错
15.1. Checkpoint介绍 Checkpoint是Flink容错的核心机制。它可以定期地将各个Operator处理的数据进行快照存储(Snapshot)。如果Flink程序出现宕机,可以重新从这些快照中恢复数据。 每个需要Checkpoint的应用在启动...

2个月前 (08-10) 0评论 0喜欢