应用场景

通常为了安全,服务器需要通过跳板机访问，服务器对外网暴露的端口也严格限制。这种情况下若要在本地
访问服务器上的服务或系统就会比较蛋疼。
有一个简单的解决方案，就是在本地和跳板机之间建立SSH隧道。SSH隧道提供了一个网络代理服务，
通过该代理服务可以直接访问跳板机所在的局域网，即服务器上的任意端口，服务都可以直接访问。

本文介绍的方法比一般的端口映射更方便，不需要为每个端口配置一条SSH隧道，包括Windows、Mac、Linux上的操作方法。

引言

Kafka是由LinkedIn开发的一个分布式的消息系统，它以可水平扩展和高吞吐率而被广泛使用，现在已经是Apache的项目。

Kafka系统自带了丰富的运维管理工具，都是基于命令行的，本文主要介绍一些常用的命令。

With spark 2.0.x,we can use DataFrameReader and DataFrameWriter.
Use SparkSession.read to access DataFrameReader and use Dataset.write to access DataFrameWriter.

Hello!

Today is this blog’s first day !

Merry Christmas !

1 编写UDF类

以简单的处理单个字段的UDF函数为例,开发自定义UDF函数需要继承’org.apache.hadoop.hive.ql.exec.UDF’类.
可以通过Maven添加,pom文件中加入(版本号跟Hive版本一致即可):

1.说明:

1. 首先要部署好Hadoop集群包括HDFS和YARN,这里不再赘述.
2. Spark on YARN模式,不需要启动spark的master和worker,master的工作由YARN完成.
3. 相关路径根据实际情况修改.
4. 1.4和1.6版本部署过程类似.
   Read more »