unix系统
当前 CentOS6.5 64bit
JDK1.8
当前 1.8.0_25
下载地址:https://www.sonatype.com/download-nexus-repo-oss?submissionGuid=b4735fd0-d4ed-43de-a9c9-894fe3ecabbc
选择： NEXUS REPOSITORY MANAGER OSS 3.X - UNIX
获得：nexus-3.17.0-01-unix.tar.gz
解压 nexus-3.17.0-01-u[......]
IP
系统版本
部署服务
端口
192.168.0.40
CentOS6.5_64
Nginx1.12.0
8088
192.168.0.41
CentOS6.5_64
apache-tomcat-7.0.64
18088
192.168.0.42
CentOS6.5_64
apache-tomcat-7.0.64
18088
准备安装包：
|
1 2 3 4 5 |
nginx-1.12.0.tar.gz openssl-1.1.0f.tar.gz pcre-8.41.zip zlib-1.2.11.tar.gz |
yum -y install gcc automak[......]
置顶文章！ 继续阅读？
IP
系统版本
部署服务
端口
192.168.0.40
CentOS6.5_64
Nginx1.12.0
18089
192.168.0.41
CentOS6.5_64
Nginx1.12.0
18089
192.168.0.44
VIP
Keepalived
18089
准备安装包：
|
1 2 |
keepalived-1.2.24.tar.gz |
yum -y install libnl libnl-devel
yum install -y libnf[......]
置顶文章！ 继续阅读？
目录
|
1 2 |
[root@localhost files]# mount CentOS-7-x86_64-DVD-1511.iso /mnt/cdrom/ |
|
1 2 3 |
[root@localhost files]# mkdir /media/CentOS/ [root@localhost files]# cp -fr /mnt/cdrom/* /media/CentOS/ |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
[root@localhost /]# vi /etc/yum.repos.d/CentOS-Media.repo # CentOS-Media.repo # # This repo can be used with mounted DVD media, verify the mount point for # CentOS-7. You can use this repo and yum to install items directly off the # DVD ISO that we release. # # To use this repo, put in your DVD and use it with the other repos too: # yum --enablerepo=c7-media [command] # # or for ONLY the media repo, do this: # # yum --disablerepo=\* --enablerepo=c7-media [command] [c7-media] name=CentOS-$releasever - Media baseurl=file:///media/CentOS/ -->这一行改成之前新建的CentOS目录 # file:///media/cdrom/ -->这一行加#号注释掉 # file:///media/cdrecorder/ -->这一行加#号注释掉 gpgcheck=1 enabled=1 -->这一行把0改成1来启用源 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 |
|
1 2 3 |
[root@localhost /]# yum clean all [root@localhost /]# yum repolist all |
|
1 2 3 |
[root@localhost /]# umount /mnt/cdrom/ [root@localhost /]# reboot |
置顶文章！ 继续阅读？
DAGScheduler.submitMissingTasks(stage: Stage, jobId: Int)
方法中的最后几行，有一个
taskScheduler.submitTasks(new TaskSet(
tasks.toArray, stage.id, stage.latestInfo.attemptId, jobId, properties))
在 Standalone 模式下 taskScheduler 的实现类是 TaskSchedulerImpl
所以查看 TaskSchedulerImpl.su[……]
置顶文章！ 继续阅读？
为了运行一个应用程序，Spark首先根据应用程序资源需求构建一个运行时环境，这是通过与资源管理器交互来完成的。通常而言，存在两种运行时环境构建方式：粗粒度和细粒度。
应用程序被提交到集群之后，它在正式运行任务之前，将根据应用程序资源需求一次性将这些资源凑齐，之后使用这些资源运行任务，整个运行过程中不再申请新资源。
应用程序被提交到集群之后，动态向集群管理器申请资源，只要等到资源满足一个任务的运行，便开始运行该任务，而不必等到所有资源全部到位。目前，基于Hadoop的MapReduce就是基于细粒度运行时环境构建方式。
对于Spar[……]
Spark 1.6.3
从SparkContext从上一直阅读初始化成员变量，发现在这一段，开始给 SchedulerBackend、TaskScheduler、 DAGScheduler进行初始化。
而初始化方式是
|
1 2 3 4 |
SparkContext.createTaskScheduler(this,master) // this:SparkContext // master:是自己代码中调用SparkConf.setMaster()方法传递的 |
createTaskScheduler 只是根据Spark运行模式而创建对应的TaskScheduler和SchedulerBackend
local模式
Standalone模式
咱们这里主要以Standalone模式为主，scheduler.i[……]
主机名
IP
系统版本
部署服务
hadoop32
192.168.0.32
CentOS6.5_64
ES Node
hadoop33
192.168.0.33
CentOS6.5_64
ES Node
hadoop34
192.168.0.34
CentOS6.5_64
ES Node
包名
下载地址
elasticsearch-7.3.2-linux-x86_64.tar.gz
https:[……]
集群背景：48Core，256GMem，24台节点的集群。每台节点给Nodemanager分配了128G。
结果一次大型任务运行时，150亿的表和400亿的表做join时，每台节点的内存居然100%打满了。我这里的100%是整个节点的100%，而我们给所有大数据的组件内存才不到200G。
当时是懵的。
后面我们监控任务运行时，发现nodemanager的内存居然达到了180G左右，远远超出了我们设置的128G。后面查阅资料，诊断出问题，应该是Nodemanager中运行的Spark使用了大量的堆外内存，不在堆内，不可控。那么我们直接开启了 yarn.nodemanager.p[......]
置顶文章！ 继续阅读？
[TOC]
注：UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
package cn.com.edata.udf; import org.apache.hadoop.hive.ql.exec.UDF; /** * @author zhaominmail@vip.qq.com * @Date 2016年5月9日 下午2:28:36 * @Describe */ public class HelloUDF extends UDF { public String evaluate(String str) { try { return "HelloWorld " + str; } catch (Exception e) { return null; } } } |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 |
package cn.com.edata.udf; import org.apache.hadoop.hive.ql.exec.NumericUDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; import org.apache.hadoop.hive.serde2.io.DoubleWritable; /** * @author zhaominmail@vip.qq.com * @Date 2016年5月10日 下午6:26:15 * @Describe 自定义HiveUDAF * 1.需要import org.apache.hadoop.hive.ql.exec.UDAF以及org.apache.hadoop.hive.ql.exec.UDAFEvaluator,这两个包都是必须的 * 2.函数类需要继承UDAF类，内部类Evaluator实现UDAFEvaluator接口 * 3.Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数 */ public class SumUDAF extends NumericUDAF { public static class Evaluator implements UDAFEvaluator { private boolean mEmpty; private double mSum; public Evaluator() { super(); init(); } // 1）init函数类似于构造函数，用于UDAF的初始化 public void init() { mSum = 0; mEmpty = true; } // 2）iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean public boolean iterate(DoubleWritable o) { if (o != null) { mSum += o.get(); mEmpty = false; } return true; } // 3）terminatePartial无参数，其为iterate函数轮转结束后，返回乱转数据，iterate和terminatePartial类似于hadoop的Combiner public DoubleWritable terminatePartial() { return mEmpty ? null : new DoubleWritable(mSum); } // 4）merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean public boolean merge(DoubleWritable o) { if (o != null) { mSum += o.get(); mEmpty = false; } return true; } // 5）terminate返回最终的聚集函数结果 public DoubleWritable terminate() { return mEmpty ? null : new DoubleWritable(mSum); } } } |
以UDF的HelloUDF为例将该java文件编译成HelloUDF.jar
1、在hive shell里面添加临时Jar
add jar /home/zhaomin/HelloUDF.jar;
2、创建临时函数，指定路径
create[......]
近期评论