Hbase

像学习Spark这类大数据平台，搭建环境，是一件很费时费力的事情。特别是当你想使用多台机器模拟真实生产环境时。 为了更有效的学习Spark，我决定将自己的学习环境按生产环境的要求来搭建。但是真实生产环境的群集往往由多个集群组成：Hadoop/Hbase集群、Zookeeper集群、Spark集群。掐指一算，至少需要6台机器了。 我们真的需要买6台机器吗？当然不是，我们只需要在自己的电脑上虚拟化出6台就好了。而我的电脑只有16G，虚拟化6台太吃力了。最终，我决定搭建成以下结构： 以下是搭建过程： 环境的搭建 按以前学习像Spring这些类Web，开发环境的搭建非常简单，也就引入几个依赖，添加几项配置，就好了。 但是学习Spark，我敢肯定不少人在环境搭建这一环节踩坑。正因为这样，才会有此博客。 Spark不是一框架，而是一个分布式的计算平台。所以，你不能通过引入依赖，添加配置就完成搭建。需要先将Spark这个平台部署起来。Spark支持4种部署方式： 单机：同一台机器，同一进程，不同线程运行Master和Worker 伪分布式：同一台机器，不同进程分别运行Master和Worker Standalone方式：多台机器分别运行Master和Worker，自己解决资源调度 Yarn和Mesos方式：将资源调度这一职责外包出去 虽然Spark的单机部署方式很简单，但是没有人会在生产环境上使用单机部署方式。而伪分布式我见不少人搭建，以此为基础来学习Spark。但我不推荐。 因为在线上真正运行的是Standalone、Yarn、Mesos方式，也称为完全分布式的方式。只有一开始就使用完全分布式的方式来进行开发调试，你才会学习到生产环境会遇到什么问题。 机器准备 如果采取完全分布式的部署方式来学习，你必须准备很多台机器，就像上面所说的。 我想大多数人都会选择虚拟化方案来得到多台机器。我推荐Virtualbox。 我见不少人手工的创建一台机器，然后安装操作系统，接着想要多少台机器，就复制几台，甚至还要分别进入机器修改每台机器的IP。。。 这样的方式，效率低，又很难与你的同事分享你的环境（也就是统一一个团队的开发环境，以避免不同开发环境不同引起的问题）。 所以，我一开始就使用Vagrant。把机器的虚拟化这一动作进行自动化和版本化（提交到git仓库中）。使用了Vagrant，你只需要在Vagrantfile中定义机器数据、机器的系统镜像、CPU个数、内存，然后执行vagrant up，就可以得到你想要的机器了。要与同事统一这些机器，只需要他使用相同的Vagrantfile就好了。 同时，这样，还能实现：统一开发环境与生产环境使用同样或相近的机器环境。 以下是一个Vagrantfile样例： Vagrant.configure(2) do |config| VAGRANT_VM_PROVIDER = "virtualbox" machine_box = "boxcutter/ubuntu1604" -> 系统镜像 config.vm.define "offlinenode1" do |machine| machine.vm.box = machine_box machine.vm.hostname = "offlinenode1" machine.vm.network "private_network", ip: "192.168.11.151" -> 指定IP machine.vm.provider "virtualbox" do |node| node.name = "offlinenode1" node.memory = 4096 -> 指定内存 node.cpus = 2 -> 指定CPU个数 end end config.vm.define "offlinenode2" do |machine| machine.vm.box = machine_box machine.vm.hostname = "offlinenode2" machine.vm.network "private_network", ip: "192.168.11.152" machine.vm.provider "virtualbox" do |node| node.name = "offlinenode2" node.memory = 4096 node.cpus = 2 end end ....... 还可以定义很多这样的机器 end 搭建Spark集群 在准备好机器后，接下来做的就是搭建Spark集群。我会选择Ansible来实现自动化搭建，而不是一台台机器登上去，一条条命令的执行安装。 ...