当前位置: 首页 > 架构/云

Spark0.8.0在64bit Centos6.2上详细安装记录

系统:Centos6.2操作账号:rootSpark版本:spark-0.8.0-incubating-bin-hadoop1.tgzjdk版本:jdk-7-linux-x64.rpmscala版本:scala-2.9.3.tgz使用的节点情况:(172.18.11.XX) XX=16,17,18,20,21,23,24,25,26,27,28,29,30,31,32,33,34 共17个节点主控节点:hw024,以下操作如无特别说明全部在hw024上进行注意:(1)因为 ...

Spark交互式分析平台Apache Zeppelin的安装

Spark交互式分析平台Apache Zeppelin的安装 Zeppelin介绍 Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化。背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一 ...

Docker实践3:fig搭建mediawiki

Docker实践3:fig搭建mediawiki fig,无花果。fig项目源自docker,可以认为是快速搭建基于Docker的隔离开发环境的工具。一、安装fig$ mkdir docker; cd docker $ curl -L https://github.com/docker/fig/releases/download/1.0.1/fig-`uname -s`-`uname -m` > fig $ sudo chmod +x fi ...

用shipyard来管理docker

docker多了之后就得需要个管理工具来整合和管理,shipyard是个不错的选择 docker的管理工具用docker运行起来就行,简单步骤如下: 起一个RethinkDB的data volume实例: docker run -it -d --name shipyard-rethinkdb-data \ --entrypoint /bin/bash shipyard/rethinkdb -l 用刚才创建的data volume再起 ...

openstack代码剖析(1)

http://www.sandywalsh.com/2012/04/openstack-nova-internals-pt1-overview.html OpenStack Nova Internals – pt1 – Overview For the last 18 months or so I"ve been working on the OpenStack Nova project as a core developer. Initially, the project was small enou ...

阅读Openstack源码的一些建议

最近在看 OpenStack 的源码,虽然没有什么大的成就,但是无形中总感觉自己抓住了一点什么东西…… ; o" C3 [  a- q  d     OpenStack 本身用 python 语言编写,虽然我一直觉得自己的 python 功底已经不错了,但在看源码的过程中,还总是觉得自己掌握的东西太少了,所以 ...

TRO与RPO的平衡

TRO与RPO的平衡 许多企事业单位虽然已经认识到信息安全的重要性,却迟迟没有行动。其中的原因是多方面的,最主要的一个原因就是在如何建立容灾系统的问题上存在种种疑惑。容灾设计指标主要与容灾系统的数据恢复能力有关,最常见的设计指标有RTO 和RPO。RPO是指能把数据 ...

构建Oracle高可用环境HA rac 4

构建Oracle高可用环境HA rac 4 构建Oracle高可用环境HA rac 4 oracle开发 2010-05-30 17:45:37 阅读151 评论0   字号:大中小 订阅 1.2.1  什么是高可用 高可用(HA)有两种不同的含义,在广义环境中,是指整个系统的高可用(High Availability)性,在狭义方面,一般指主机的冗余接管 ...

将OpenStack部署到Hadoop的四种方案

将OpenStack部署到Hadoop的四种方案 摘要:OpenStack与Hadoop被誉为继Linux之后最有可能获得巨大成功的开源项目。这二者如何结合成为更猛的新方案?业内给出两种答案:Hadoop跑在OpenStack上或OpenStack部署到Hadoop上。Steve Markey教授重点介绍了后者。 这两种答案都有企业在 ...

自由虚拟机在openstack平台的托管

https://github.com/halfss/kvm2openstack/blob/master/kvm2openstack.py #!/usr/bin/env python #coding=utf8 import libvirt import MySQLdb import libvirt,os,sys from xml.etree import ElementTree openstack_db_host="10.0.0.51" openstack_db_user="root" openstack_db_pwd="mysql" uri="qemu:///sys ...

ios程序生命周期。。。

iOS应用程序生命周期(前后台切换,应用的各种状态)详解 分类: iOS开发进阶 2012-10-08 15:35 2669人阅读 评论(6) 收藏 举报 目录(?)[+] 应用程序的状态应用程序的生命周期 加载应用程序进入前台加载应用程序进入后台关于main函数 响应中断 当一个基于警告式的中断发生时,比如有电 ...

高性能网络服务器6--reactor反应堆与定时器管理

高性能网络服务器6--reactor反应堆与定时器管理 反应堆开发模型被绝大多数高性能服务器所选择,上一篇所介绍的IO多路复用是它的实现基础。定时触发功能通常是服务器必备组件,反应堆模型往往还不得不将定时器的管理囊括在内。本篇将介绍反应堆模型的特点和用法。 首先我们要谈谈,网络编程界为什么 ...

关于分布式事务、两阶段提交、一阶段提交、Best Efforts 1PC模式和事务补偿机制的研究

关于分布式事务、两阶段提交、一阶段提交、Best Efforts 1PC模式和事务补偿机制的研究 本文原文连接: http://blog.csdn.net/bluishglc/article/details/7612811 ,转载请注明出处! 1.XA XA是由X/Open组织提出的分布式事务的规范。XA规范主要定义了(全局)事务管理器(Transaction Manager)和(局部)资源管理器(Re ...

基于Kubernetes进行分布式负载测试

分布式负载测试采用云计算手段,在各种测试场景中这种方案都很有吸引力。云平台使得基础设施平台的弹性得到高度扩展,想要通过大量模拟可产生流量的客户端进行应用和服务测试都十分容易。此外,云计算的定价模式与负载测试的弹性特质非常相符。谷歌云平台是使用容器进行分布式负载测试的极优环境。 谷歌云平台 ...

Dubbo框架初探【用Spring配置声明暴露服务(可以使用multicast广播注册中心暴露服务地址或者使用zookeeper注册中心暴露服务地址)、加载Spring配置,启动服务】

Dubbo框架初探【用Spring配置声明暴露服务(可以使用multicast广播注册中心暴露服务地址或者使用zookeeper注册中心暴露服务地址)、加载Spring配置,启动服务】 文章来源:http://blog.csdn.net/kefeng824/article/details/43983621 1. Dubbo是什么? Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。简单的说,dubbo就是个服务框架,如果没有分布 ...

ZooKeeper概述

ZooKeeper概述 出处:http://liuzhaomin.blog.163.com/blog/static/183639498201212322624154/ ZooKeeper   分布式应用的分布式协调服务。         ZooKeeper为分布式应用(distributed applications)提供开源的,分布式的协调服务。分 ...

Install rabbitmq on Centos6.4

整个过程是复杂艰巨的,记录一下,以备后用: 1、安装Centos,选Basic Server。 2、登录 yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel fop unixODBC unixODBC-devel xmlto 3、去Sun的网站下载jdk1.7,设定JAVA_HOME CLASSPATH PATH 4、先安装erlang,wget http ...

rabbitmq 在centos下的安装(实战)

1.准备工作rpm -ivh http://download.slogra.com/epel-release-5-4.noarch.rpm下面这几个我也弄了,但是我不知道是什么意思,有的还不成功1yum install -y docbook-style-xsl xmlto git \\2wxGTK wxGTK-devel expat expat-devel librabbitmq \\3make gcc44 gcc44-c++ libstdc++44-devel hg libtool \\4openssl opens ...

构建OpenStack的高可用性(HA,High Availability) .

原文地址:http://blog.csdn.net/hilyoo/article/details/7704280   1、CAP理论 1) CAP 理论给出了3个基本要素: 一致性 ( Consistency) :任何一个读操作总是能读取到之前完成的写操作结果;可用性 ( Availability) :每一个操作总是能够在确定的时间内返回;分区可容忍性 (Tolerance ...

水晶报表 for Visual Studio 2003

水晶报表 for Visual Studio 2003 作者:etiersoft 日期:2007-03-07 水晶报表1、水晶报表注册码在使用Vs.net自带的水晶报表时,请注册,否则只能使用30次,水晶报表注册码如下:注册号:6707437608密码:AAP5GKS0000GDE100DS2、Asp.Net中使用水晶报表我们采用下面的几步使用Push模式执行水晶报表:1 ...