当前位置: 首页 > 架构/云

Hadoop namenode无法启动

转载http://blog.csdn.net/bychjzh/article/details/7830508 刚刚装好Pig,打算打开hadoop模式尝试下Pig,但是发现Pig报错 [root@master pig-0.9.1]# pig 2011-12-03 07:27:30,158 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/bell/software/hadoop-0.20.2/pig-0.9.1/pig_1322868450 ...

Hadoop常见异常及其解决方案

1、Shell$ExitCodeException 现象:运行hadoop job时出现如下异常: 14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:  org.apache.hadoop.util.Shell$ExitC ...

java rabbitMQ demo

java rabbitMQ demo  rabbitMQ是一个在AMQP基础上完整的,可服用的企业消息系统。他遵循Mozilla Public License 开源协议。   关于amqp可参考http://www.oschina.net/p/rabbitmq/  rabbitmq是一个消费的代理;通过生产者客户端生产一个信息,转 ...

关于windows下django使用celery实现异步调用(RabbitMQ)

linux 想要实现轻而易举,但是在windows下我找了诸多办法,总是没办法解决,最终花了一天时间终于搞定。 1:安装pip         先下载get-pip.py,打开链接复制保存            使用:pythonget-pip.py 安装 2:安装RabbitMQ,celery,django-celer ...

负载均衡之IP

负载均衡之IP 转载请说明出处:http://blog.csdn.net/cywosp/article/details/38036537     首先让我们来看看下面这张大家都非常熟悉的TCP/IP协议族的分层图:                    关于 ...

Linux下的几种负载均衡技术小结

前言     Linux系统的数据包处理能力相当强大,通过Netfilter框架或者策略路由系统,用户可以非常灵活的定义数据包的处理规则。因此在Linux下实现负载均衡自然也是非常简单。笔者在此总结了Linux下常用的几种负载均衡技术: 1、bond     bond是Linux内核自带的多网卡聚合功能。这 ...

Docker集中化web界面管理平台shipyard

Docker集中化web界面管理平台shipyard Shipyard(github)是建立在docker集群管理工具Citadel之上的可以管理容器、主机等资源的web图形化工具。包括core和extension两个版本,core即shipyard主要是把多个 Docker host上的 containers 统一管理(支持跨越多个host),extension即shipyard-e ...

openstack nova集成docker部署过程记录

openstack nova集成docker部署过程记录 openstack nova集成docker部署过程记录 docker已经可以作为compute driver来使用,脱离了原来HEAT的模式,可以做到真正地使用nova来启动容器.这里记录一下openstack Kilo + docker 1.8的集成过程.所有组件环境基于centos7. 架构图如下: 安装d ...

宁波工程学院[1409] 鼹鼠鼹鼠你不出来 大数处理 模拟 很好的题

时间限制: 1000 ms 内存限制: 65535 K 问题描述 一只鼹鼠想要探索北方的一块草地,这块草地是一个无限大的方格矩阵,由于地鼠只会往前不会后退,所以他只会朝北或者东、西方向刨。由于刨过的地方已不是土地,所以不会再次进入这个方格。现在这只鼹鼠打算刨n步,它想要知道能有多少种刨的方案,你能帮他算 ...

C++高精度算法—大数加大数,大数乘以小数

C++高精度算法—大数加大数,大数乘以小数 一次偶然的机会,看到百度面试题中出现了很多关于处理大数据的处理题目,也称作高精度题目,另外在ACM竞赛中也偶尔会碰到。我们知道在C语言或C++语言中,通常受机器字长的限制,我们会碰到如果某个整数的范围超过一个范围就没法运算。这时我们 ...

hadoop之MapReduce调用R的一次失败的总结~(续四)

有人说需要用hadoop下的jar替换掉hbase下的jar,我想是可能的,以前粗略翻看官方文档中,好像并没有明确说要求替换,所以也未处理这块。 再次翻阅了一下文档,果然有相关的说法,摘录如下: Because HBase depends on Hadoop, it bundles an instance of the Hadoop jar under its lib directory. The bundled jar ...

[置顶] Hadoop解析--MapReduce

[置顶]
        Hadoop解析--MapReduce 从本篇博客开始咱们一起来详细了解Hadoop的每个部分,我们在上篇博客中介绍了HDFS,MapReduce,MapReduce为了更有效率其实是建立在HDFS之上的,有了分布式的文件系统,我们就能在这个系统之上更有效率地进行分布式的计算,我们看看它是咱么实现更优秀的分 ...

分布式文件系统——目录

1.分布式文件系统概念和原理 2.经典分布式文件系统 3.经典分布式文件系统比较 一、文件系统 1.定义: 文件系统是操作系统的一个重要组成部分,通过对操作系统所管理的存储空间的抽象,向用户提供统一的、对象化的访问接口,屏蔽对物理设备的直接操作和资源管理。 2.分类: 根据计算环境和所提供功能的不同 ...

redis分布式锁

Redis有一系列的命令,特点是以NX结尾,NX是Not eXists的缩写,如SETNX命令就应该理解为:SET if Not eXists。这系列的命令非常有用,这里讲使用SETNX来实现分布式锁。  用SETNX实现分布式锁  利用SETNX非常简单地实现分布式锁。例如:某客户端要获得一个名字foo的锁,客户端使用下面的命令进行获取:& ...

谁学菜鸟不会数据分析之一——数据分析概念及作用

谁学菜鸟不会数据分析之一——数据分析概念及作用                                        &n ...

#数据分析# 数据分析Tips

1,不要期望数据分析一次性完美,把重点问题,或者结果以最快的速度反馈出来,才是最好的。根据反馈的结果,跟相关同学讨论修改,会越来越接近完美的结果; 2,前后要保持一致。这里的“前”和“后”,指在做事情前,要跟相关业务方确认要做的事情,分析的细节等等;做完以后,再跟业务方确认结果是否跟之前想要的东西 ...

AFNetworking速成教程

AFNetworking速成教程 转载自:http://www.raywenderlich.com/zh-hans/36079/afnetworking速成教程(1) AFNetworking速成教程(1)  Scott Sherwood on March 26, 2013 Tweet 这篇文章还可以在这里找到 英语 Lea ...

理解Spark的核心RDD

理解Spark的核心RDD InfoQ - 促进软件开发领域知识与创新的传播 登录 En | 中文 | 日本 | Fr | Br 482,381 二月 独立访问用户 语言 & 开发 Java .Net 云计算 移动 HTML ...

ZooKeeper 初探

ZooKeeper 初探 本文简单介绍了ZooKeeper,并使用实例案例在本地环境快速搭建ZooKeeper环境,基本内容包括: - zookeeper的单机模式(standalone mode) 和 集群模式(replicated mode) - Java binding 的使用 - 应用场景 基本介绍 ZooKeeper是一个协调分布式 ...

Zookeeper简介、基本概念和工作原理

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需 ...