当前位置: 首页 > 架构/云

“云”中那点事!

“云”中那点事! 以前整理和编写的一个关于云的PPT分享之! 一、云计算标准定义 l云计算(英语:cloudcomputing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。l云计算可以认为包括以下几个层次的服务 ...

流行的开源分布式文件系统比较

http://get.jobdeer.com/501.get 我现在有海量的数据文件(1000万个文件)需要存储,需要让其他计算机可以很容易地访问,数据无价,我还希望这个文件系统带冗余功能。 我首先注意到的是Ubuntu Enterprise Cloud的提供者:Eucalyptus。它提供了和AWS(Amazon Web Service)几乎完全兼容的云计算接口。看起来似 ...

HDFS常见shell命令

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs args 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file 。其中scheme和 authority参数都是可选的,如果未加指定,就会使用配置中指定的默认schem ...

hadoop HDFS常用文件操作命令

命令基本格式:hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put < local file > < hdfs file > hdfs file的父目录一定要存在,否则命令不会执行 hadoop ...

linux进程间的通信(C): 消息队列

一、消息队列(message queue) 消息队列也是System V IPC机制之一。 消息队列与命名管道类似, 但少了打开和关闭管道方面的复杂性。 但使用消息队列并未解决我们在使用命名管道时遇到的一些问题, 如管道满时的阻塞问题。 消息队列提供了一种在两个不相关进程间传递数据的简单有效的方法。 与命名管道 ...

菜鸟来解释线程中的循环者Looper读取消息队列

安卓中的Looper使用就是用来给线程创建一个循环,类似while或for循环等。 public class LooperDemo extends Activity { private String tag = "LooperDemo"; private Handler handler; private int num = 0; @Override protected void onCreate(Bundle savedInstanceState) { super.onCrea ...

[置顶] KAFKA安装和使用

KAFKA安装和使用 WINDOWS:   准备软件:kafka_2.11-0.8.2.0.tgz 安装步骤: 1.      创建目录D:\kafka,将kafka_2.11-0.8.2.0.tgz解压到该目录下,解压两份,并重命名为kafka1和kafka2.并在这两个目录下创建文件kafka1/log/logs, kafka2/log/logs 2.   &nbs ...

kafka单机安装

最近一个项目要使用到kafka,所以看了一些资料,总结了一下单机的安装方法。 一、1个broker 1.官网下载kafka wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz cd kafka_2.11-0.8.2.1 2.启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties & 3.启动kaf ...

hadoop增加新节点实践

之前已经有了namenode和datanode1,现在要新增节点datanode2 第一步:修改将要增加节点的主机名 hadoop@datanode1:~$ vim /etc/hostname datanode2 第二步:修改host文件 hadoop@datanode1:~$ vim /etc/hosts 192.168.8.4     datanode2 127.0.0.1       localhost 127.0.1.1 ...

sqoop1.99.4搭建(hadoop2.4.0)

1. 版本信息:hadoop版本:2.4.0,sqoop版本:sqoop-1.99.4-bin-hadoop200 2. 首先将下载好的sqoop-1.99.4-bin-hadoop200.tar.gz解压,并放到常用程序安装目录:/usr 3. 修改环境变量: sudo /etc/profile: 添加如下内容: #sqoop export SQOOP_HOME=/usr/sqoop-1.99.4-bin-hadoop200 export PATH=$SQOOP_HOME/bin:$PA ...

关于大型网站技术演进的思考(一)

关于大型网站技术演进的思考(一) 原文地址:http://www.cnblogs.com/sharpxiajun/p/4237704.html 这个系类的文章很好,真的需要花时间来读一读!! 前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训,两天12个小时信息量非常大,知识的广度和难度也非常大, ...

负载均衡--大型在线系统实现的关键(上篇)(再谈QQ游戏百万人在线的技术实...

本文作者:sodme 本文出处:http://blog.csdn.net/sodme 声明:本文可以不经作者同意任意转载,但任何对本文的引用都须注明作者、出处及此声明信息。谢谢!! 要了解此篇文章中引用的本人写的另一篇文章,请到以下地址: http://blog.csdn.net/sodme/archive/2004/12/12/213995.aspx 以上的这篇文章 ...

贴出最新整理的英语谚语大全(3267条)

贴出最新整理成数据库的英语谚语大全: 1. "After you" is good manners. “您先请”是礼貌。2. A bad beginning makes a bad ending. 不善始者不善终。3. A bad bush is better than the open field. 有胜于无。4. A bad compromise is better than a good lawsuit. 吃亏的和解也比胜诉强。5. A bad ...

SEO之外链

        何谓优质,高质外链,顾名思义优质外链即外链的质高而不在于量。优质外链如何取得呢?   我就把自己的经验分享给大家:   1,各大网站目录   很多目录站都会要求先加上它的友情链接后申请,笔者发现这个申请一般都能通过。   2,各种问答平台   像 ...

何谓大数据?

"大数据"是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。  何谓"大数据"? 1、首先是指数据体量(volumes)大,指代大型数据集,一般在10TB?规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了PB级的 ...

大数据相关的问题

转载的李教授关于大数据的一些思考,其实也正是大数据研究需要解决的一系列问题。 存储在线(http://www.dostor.com/article/2012/1203/1448309.shtml)2012-12-03 报道:       由中国计算机学会主办、CCF大数据专家委员会承办HBTC2012Hadoop与大数据技术大会于11月30日在北京举行。本 ...

【Web优化】Yslow优化法则(三)添加缓存控制首部

【Web优化】Yslow优化法则(三)添加缓存控制首部 添加Expires和Cache-control头部 Expires和Cache-control实际上是HTTP中的缓存控制头部,它主要影响客户端的请求行为和服务器端的响应。 本文的许多内容来自《HTTP权威指南》,如有任何问题,欢迎指出。 一.缓存的基本概念 这里的缓存,单指web的 ...

使用Memcached、Spring AOP构建数据库前端缓存框架

使用Memcached、Spring AOP构建数据库前端缓存框架 原创整理不易,转载请注明出处:使用Memcached、Spring AOP构建数据库前端缓存框架 代码下载地址:http://www.zuidaima.com/share/1781569917635584.htm 数 据库访问可能是很多网站的瓶颈。动不动就连接池耗尽、内存溢出等。前面已经讲到如果我 ...

HADOOP之MAPREDUCE程序应用二

摘要:MapReduce程序进行单词计数。 关键词:MapReduce程序  单词计数 数据源:人工构造英文文档file1.txt,file2.txt。 file1.txt 内容 Hello   Hadoop I   am  studying   the   Hadoop  technology file2.txt内容 Hello  world The  world & ...

hadoop-2.6.0与sqoop-1.99.6的安裝配置

hadoop-2.6.0与sqoop-1.99.6的安裝配置 这sqoop的版本变化挺大的啊,本想在hadoop-2.6.0上安装sqoop-1.4.x版本,没想到不兼容,整了半天身心俱疲啊(有点夸张啊),废话不多说了,下面就来看看具体的安装步骤。 1.下载sqoop-1.99.6,这个版本最新,可以与hadoop2.x.x兼容的更好 2. ...