当前位置: 首页 > 架构/云

fastdfs使用

一、创建一个maven的webproject,叫file-manager:mvnarchetype:create-DgroupId=platform.activity.filemanager-DartifactId=file-manager-DarchetypeArtifactId=maven-archetype-webapp 二、定义一个fastDFS的客户端文件fdfs_client.conf: 二、定义一个fastDFS的客户端文件fdfs_client.conf: class="properti ...

分布式文件系统研究-fastDFS(二)

分布式文件系统研究-fastDFS(二) 一、上传文件 FastDFS安装包中,自带了客户端程序,通过程序可以进行文件上传。在使用这个客户端程序之前,首先需要配置client.conf,然后再进行文件上传及下载。   1、修改%FastDFS%/conf/client.conf文件,修改如下: #可自定义,但此 ...

基于云计算的价格查询实现

基于云计算的价格查询实现 基于云计算的价格查询实现     上篇博客提到价格查询功能,当时正在考虑做成云计算模式,所以当时连多线程都没考虑,就是准备将功能都交给云计算系统的,由云计算内部管理线程和调度问题,所以当时实现就根本不用考虑多线程,现在功能基本实现 ...

微软两大课程资料集:教你部署企业云计算

微软两大课程资料集:教你部署企业云计算 微软两大课程资料集:教你部署企业云计算 毫无疑问,云计算是微软在新时期的关键战略方向,在云计算及其相关领域微软投入了巨大精力,率先推出了众多的云计算解决方案和产品。本次课程中将会向您介绍微软整体的云计算战略和产品,以及这些云计算产 ...

zookeeper原理(转)

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需 ...

hadoop1.2.1+zookeeper3.4.6+hbase0.94集群环境搭建

hadoop集群环境搭建参考前面的hadoop集群搭建文档,搭建了三个服务器的集群如下feixu-master     namenode, secondaryNamenode, jobtrackerfeixu-slave1     datanode, tasktrackerfeixu-slave2     datanode, tasktrackerzookeeper集群环境搭建zooKeeper是一个分布式开源框架,提供了协调 ...

ATS 反向代理服务器设置

records.config文件: CONFIGproxy.config.exec_thread.autoconfig INT 1 CONFIG proxy.config.exec_thread.autoconfig.scale FLOAT2.0 CONFIG proxy.config.exec_thread.limit INT2   #经观察是每个核创建的线程数,官方文档中未提及   CONFIG proxy.config.cluster.ethernet_interface STRING ...

电商峰值系统架构设计--转载

 1.1 系统架构设计目录 摘要:双11来临之际,《程序员》以“电商峰值系统架构设计”为主题,力邀京东、当当、小米、1号店、海尔商城、唯品会、蘑菇街、麦包包等电商企业,及商派、基调网络等服务公司,分享电商峰值系统架构设计的最佳技术实践。 自2009年11月11日,淘宝商城(现名天猫) ...

分布式系统 缓存穿透与失效时的雪崩效应

缓存系统往往有两个问题需要面对和考虑:缓存穿透与失效时的雪崩效应。        1. 缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义 ...

面向搜索引擎的内容管理系统(CMS)设计——利用Squid反相代理缓存实现网站内容静态发布

面向搜索引擎的内容管理系统(CMS)设计    ——利用Squid反相代理缓存实现网站内容静态发布作者: 车东 Email: chedongATbigfoot.com/chedongATchedong.com 写于:2003/03 最后更新: document.write(document.lastModified) 10/26/2004 10:25:01版权声明:可以任意转载,转载时请务必以超 ...

kafka 多台consumer 实验

kafka 多台consumer 实验 最近和实验室哥们儿在搞storm kafka的东西。 两者始终不能连接起来。 突然想到以前自己写consumer的demo的时候,仅仅是一台机子在pull 数据,从来没有试过用属于同一个group的consumer(部署在多台机子上)去pull数据,于是今天准备做个实验。直接上consu ...

CDH集群集成kafka

搭建要求: 1.CDH环境已经搭建成功,在CDH上搭建kafka,要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper 2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中 搭建步骤 1. 主机操作 修改hosts 10.10.0.11 s1-1 10.10.0.12 s1-2 10.10.0.13 s1-3 10.10.0.14 s1-4 10.10.0.15 s2-1 10.10.0.16 s2-2 ...

使用SQL Server 2014内存数据库时需要注意的地方

作者 王枫发布于2014年7月4日 本文从产品设计和架构角度分享了Microsoft内存数据库方面的使用经验,希望你在阅读本文之后能够了解这些新的对象、概念,从而更好地设计你的架构。 内存数据库,指的是将数据库的数据放在内存中直接操作。相对于存放在磁盘上,内存的数据读写速度要高出很多,故可以提高应用的性能。微 ...

在 iOS 6里开始UICollectionView: Part 2/2

Ray的提示:这是我们新书iOS 6 Feast的第四篇教程!这篇教程出自我们的新书iOS 6 By Tutorials。写这篇教程的作者是Brandon Trebitowski – 他是我们教程团队的新成员并且也是我的好朋友。让我们开始吧! 这篇教程发自我们的教程团队成员 Brandon Trebitowski, 他是一名软件工程师,他会定期在 bran ...

RTP数据分析

How to decode and playback G729 audio streams: http://wiki.media5corp.com/wiki/index.php?title=Debug_%26_Troubleshooting_-_How_to_decode_and_playback_G729_audio_streams 使用wildpackets omnipeek、wireshark、rtptool、voice_age 分析G.729语音质量: G.729 方法一: 1 :wireshark:  ...

DZ论坛的登录POST数据分析

http://azhus.com/thread-16-1-1.html 如图所示,是两个登录方式的抓包截图(httpwatch是个非常好的抓包工具,各位可以在论坛搜索一下,有下载的) 注: DZ论坛的API接口都一样,如果你要修改本篇分析数据内容的话,只需要把 azhus.com改成其他论坛域名即可. (转载请著名出处啊..) 第一种方式,我是直接在论坛首页抓包. ...

spark 学习(二) RDD及共享变量

声明:本文基于spark的programming guide,并融合自己的相关理解整理而成        Spark应用程序总是包含着一个driver program(驱动程序),它执行着用户的main方法,并且执行大量的并行操作(parallel operations)在集群上. 概述     Spark最主要的抽象就是RDD(resilien ...

Spark1.0.0 的监控方式

      Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控: Spark应用程序的WebUI或者Spark Standalone的集群监控指标,然后通过支持指标收集的集群监控系统,如ganglia进行监控辅助监控工具 1:WebUI       Spark应用程序提交后,driver和Executor之间不 ...

高并发高负载网站的系统架构浅析

高并发高负载网站的系统架构浅析 大型网站,比如门户网站。在面对大量用户访问、高并发请求方面,基本的解决方案集中在这样几个环节:使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面,还没法根本解决大型网站面临的高负载和高并发问题 ...

web开发中的缓存策略:缓存穿透 缓存失效 缓存并发

1 缓存穿透:  解释: 向目标系统查询一个必然不存在的数据。有可能是数据真的不存在,也有可能是第三方恶意攻击系统,刻意构建了大量不存在的id来攻击数据库。 如果短时间内极大量的出现缓存穿透,那么系统的数据库将面临极大的压力,甚至宕机。 解决方案: (1) 存储空值:对不存在的值也在缓 ...