最近一段时间一直在使用redmine管理项目，在这里把到目前为止对自己有帮助的插件做一个总结。
1. Code Review
可对开发人员提交的代码进行在线review, 对指摘项目进行管理, 是目前对我帮助最大的插件。
2. Advanced Roadmap
对roadmap view进行了功能强化，可显示每个具体version或者milestone的详细工数和任务。
阅读全文…
1、 概述
Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scribe会将转存的日志重新传输给中央存储系统。
scribe的相关资料比较少，主要限于它的主页（见参考资料1）。此外，它的安装比较复杂，可参见我的另一篇博文：scribe日志收集系统安装方法介绍。
阅读全文…
Facebook的数据规模使得很多传统的解决方案根本不适用，或者无法分解来处理。保持一个拥有5亿用户的系统一直稳定可靠的运行，并不是一件很容易的事情。这篇文章介绍了一下Facebook使用的软件。
Facebook的扩展性挑战
在我们讨论细节之前，这里有一些Facebook已经做的软件规模：
- Facebook有570000000000每月页面浏览量（据Google Ad Planner）。
- Facebook的照片量比其他所有图片网站加起来还多（包括Flickr等网站）。
- 每个月超过30亿张照片被上传。
- Facebook的系统服务每秒处理120万张照片。 这不包括CDN服务中处理的照片。
- 每月超过25亿条的内容（状态更新，评论等）被共享。
- Facebook有超过30,000服务器 （这个数字是去年一年！）
阅读全文…
1: iptables -A INPUT -p tcp -syn -j DROP
This is a desktop-centric rule that will do two things: First it will allow you to actually work normally on your desktop. All network traffic going out of your machine will be allowed out, but all TCP/IP traffic coming into your machine will simply be dropped. This makes for a solid Linux desktop that does not need any incoming traffic. What if you want to allow specific networking traffic in — for example, ssh for remote management? To do this, you’ll need to add an iptables rule for the service and make sure that service rule is run before rule to drop all incoming traffic.
2: iptables -A INPUT -p tcp –syn –destination-port 22 -j ACCEPT
Let’s build on our first command. To allow traffic to reach port 22 (secure shell), you will add this line. Understand that this line will allow any incoming traffic into port 22. This is not the most secure setup alone. To make it more secure, you’ll want to limit which machines can actually connect to port 22 on the machine. Fortunately, you can do this with iptables as well. If you know the IP address of the source machine, you can add the -s SOURCE_ADDRESS option (Where SOURCE_ADDRESS is the actual address of the source machine) before the –destination-port portion of the line.
阅读全文…
#!/bin/tony
0. 欢迎加入qq群102082446 ，分布式文件系统 专业群（不求人多，只求专业） 通关密码：i love cuer!
1. 我在性能测试中间遇到些问题，因为我时间有限，所以希望大家一起来测试解决，群策群力。有什么问题请大家及时指出来，因为我也处在一个不断摸索的阶段。
2. mfs不多做介绍，具体细节请参考本版mfs实践文章http://bbs.chinaunix.net/thread-1643863-1-1.html ，或者baidu,google 关键字 田逸。
3. 希望大家能提供更好的存储/文件系统的测试模型，来一起完善本文档。（热烈欢迎大家奉献测试脚本，测试用例等）。
4. 希望大家提供生产环境的实际案例，配置环境，脚本，监控机制等等。
5. 希望熟悉代码的朋友去看看mfs内部实现的机制。
6. 特别感谢田逸的文档 http://sery.blog.51cto.com/10037/263515 。
7. 特别感谢网友:tt，灵犀，流云风，hzqbbc在qq群内对广大爱好者分享宝贵经验。
8. 特别感谢存储专家-《大话存储》的作者：冬瓜头 ，在我进行性能测试的时候，对我进行的指导。
阅读全文…
运维工程师的职责和前景
运维中关键技术点解剖：
1、 大量高并发网站的设计与方案制定 。
2、 高可靠、高可伸缩性系统（网络）架构设计。
3、 网站安全问题，如何避免被黑。
4、 南北互联互通问题，动态CDN解决方案。
5、 海量数据存储架构 。
一、什么是大型网站运维？
首先明确一下，全文所讲的”运维“是指：大型网站运维，与其它运维的区别还是蛮大的；然后我们再对大型网站与小型网站进行范围定义，此定义主要从运维复杂性角度考虑，如网站规范、知名度、服务器 量级、pv量等考虑，其它因素不是重点；因此，我们先定义服务器规模大于1000台，pv每天至少上亿（至少国内排名前10），如sina、baidu、 QQ，51.com等等；其它小型网站可能没有真正意义上的运维工程师，这与网站规范不够和成本因素有关，更多的是集合网络、系统 、开发工作于一身的“复合性人才”，就如有些公司把一些合同采购都纳入了运维职责范围，还有如IDC网络规划也纳入运维职责。所以，非常重要一定需要明白：运维对其它关联工种必须非常了解熟悉：网络、系统、系统开发、存储，安全,DB等；我在这里所讲的运维工程师就是指专职运维工程师。
阅读全文…
近期评论