高可扩展性、高性能、大数据量、高并发、分布式的系统架构---mogileFS浅谈 weir 2015-07-10 14:58:30.0 java,分布式 2616 mogileFS 分布式文件系统,这就不用解释了,随着我们对数据的需求越来越多,不同格式的数据也在满足着我们不同的需求,这些数据可能不大但是数量多,紧接着就是对存储空间需求也越来越大,前几年出现了网盘,分布式文件系统也就应运而生,他所要解决的就是大量小数据的存放和管理问题。 后来这样的系统就越来越多了,支持的数据量数据大小也有很大的突破,有代表性的就是hadoop的hdfs,突出的表现就是对大数据的存放和读取分析,而我们这里谈到的mogileFS却是比较适合大量的小文件。 说到这里我觉得可以总结一下所谓的高可扩展性、高性能、大数据量、高并发、分布式的系统架构: 高可扩展性体现在是否可以分布式的布局上,没有分布式就无从谈起可扩展,只要做到分布式可扩展性的问题就迎刃而解。 高性能的体现就比较系统话,因为每一个技术点都可以优化提高性能,从硬件到软件,从系统级别到应用级别,从数据库到程序代码,所以高性能体现在细粒度上面。 高并发的体现可能更多也是在集群和分布式上面,可以细分到CPU核心数、多线程,更多时候高并发是体现在整体设计优化上面,有时候存在于无形中。 有了上面的三高基本就构成了大型分布式系统架构的基石,我们从最开始的架构图说起,到漫谈各个技术框架,你会慢慢走进一个看似神秘的世界,其实他并不神奇,我们在计算机高速发展的时代想尽各种办法来提高我们对计算机的使用效率,但是我似乎也看到了当代计算的限制和尽头,科技并没有突破性的进展,而现在出现了各种技术和语言的堆积,计算机的飞跃在于硬件和通讯不在软件和某一种语言的进步。 好了我们的漫谈也就要结束了,当然作为分布式的系统架构远远不止这些,比如数据库的集群,网络的优化,前端的优化,DNS的优化,程序框架的优化等等。下面我们就要对各个技术点一个一个学习掌握,还是我说的学习只是入门,要想掌握分布式系统架构需要的是实践经验,继续在路上。