我们为什么需要分布式系统?
分布式系统解决了什么问题?
简单来说,分布式系统的出现,主要是为了解决单体系统的不足。
- 分布式系统解决了单机性能瓶颈导致的成本问题。由于摩尔定律失效,廉价PC机的性能瓶颈无法继续突破,虽然小型机和大型机能够实现更高的单机性能,但是成本太高。
- 分布式系统解决了用户量和数据量爆炸性地增大导致的成本问题。
- 分布式系统满足了业务高可用的需求。
- 分布式系统解决了大规模软件系统的迭代效率和成本问题。
总之,在互联网时代,单机系统无法解决成本、效率和高可用问题,这样就促成了分布式系统的诞生。
分布式系统如何解决成本、效率和高可用问题?
分布式系统是指由一组通过网络进行通信,为了完成共同的任务,而协调工作的计算机节点组成的系统。它是通过多工作节点,来解决单机系统面临的成本、效率和高可用问题。
如果一项技术能够平民化,那么它一定是在成本、效率和稳定性方面都有非常突出的表现。我们可以把分布式系统看作单机系统的平民化和物美价廉的版本。
分布式系统带来什么新问题?
分布式系统可以解决单体系统的不足,但有利就会有弊,分布式系统也带来了内部工作节点的协调问题,主要体现在分布式系统内部组件、实例之间,通过异步网络进行通信和协调的问题上。
分布式计算带来的协调问题
主要包括以下几方面:
- 怎么找到服务? 在分布式系统内部,会有不同的服务,服务A怎么找到服务B,是需要解决的问题,我们一版使用服务注册与发现的机制来解决。
- 怎么找到服务实例?在找到服务后,当前的请求需要转发到服务的哪一个实例呢?一般来说,如果同一个服务的实例是完全对等的(无状态的),那么按照负载均衡的策略来处理就足够了,如果同一个服务的实例是不对等的(有状态的),那么就需要通过路由服务来确定将当前请求转发到哪一个服务实例上。
- 怎么管理配置? 在分布式系统内部,会有不同的服务,每个服务会有多个实例,并且还可能会自动扩缩容,在这种情况下,通过配置文件的方式来管理配置是低效、易出错的,我们一般是通过一个中心化的存储来统一管理系统的配置,即配置中心。
- 怎么进行协同? 在分布式系统中,不同的功能模块已经拆分成不同的服务,并且一般运行在不同的机器上,这时就需要引入分布式事务来处理复杂业务。
- 怎么确保请求只执行一次? 在分布式系统中,各个模块之间通过网络进行连接,如果出现网络抖动等情况,会导致模块之间的调用失效,而调用失败就可能触发重试策略,使得程序可能出现没有执行或者多次执行的情况。我们一般采用重试加幂等设计来确保请求只会被执行一次。
- 怎么避免雪崩? 系统雪崩是指由于正反馈循环导致不断扩大规则的故障。一次雪崩通过是由于整个系统中,一个很小的部分出现故障而引发,进而导致系统的其他部分也出现故障。避免雪崩的策略主要有两个思路:1)快速失败和降级机制,2)弹性扩容机制。
- 怎么监控告警和故障恢复? 我们需要完善分布式系统的监控,分布式追踪Trace,模拟故障的混沌工程以及相关的告警等机制,我们还需要做好故障恢复预案,确保在故障发生的时候,能够快速恢复故障。
分布式存储带来的协调问题
主要包括以下几方面:
- 在CAP及其相关理论与权衡,我们需要理解ACID、BASE和CAP这三个理论。
- 我们怎么做数据分片,我们需要解决怎么将数据按照一定的规则,分别存储到不同的机器上面,目前主要采用Hash和Region分片的策略。
- 我们怎么做数据复制,目前的主要方案有中心化方案和去中心化方案。
- 我们怎么做分布式事务。