如何设计短域名系统

系统设计的整体方法论学习与尝试

系统设计的目的 -> 系统设计的目标 -> 围绕目标的核心设计 -> 围绕核心设计形成的设计原则 -> 各子系统

对上述系统目标做技术性的一个拆分

根据单一职责设计原则，划分子系统：

围绕上述的核心设计，可以预知的挑战主要有如下几点：

接下来对于3个预知的挑战点做具体的分析探讨

在不进行任何转化算法以及数据压缩之前，数据的存储量级是非常大的。
这会造成两个影响：

所以，需要从以下几个点考虑上述两个问题：

如何构建快速查询的索引结构，尽可能在较少的时间复杂度下获取结果
- 现有的不管是关系型数据库MySQL，还是NoSQL类型的MongoDB、HBase等，对于键的查询还是比较快的，时间复杂度在O(logn)级别。
  所以在索引查询上，可以直接使用现有的存储数据库。
如何处理数据存储的压缩，减少存储的压力
- 在数据存储层面可以考虑使用变长字段，而不是固长字段减少数据占用
如何在磁盘容量不足的情况下，达到平滑扩容的效果，而不会影响现有的系统
- 使用现成的可扩容数据存储来实现效果
- 自己实现分布式存储，使用一致性hash算法来分发；但是如果新增了一个物理存储节点，需要进行数据重新分配操作

每秒总请求1600左右，其中写请求525，读请求1049；可以确认是读多写少的业务场景，可以从以下四个方面优化：

减少上游请求数
- 使用布隆过滤器，不存在的必定不存在
  - 按照5年hash存储记录数来计算，需要存储480亿的key
  - 布隆过滤器1%误差率，一个key大概需要9.6bits空间，480亿的key大概需要53GB的内存量
路由分发，且对应读服务做缓存保证
- 在网关层将key做一层hash，分散到一致性hash环上
- 每个短域名代理转发服务器，都有一个LRU的本地缓存
抽离热点数据，对不同key的访问做分值统计，高分值数据到达一个阈值存入集中式缓存
- 短域名代理转发服务器启动的时候预加载热点数据至本地缓存
- 访问完成的时候，如果某个key达到一个阈值后，则异步将该值存入本地缓存，并广播完成后，存入至集中式缓存内；存储失败则最多3次重试
存储层面读写分离

可用性主要体现在以下几个方面：

服务的可用性
- 注册中心本身使用多节点主备策略，保证自身高可用
- 注册中心维护服务的负载均衡，服务调用通过注册中心调用目标服务器，可以选择负载均衡策略为WeightedResponseTimeRule
数据存储可用性
- 主从备份机制
数据本身可用性
- 异机replica机制，保证数据的可恢复性