2019云计算开源产业大会丨刘宇：CMP技术架构

所以统一入库之后，再做一些差异化，入库规则是固定的，所以我在写库的时候速度效率会变得非常快，中间加上一个缓存，我们的性能就是杠杠的。另外我们会把用户的主表，包括一些详情表拆分出来，就是把账户以及对应的资源的信息拆开进行存储，因为要考虑的东西就是AWS还会有主账号，阿里、华为只有一个主账号的概念，在处理云商不同的账号以及资源之间的关系的时候就变得简单了，我们拿账号跟公司本ID做一个绑定，这个ID和主账号可以做绑定，你只需要和底下的详情表做一个Link关系就可以了，不管是否有变更都可以清楚地了解这里面的资源管理，这就回到一开始信通院的要求，就是资源管理的能力，在这里面就算一个点。所以我们在数据变更的时候会采用Redis进行缓存，这也是我们需要考虑的点。

我们如何统一优化云商的调用关系，我们是用Spring框架，各个云商之间如果涉及到资源之间的依赖，我们就可以通过MQ的方式进行发消息，解决这里面异步的问题。另外一个情况下，我们会统一一个日志输出，云商资源越接越多，云商资源的变化也很多，不同的区，不同的进项都会有变化，我们也需要定期发现这里面的问题，主动发现问题，同时告诉客户这里面已经没有办法使用了，这里面就需要有一个完整的日志的监控信息，通过这种方式，我们所有的东西都是通过拦截的方式，将自动参数写入数据库，这里面有一个比较难的地方，就是日志的格式很难做规范和统一输出，这是比较难的，我们解决的方案其实也非常简单，拦截的时候，统一输出，这样可以做到整个数据库在排错和检查的时候会非常顺利和方便，这是整个性能优化的大点。可能前期的时候不会在乎这些细节，当接入的资源越来越多的时候，这里就是你的瓶颈。

这是现在整个OpsNow产品的基本展示，大家也可以看得到，通过平台可以快速地看得到所有的资源的情况，每一个云商资源的消耗情况，包括消耗在哪一些资源上等等这些。通过平台当然也可以快速地创建一些资源。所以我们主要是利用资源优化和成本优化快速地体现出我们对整个资源提升的情况，比方说我们可以提升40不能的资源利用率，以及30%的成本节省。

运维工程师最主要的职责之一是替公司省钱，但是平台给公司省钱和利用率的提升里面有一个最关键的点就是跟业务架构关联在一起，为什么说资源纳管以后一定要有业务的服务数，业务服务数配合监控数才有下一步的东西可以说，就是多云账单处理，多云账单处理在很多家不说是世界性难题，我们一开始做的时候也面临很多的问题，比如账单的接口也不一样，第一个是这个，第二个权限不一样，云商的账号是分很多的权限的，你能拿到什么权限以及每一个账单的权限是直接给你账单接口的权限还是它的账单是入在S3里面，你去S3里面读取账单，接口的数据处理完全不一样，我们在整个底层这一块，在整个数据采集和处理模块就分了三个模块，主要是分为采集、提炼和聚合。采集分各个云审不同的逻辑采集，包括次日账单、存储桶、API接口，处理完成以后再根据公司的组织架构、公司的业务架构对数据进行一次提炼，提炼完了之后再把它合在一起，再根据资源预算、优化、算法、RI的整个东西都融合在一起才出现现在的产品形态，包括就能体现按小时的挑战。

底层实现的细节，第一个会有定时的任务，scheduler-Worker做账单的采集。第二个是不同的云商采集的模式，刚才我们提到有四五种采集模式，会有差异。AWS的DBR和CUR也是有差异的，根据这个差异我们也会做不同的数据采集和处理。存储的话，我们会按照小时、天、分步、分表，计算完成以后分步存储，这个逻辑很像很早的Hadoop的处理方法，包括Hadoop的2.0时代会进行分层计算，这里面其实也非常像。在精度保证的情况下会做自动的校验，包括准确性的校验，最终还有人工核查的过程，这是为了保证账单采集过来之后是准的，再进行计算。

产品形态上会看到整个账单的趋势，会有整个同比、环比，包括简单的预测，同时可以根据，我刚才所提到的产品的公司的部门、组织架构，再一个就是我们的业务，每一个业务大概花了多少钱，在这里面我们会区分各个不同的模式或者说不同的方式给客户一个展示，最终回答一个问题就是我的钱到底花在哪里？哪些地方可以省钱，哪些地方不能省钱，帮决策者做一个更好的决策。

最后讲一下，因为时间特别紧张，我没有重点讲监控，最后讲的是我们在后续能够做的大的方向，我们在整个数据赋能以及在整个数据驱动上面我们会推动整个OpsNow不断地往前发展，包括我们也会不断地优化我们在成本优化、资源管理以及其他各个方面的能力。

我的分享就到这里，谢谢大家。    

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!