618将至，电商企业如何构建“新基建”应对流量洪峰？
最后更新：2020-05-21 12:53:56 手机定位技术交流文章
这一幕，许多电商并不陌生:
在大规模的促销活动中，如果订单系统出现故障，从客户投诉到逐层报告到故障排除和处理需要2个小时。然而，在这两个小时内，数百名顾客从竞争对手那里购买产品，造成了严重的损失和被媒体曝光的风险。
我不得不承认，即使是具有最强灾难准备能力的信息技术环境，在某些时候也不可避免地会遇到问题。当这些问题出现时，解决问题的速度是决定企业整体实力的关键。
下一次“618”推广即将到来，对于电子商务平台来说，这是激动人心但又令人恐惧的一天。电子商务业务的特点是显而易见的:短期指数业务高峰需要应对来自前端显示、业务处理、库存变化等方面的全天大量用户访问的影响。支持电子商务业务的关键在于后台系统是否具有稳定性、可扩展性和安全性。
同时，随着5G、VR、AR、AI等新技术的广泛应用，更高质量的内容、更强的社会属性和受众使用场景都有了突破性的扩展，这也将促进用户数量和持续时间的进一步增加，进一步提高对基本技术能力的要求。
电子商务走向云端，而且必须这样做
在大多数平台启动之初，重点是业务的快速启动。他们会选择简单而粗糙的低成本管理方法。一个网站和一个服务器就足够了。然而，随着业务量的大幅增加，企业开始堆积硬件，进行结构性拆分。然而，资源层容量和性能的瓶颈最终会到来。这应该如何调整？
平台调整组织和技术框架的原则是:
应用层采用服务框架，系统层采用异步消息数据层，可以在应用层无限扩展。一种简单的电子商务系统包括用户模块、库存模块、订单模块和支付模块。创业之初，单一应用程序复杂度高、交付效率低、可扩展性和可靠性差，技术栈的限制也阻碍了技术创新。微服务架构可以分为不同的业务部门。每个业务部门都可以独立开发、部署和启动，对应于一个独立的数据库，由一个独立的团队维护并履行各自的职责。
在系统级，异步消息传递系统可以使主服务异步，增加系统的容错能力，避免因服务调用接口不成功而导致的事务失败。当用户下订单时，存储和分发不需要高实时性能。订单消息可以发送到异步消息队列系统。如果交付不成功，他们可以等待下一次交付。
在数据层，为了应对即时的大规模访问，系统需要很强的可扩展性。随着数据量的增加，数据库需要灵活扩展，以灵活分配资源并满足业务需求。
基于电子商务行业的业务特点和技术需求，电子商务云首先需要解决问题，然后才能开源节流。理想的云计算是按需可用的信息技术基础设施。云计算服务的性能决定了电子商务企业能够提高的效率和降低的成本。那么，企业应该如何选择呢？
看看云供应商的底层能力:他们在存储和服务器领域是否有优势，他们是否有独立的研发能力，整体机制、运营模式、服务质量是否高质量，以及他们的稳定性如何。第二，性价比:电子商务业务场景所要满足的弹性伸缩、存储和分离计算等要求能否以较低的价格实现；第三，看看服务的连续性:包括网络性能、稳定性、安全性等方面。“柔性扩展+存算分离”解决电子商务技术资源瓶颈
从资源到应用，如何进行端到端弹性扩展？
尽管云在成本、扩展、灵活性和速度方面确实有很大优势。然而，云产品和云架构的灵活应用有一定的技术门槛。此时，如果存储和计算资源能够根据实际业务需求灵活扩展，那么资源的利用率就会大大提高，这就是我们所说的集装箱化转型。
从技术角度来看，集装箱化改造是应用整体微观服务架构的改造，然后是集装箱化，这可以带来以下好处。
单独扩展:在被分割成微服务后，每个微服务的实例数量可以单独增加或减少。提高开发速度:微服务之间的解耦，一个微服务的代码开发不影响其他微服务。通过隔离实现安全:在整个应用程序中，如果存在安全漏洞，将获得所有功能的权限。在微服务架构中，如果服务受到攻击，只能获得该服务的访问权限，其他服务不能被入侵。隔离崩溃:如果其中一个微服务崩溃，其他微服务可以继续正常运行。应用程序容器化转换的整个过程包括六个步骤:应用程序分析、应用程序运行环境准备、编写启动运行脚本、编写文档文件、制作和上传镜像以及创建容器工作负载。具体流程如下:
在应用程序分析阶段，企业需要了解自己应用程序的操作环境和部署模式。操作环境包括操作系统、操作环境和依赖包。部署模式包括外围设备配置和自我配置。
应用分析后，需要准备这些环境:
安装摘要器:当应用程序被容器化时，应用程序需要被构建为一个摘要器映像。你需要准备一台机器并安装码头工人。获取基本映像的版本名:根据应用程序的操作系统确定基本映像。本例中的应用程序在centos:7.1操作系统中运行，基本映像可以在dockerhub中获得。获取运行环境:获取正在运行的应用程序和连接的MongoDB数据库的运行环境。当应用容器化时，通常需要准备要启动和运行的脚本。脚本的编写方法与普通shell脚本相同。该脚本的主要目的是启动应用程序所依赖的软件，并将要修改的配置设置为环境变量。启动脚本与应用程序的实际需求直接相关，每个应用程序编写的启动脚本都是不同的。请根据实际业务需求编写脚本。
镜像是容器的基础。自定义镜像时，通常使用Dockerfile完成。Dockerfile是一个文本文件，它包含一个接一个的指令。每条指令构建一层镜像。因此，每条指令的内容都是描述如何构建该层。镜像制作完成后，可以通过镜像操作进行每个应用的部署和升级，减少了手动配置，提高了效率。
最后，创建一个容器工作负载，并在工作负载列表中查看正在运行的工作负载。
上述集装箱化转型流程基于华为的云集装箱引擎CCE，这是一项基于开源Docker和Kubernetes的企业级集装箱服务。它提供企业级容器应用程序管理服务，支持Kubernetes社区本地应用程序和工具，并可以简化云上自动化容器操作环境的构建。使用CCE后，企业可以实现云和混合云管理，可以灵活使用和管理本地和云资源。
通过存储和计算的分离，优化了每个比特的成本。
随着一次又一次的推广活动，电子商务企业积累了越来越多的数据，需要刺激更多的数据价值实现。此外，实时推荐等智能操作的兴起和对购物体验不断优化的探索，也促使企业的数据处理架构不仅要解决分析性能问题，还要满足海量数据高效存储的转型。
企业通常采用分阶段购买服务器的模式，服务器的数量不断积累，但也在不断淘汰。在这一过程中，会出现一些问题，如计算性能跟不上数据增长速度，批量购买的服务器型号和容量不同造成的维护困难，面对流量的高峰和低谷无法实现灵活性等，这些都严重影响了业务的增长。
在推广期间，传统大数据存储和计算集成方案的局限性如下:
当对计算存储资源的需求不平衡时，就会浪费大量资源。本地HDFS通常采用三拷贝冗余机制，磁盘利用率仅为33%。计算和存储耦合的封闭架构很难向数据湖和大数据云的方向发展。如果存储和计算分开，上述问题就可以解决，在固定计算条件下，存储也可以增长。此外，存储和计算的分离还可以实现不同服务之间的授权，还可以避免因重复使用而消耗的成本。
存储与计算分离是近年来值得关注的新技术。它不仅可以节省成本，还可以根据业务需求灵活扩展资源。为此，华为云引入了基于云服务的存储和计算分离架构，据说大大提高了集群资源的利用率，综合分析成本降低了50%以上。
存储和计算分离+鲲鹏=结构化以提高成本效益
大数据计算是分布式计算。华为的经验是先降低单位计算成本，然后与目前的鲲鹏或ARM处理器相结合。ARM具有多核的优势，在手机中可能是8核，在服务器芯片中可能是128核。在大数据操作过程中，处理器内核越多，大数据操作效率越高。
此外，大的操作可以分成许多小的操作，当有足够的内核时，这可以大大提高大数据的计算能力。另外，ARM是国产的，在成本和功耗方面比X86更有优势。
那么，在整体性能提升方面，华为云的“存储与计算分离+彭坤”是如何实现的呢？
首先，减少数据准备时间。在华为的智能数据湖方案中，采用读取模式，允许数据实时进入湖中，并基于原始数据直接进行分析。同时，采用增量分析和小批量连续分析。更重要的是，通过存储和计算解耦以及按需计算弹性扩展，可以有效地支持业务高峰和低谷，加快计算速度。
华为云“存储与计算分离+鲲鹏”大数据云服务采用计算与存储分离架构，存储基于华为云对象存储，实现119的高可靠性，不受容量限制，可支持企业数据量的持续增长。同时，计算资源可以支持0~N的弹性伸缩。
计算与存储分离后，华为开发了Carbondata，进一步优化了数据组织，实现了基于数据湖的事务管理(业内首创)，支持流数据自动重复数据删除，避免遗漏，支持数据的添加、删除和修改，实现了最高隔离级别的ACID。结合智能多维索引和基于业务感知的软件缓存技术，数据访问进一步加快。
其次，通过软硬件的结合提高了性能。性能改进的另一个方向是软件和硬件的结合以及垂直优化。华为鲲鹏处理器具有多核和高并发能力。结合自主开发的EulerOS，可以提供多种类型的优化，如JDK、多实例软件绑定、RoCE网络加速、加解密、压缩等热点功能硬件加速，充分释放硬件计算能力。因此，在同等性能的情况下，成本降低了30%，从而为大数据用户提供了一个更具成本效益的智能数据湖。
不仅如此，华为云正在走一条开放的生态路线。华为的云智能数据湖与开源本地接口完全兼容，可以兼容所有主流大数据生态，因此企业在顺利迁移到云的过程中不需要进行任何转换。
根据华为云，基于鲲鹏的计算能力和架构，它为企业提供了一个更经济高效的解决方案，适合当前的大数据应用。同时，基于鲲鹏高并发性能的计算能力，华为云也形成了自己独特的竞争优势。
据了解，目前华为云已经在游戏电子商务、直播、游戏等行业实施了这样的计划，能够满足具有互联网基因的企业的大数据应用场景。事实上，我认为你已经在云上提供了一个更好的新“武器”，等待你去尝试。
3创新，从这里开始
中国拥有世界上最大的电子商务市场。在新的基础设施下，电子商务平台、移动支付、实时交付和快速物流等新形式正在增长。电子商务企业的发展思路也可以推回到互联网行业的每一个企业。
华为副总裁兼华为云业务总裁郑宜来不久前表示:
在“新基础设施”时代，计算能力已经成为一种新的生产力，数据已经成为一种新的生产要素，云、人工智能和5G是新的生产工具，而华为凭借其丰富的行业实践经验和高级数字实践，可以为其合作伙伴提供更好的服务。
近年来，华为不断加大在云、5G、计算等相关领域的投资。2019年，华为在泛计算行业进行了大量投资和布局。华为首次发布了“鲲鹏+盛器”的计算战略，“做点什么，不做点什么”的商业战略，以及开放的计算产业生态。
与此同时，华为还整合了存储、计算和云服务相关组织，并建立了云平台。云计算业务部人工智能业务已经成为继运营商业务、企业业务和消费者业务之后的第四大业务。从芯片到数据中心，从硬件到软件，从IT基础设施到云服务，从边缘计算到云计算，通过资源和组织的整合，所有资源都汇集在一起，使华为云成为行业中第一个拥有完全堆叠能力的云，为新基础设施时代的底层创新提供组织和人才保障。
本文由 在线网速测试 整理编辑，转载请注明出处。
