星环科技构建数据、应用、智能融合的数字化PaaS数据云平台

      5月21-23日，由星环科技主办的第三届前沿科技论坛在上海举行，本次论坛以“科技，让城市更美好”为主题。会上，星环科技研发总监刘汪根，发布了全新的数据云平台建设体系。

　　完善的Paas数据云平台产品体系

　　星环科技数据云平台Transwarp Data Cloud 2.0版本的发布，完美的诠释了星环科技的技术思路。TDC是为了满足企业对于数据云需求而打造的云原生平台，它采用容器技术，以数据为中心，通过提供完整的数据、应用和智能的开发工具，实现数据和应用互通互联。TDC 2.0与上一版本相比能更全面的满足不用业务，不同角色的工作需求，为企业数字化的转变提供更完善的支撑。

　　其次，星环PaaS平台加入了两个新的产品，分布式交易数据库KunDB以及企业级数据资产目录Transwarp Data Catalog，分别解决了企业级大规模交易库处理，以及数据资产管理混乱的问题。

　　Transwarp KunDB是专门为新一代云业务提供服务的云原生数据库，可以作为企业微服务化之后的后台数据库对业务提供支撑。同时KunDB采用了多租户设计，可支撑业务建设中心化的趋势。作为国产自主可控的数据库，可以适配各种国产化硬件创造完全自主可控的环境。

　　Transwarp Data Catalog 为企业数据治理提供可靠、 便捷、 智能的全流程工具支撑，从而更加有效的发掘和利用信息资产的价值。同时它也提供完整的企业级数据交换功能，并已经在客户应用中得到了验证。

　　另外为了推动星环生态的建设，星环数据云平台团队开源了内部的应用生命周期管理服务Transwarp WALM，以怀抱社区，做出贡献。企业要能够构建自己的应用市场，在云原生技术上支持并实现，需要有一套可行的应用管理的框架。通过WALM，任何企业都可以通过标准化接口将应用编排在云原生框架上。

　　会上还发布了大数据安全白皮书，再次强调在星环科技产品设计中的大数据安全考量。根据星环科技多年的大数据安全实践经验，总结了一些企业在做企业级数据平台建设时应考虑到的安全规范，并为安全体系的设计、管理和规范提供一个衡量标准。

　　刘汪根在提出数据、应用、智能是数据时代企业创新的核心元素，构建三者融合的数字化PaaS数据云平台能够极大加速企业数字化创新。并通过技术发展路径，应用需求等角度详解了数字化PaaS数据云平台建设的重要性。

　　数据管理模式的变迁

　　数据管理模式在近20年发生了明显的变化，最初企业建设数据分析系统采用简单的架构，数据分析系统直接利用交易数据库的计算和存储能力进行分析，但是交易库不适合做分析业务，计算能力有限，这一时期称为有限分析的时代。

　　Bill Inmon在1992年提出了数据仓库理论，商业智能快速发展，进入企业数据仓库时代。数据从交易库同步至数据仓库，数据仓库提供大量存量数据的分析，这一时期推动了ETL工具(数据同步)和MPP数据库的发展。

　　2010年后，业务需求推动了大数据技术的发展，大量新型数据的发展，推动了基于大数据的数据仓库、数据湖、数据集市的建设，同时AI的兴起带动了数据科学平台的发展。这一时期，因系统独立建设带来数据孤岛的问题，限制了企业数字化程度的推进，因此企业着手解决数据孤岛的问题，开始建设除了分析业务系统外的在线数据业务系统。但是数据、应用和AI平台之间相互独立，只能通过接口层做有限的交互。在这个阶段，很多企业都是在尝试新应用的拓展，在此过程中摸索新的管理方式。

　　随着前线人员对数据的需求越来越多，企业需要开发出大量新的数据应用来持续的迭代业务，改进用户体验，包括实时类、AI类、在线数据类业务的大量创新和尝试，要求数据、AI和应用能够非常有机的融合，因此最终在一个云来支持弹性、灵活的数据和应用云。

　　应用开发模式的变迁

　　传统的应用开发采用单体建设的方式，单体建设对维护难度和迭代速度等需求都不是很友好，会出现代码维护难度高，重复开发多，部署不灵活，性能不足，扩展性不够，开发效率低等问题。

　　1.代码维护难：代码功能耦合高，后期维护难，测试复杂，无法保证代码质量。

　　2.重复开发多：相似功能在多个应用中都存在(比如短信模板)，需要在每个应用中重新开发一遍，浪费开发和维护资源。

　　3.部署不灵活：构建时间长，任何小修改必须重新构建整个项目，而且无法只升级某个子模块，必须全部升级。

　　4.性能不足：单个模块的问题，可能导致整个应用的性能和扩展性不足，难以单独调试性能。

　　5.扩展性不够：无法分离业务和数据，面对高并发场景无法扩展性能，缺少资源动态伸缩能力。

　　6.开发效率低：模块复杂，所有开发在一个项目改代码，不通做到不同模块并行开发。

　　微服务开发模式提出后，受到广泛推广，特别在互联网行业得到很广泛的应用，在互联网企业的覆盖率达到将近90%。应用微服务化就是将单体应用切分成各个微服务，微服务之间通过接口通信，以微服务集群的方式对外提供服务。微服务开发模式交付速快质量高，避免重复开发，运维灵活，可构建企业数据应用中心。

　　1.交付迅速质量高：每个微服务模块小，开发维护便捷;搭配持续集成持续发布工具，代码质量高，可交付迭代实践缩短。

　　2.避免重复开发：将共用服务提取出来，节省开发资源，避免重复造轮子;可针对性的对部分支撑服务给予更多的资源。

　　3.运维灵活：灰度发布策略使得上线新服务风险可控;实现自动伸缩、流控机制，防止高并发场景下服务崩溃;完善的日志管理，监控告警即成。

　　4.构建企业数据应用中心：当微服务量级提高，可沉淀为应用中心，为全公司乃至全行业赋能;业务平台可直接对接数据中心，实现业务和数据的无缝链接。

　　数字化面临的挑战

　　大数据、云计算、微服务开发技术，都是技术层面上的发展，企业如何能利用这些应用制定企业数据化战略，从而实现数据化管理的转变，是管理者们需要考虑的问题。目前，阻碍企业数字化推进的问题主要有以下几点：

　　1.数字化进程跟不上市场需求：业务的创新就是机遇，如果花很长时间例如一年或者半年，很可能就丢失掉机会。

　　2.数字化缺少统一方案：各个应用系统之间规划之初就没有考虑未来互通的可能性，导致烟囱式开发，后期需要进行系统集成及数据共享很难甚至无法实现。

　　3.缺乏自主可控的研发平台：大多数企业缺乏统一化的研发平台，对于项目研发的各个环节及后续升级的掌控能力很弱，导致资源的浪费及不必要的研发支出 。

　　4.缺乏对已有数据资产的管理意识：存量及增量数据依然处于传统的管理思维模式：零散分布于各个不兼容互通的业务系统之中。

　　5.缺乏长期数字化战略：数字化转型方兴未艾，并没有形成技术及业务上标准，新的技术概念层出不穷，比较难选出既解决短期目标，又能支持数字化战略的可持续化发展技术。

　　数据云

　　对于以上数字化挑战，云平台可以以其资源弹性伸缩、快速部署迭代、支撑微服务化开发、资源管理编排等能力，打通数据与业务很好的解决以上问题。

　　云平台建设的两个思路。一种是以OpenStack为代表的以资源为中心的建设方式，采用虚拟化技术将底层资源包装成个各种服务，用户可以租用这些资源，在上面构建各种应用。但是这种方式还是以资源管理为中心，而不是数据为中心，企业还是采用烟囱式技术栈，比较难在这种平台上打通应用和数据。另一种是以星环科技TDC为代表的以数据为中心的建设方式，可以称之为数据云，先在上层支撑应用建设，这样可以实现以数据驱动应用的发展。数据云的特征是以数据为中心，提供数据资产服务、应用开发和数据分析的完整工具链，加速数据、应用和智能三大核心原料的融合。数据云通过容器化技术来运行各种工作负载，提供多租户、自动扩展资源、服务自监控等能力，实现开发与运维的平衡。

　　数据云在云平台层提供了各种数据资源服务，包括大数据、AI、流计算、数据资产等，为整个技术架构提供坚实的底座。企业以云平台为基础，构建数据业务中心，包含了沉淀下来的很多可以被再次利用的数据服务，比如审批管理流程、用户中心、订单中心，这些所有的这些业务行为，都可以被抽象为标准化的服务，公司内部统一去使用。当去开发一个新的应用的时候，开发者只关注自身的业务逻辑，以及哪些模块可以从数字业务中心找到并直接使用。数据云平台的最上面一层DMZ区，DMZ是在外部网络和内部网络之间设置隔离区，作为非安全区与 安全区之间的缓冲，重要的计算以及数据存储服务放在内网，对外服务放在 DMZ 区，可以直接在各种客户端上提供应用服务。

　　用TDC建设数字化基础设施

　　Transwarp Data Cloud( 以下简称TDC )是星环科技实现的数据云平台，结合了星环科技在大数据、云平台和人工智能领域的技术探索与取得的进展，为企业提供数字化建设的基础设施平台。TDC的底层是星环科技自研的云原生操作系统TCOS，该项目在2015年成立，目标就是要把未来的所有的基础设施都建设在新一代云平台上。中间是三个中心PaaS服务，包括分析PaaS、数据PaaS、应用PaaS：分析PaaS满足数据分析服务内外开放的需求，允许大量数据工程师、 数据科学家在一个平台上并发工作，促进相互协作;数据PaaS提供了数据处理和开发所需的数据库服务，解决了数据分散、 隔离问题，避免交换障碍，使各类数据资产共享集中存储;应用PaaS提供了应用开发的各种框架以及中间件，解决应用开发、部署、运维、治理的效率问题，可应对企业面临的各类应用开发和管理障碍。大数据推动数据变现的同时，其安全问题成为威胁和挑战，TDC提供专门的安全管理模块，保证资源层、数据层、应用层收到全面安全体系的管理管控，以保证数据安全和全平台的可靠性。另外，还提供云管平台，以满足多云管理、运维、计费的有效管理需求。

　　以上的模块共同构成了TDC以下几个能力：

　　1.提供基于云原生技术构建的企业应用市场，每个企业可以根据自己的需求来构建自应用市场，也就是上文提到的数字业务中心。

　　2.提供了统一的数据开发技术，基于SQL的数据开发技术，以及基于python的数据科学分析。

　　3.提供完成混合云的管理技术。无论数据、服务是构建在边缘端，还是在公有云或其他私有云，只要通过容器化的技术，TDC都可以实现统一管理和调度，无需关注部署落地细节。

　　4.提供了融合的安全管理技术，无论是数据还是资源，只要接入星环的管理的API和管理体系，我们都能够提供整套的数据链路安全管控。