采用开源大数据平台CDP和CDH的用户,现在必须面对原有开源软件许可证变更和产品服务限制等方面的挑战。
基于Hadoop的开源软件公司Cloudera与Hortonworks于2018年10月宣布合并,并在2019年推出了结合了Cloudera原有产品CDH和Hortonworks原有产品HDP的全新的大数据平台产品CDP。
合并后的Cloudera整合了Hortonworks和Cloudera各自在之前使用的授权许可方式,对许可方式进行调整:Cloudera所有产品都将采用OSI批准的许可证,即Apache软件许可证(ASL)或Affero通用公共许可证(AGPL)。用户不得不面临许可变更带来的风险。
另一方面,Cloudera对原有产品的服务支持也做出调整。Cloudera会在2022年前继续支持CDH和HDP两条产品线,给用户一个过渡期。原有的CDH和HDP用户均可通过升级至CDP获得诸多新功能。也就是说,在2022年全部用户都将迁移到CDP上来。但CDP以订阅方式提供服务,用户付费成本大幅增加。
同时开源软件的安全事故迭出,影响巨大。同时,开源软件安全方面功能的缺失或者被限制,也成为用户应用的后顾之虑。
如何面对许可方式的变更,产品服务方式改变所带来的成本增加,以及不断增加的安全威胁,已经成为CDP和CDH的用户不得不面对的问题。
春秋航空公司,是国内第一家由民营资本独立经营的低成本航空公司,也是国内第一家由旅行社起家的低成本航空公司。成立37年来,春秋航空公司快速发展,从正式开航到现在,机队规模已经达到96架、国际国内航线达到210条,是国内低成本航空公司的典范。
春秋航空用星环科技大数据基础平台TDH成功替换开源大数据平台CDH,打破了新技术与业务场景之间的隔阂,用技术为业务赋能,快速挖掘数据价值。借助星环科技TDH极速大数据平台,春秋航空快速提高了数据处理规模和数据处理性能,增强了数据管控力度,为数据挖掘和数据分析提供了全面的数据支持,堪称大数据平台国产化替代的典范。
春秋航空大数据平台建设需求和挑战
春秋航空是一家倡导旅客个性化消费的航空公司,提升利润和降低成本是春秋航空一直希望做的事情。而航空公司是重资产低利润的行业,节约成本在众多提高利润的因素中占很大的比重。航空公司的航油成本占了总成本的30%到40%,所以节省航油成为降低成本的关键。
节省航油理论上讲并不是很难,和开车的逻辑类似,按最短的路线,或控制好油门都可以省油。我们开车时能用GPS选择最短路线,对于飞机飞行来说却没有那么简单。首先,我们要对飞机的飞行日志进行分析。飞机上的QAR(Quick Access Recorder,快速存取记录器)每八分之一秒会将飞机上3000多个设备仪器的参数记录一次,飞机一天在天上要飞十几个小时,一年下来数据量非常大。每架飞机一年会记录一亿多条数据,80多架飞机一年就是80多亿条数据。因此做好节油工作首要任务是解决80多亿的数据处理问题。
早期,春秋航空引入了开源大数据平台CDH,并基于该平台开展了个性化推荐、精准营销方面的工作,但在使用的过程中发现了很多问题。对于复杂的航空业务,原平台需要大量的开发工作来适配业务,对开发人员的要求非常高,很难实现业务的快速落地和价值挖掘。
面对一些跨库关联的复杂分析场景需要数据的导入导出,过程较为繁琐,费时费力。数据分析人员需要对数据进行实时分析,以便对业务进行快速调整,而原平台只支持T+1的计算分析能力,不能满足业务分析的实时性需求。如刚才介绍,航空飞行产生海量的数据,精细化到毫秒级别,而原平台表现出存储和处理分析能力不足。
另外,其混合架构以及开源特性使得解决问题的效率相对会比较低,给系统和业务运维带来很大的压力。
星环科技TDH助力春秋航空快速实现数据价值
当前,企业数智化转型正是信息技术自主创新和国产化替代的主战场,更是需要通过提升自主创新能力、加速数字化智能化转型,全面推动整个产业数字化进程。
基于星环科技大数据基础平台TDH技术的先进性和独特性,春秋航空用TDH替换原先的开源CDH数据平台。借助星环科技TDH高性能批处理及关系型分析引擎Inceptor等工具,春秋航空完成各种数据清洗,业务处理等工作,提高了数据处理规模,数据处理性能更快,增强了数据管控力度,为数据挖掘和数据分析提供了全生命周期的数据支持。
星环科技TDH大数据基础平台采用先进的多模型统一架构,一体化构建服务于整个企业的统一数据资源库,彻底打破不同部门间的数据隔阂,支持数据跨部门灵活调用,有效降低开发运维成本。统一的计算引擎可以跟据不同的存储引擎自动匹配高性能算法,避免数据导入导出。统一的分布式存储管理系统可以轻松实现 GB~PB级多源异构数据的高效存储和统一管理,为不同的存储引擎提供公共的存储服务,有效保障数据一致性和高可用。
基于星环大数据平台的架构设计
系统将每天产生在Oracle的数据进行T+1抽取,业务逻辑打包成各种shell脚本等脚本,通过Transwarp Workflow任务调度软件进行调度,在大数据集群内进行各种处理,完成数据清洗,业务汇总等工作。
关系型分析引擎Inceptor提供PB级海量数据的高性能分析服务,其同时支持完整的SQL标准语法,兼容Oracle、IBM DB2、Teradata方言,兼容Oracle和DB2的存储过程,可以平滑迁移应用。同时其支持分布式事务处理,保障数据强一致性。跟开源方案相比,Inceptor是全球首个通过分析决策系统国际基准测试TPC-DS及官方审计的产品,TPC-DS查询性能是开源Hive的7~25倍。
实时流计算引擎Transwarp Slipstream落地即分析,提供百万级高吞吐、毫秒级低延时业务处理支撑能力,满足业务分析实时性需求,弥补之前CDH无实时分析能力的空缺。对于之前平台无二级索引和全文搜索能力,分布式搜索引擎Transwarp Scope提供PB级海量数据的交互式多维检索分析服务,能够实现高可靠、高扩展性的全文搜索与灵活查询。
春秋航空进入数据精细化运营时代
突破关键核心技术,加快推进国产自主可控替代计划,构建安全可控的信息技术体系,发展信创产业,是国家一项长期战略。经过多年的发展,我国国产化替代不断拓展,信创产业不断发展壮大。
在数字经济时代,IT系统自主创新和国产化替代已经不再仅仅是进口的软硬件产品替换成国产产品,而是要以新的思路、新的应用,将数智化与信创化相结合,形成中国企业真正的国产化应用替代。
星环科技与春秋航空的合作,成功的用国产自主可控的国产大数据平台替代国外的开源大数据平台,应用成效突出:
利用星环科技TDH强大的数据处理能力,春秋航空完成了成本指数监控。例如上线4个月时,成本指数执行率从58%上升到69%。随后春秋航空又建立了直飞优化模型和高度优化模型,实现了飞行路线的优化。通过直飞模型可以提前分析大量的直飞机会,减少飞行距离,降低飞行成本。
同时通过对历史飞行轨迹及优化分析,可以寻找飞机携带油量的平衡点,从而降低航油消耗。基于星环科技TDH极速大数据平台,春秋航空还建立了高度优化模型。大气层越往上越稀薄,飞机飞得越高阻力越小,意味着越节油。通过海量数据监控建立高度模型对飞机飞行高度进行优化,从而达到节省航油的目的。春秋航空节油项目取得了很好的效果,据估算80架飞机每年仅燃油成本就可节省约2400万。
目前,基于星环科技TDH的大数据平台已成为春秋航空所有数据的中心,负责所有条线营销服务、飞行安全、维护维修的数据分析。
星环科技大数据基础平台TDH凭借技术的先进性,在众多行业领域完成国外产品的进口替代,帮助企业加速数字化转型,更全面、更便捷、更智能、更安全地运用数据,大幅降低综合成本。基于星环科技极速大数据平台构建核心商业系统,是企业实现一站式数字化转型、加速业务创新的致胜关键。