互联网巨头扎堆布局“湖仓一体”新一代数据管理架构如何破解金融行业数据孤岛

当亚马逊，阿里云，字节跳动等互联网巨头正齐聚一堂，布局大数据领域的湖库一体化解决方案时，国家商报记者注意到，8月11日，网易旗下网易数帆也宣布将与华泰证券联合推出企业级流湖库服务北极开源。

为什么「湖库合一」技术受到各大互联网公司和大数据公司的青睐它能解决哪些痛点背后反映了怎样的技术趋势

流量碎片化，金融行业数字化智能建设面临挑战。

目前，企业对数据库技术的需求已经不再局限于结构化的OLTP数据事务，而是需要进一步扩展到多样化数据实时处理的场景传统的数据湖缺乏事务一致性和实时性，数据仓库无法应对高并发和多数据类型的处理

湖库集成被业界认为是新一代数据管理架构赛迪顾问7月15日发布的《湖库一体化技术研究报告》显示，湖库一体化技术是一种全新的开放架构，连接数据仓库和数据湖，将数据仓库的高性能和管理能力与数据湖的灵活性融为一体底层支持多种数据类型共存，可以实现数据的相互共享上层可以通过统一封装的接口访问，同时可以支持实时查询和分析，为企业管理数据带来更多便利湖库集成可以在数据入湖后对数据进行原位处理和分析，可以有效避免数据冗余和流动带来的计算能力，网络和成本它可以作为一个超大的ODS来存储附带的源数据，实现所有数据的实时处理

以金融证券行业为例最近几年来，券商正在加大对自研技术的投入可是，流批分离成为部分券商打造智能化的挑战之一‘实时’是数智中台的核心诉求，流量和批量的拆分是很大的挑战华泰证券大数据流计算技术专家陈峰通过腾讯大会介绍，实时仓库在华泰证券日内数据的离线处理，大量历史数据的实时关联，财务数据的频繁修正，埋点的统一处理环节等方面具有巨大的价值

可是，目前数据仓库的建设面临流—批环节分开建设，实时业务逻辑复杂，数据存储不统一，数据更新复杂，演进困难等五大问题。

网易大数据产品线总经理于立华也通过腾讯大会表示，金融企业希望整合实时数据湖和数据仓库，构建实时数据中间平台，支撑其数字化业务创新，本质上是湖库融合的思路但于立华也意识到，目前主流的数据湖技术只是解决了更新，大表访问性能，流消费等问题，而且还留下了小文件，导致性能损失，兼容性，更新损失等性能和可用性相关问题，而开源社区至今还没有拿出相应的解决方案

使数据中间站系统无缝延伸到实时场景。

于立华在接受《国家商报》采访时表示，亚马逊，阿里云等云厂商推出的湖库一体化技术，更多的是面向终端用户的云服务北极，湖库一体化，其实不是云服务，而是一个独立的开源软件从理论上讲，开源软件可以集成到每个客户自己的平台上，甚至是云厂商网易数字帆船的目的是帮助大家更快的登陆湖仓

于立华表示，秉承开放架构的原则，Arctic基于开源数据湖，不绑定计算引擎，注重与传统数据仓库Hive的兼容，可以100%兼容Iceberg/Hive的表格式和语法这是继SQL统一入口后，网易数帆大数据系统在存储层面的再次统一，使得数据中间平台系统无缝延伸至实时场景，金融数据的价值将不再受孤岛困扰

我们也看到客户有量化交易的需求，有风险控制的需求这些对实时性能的要求特别高关于网易数帆在金融大数据方面的发展布局，于立华表示，对于数帆来说，金融行业是重点行业，目标是成为金融行业领先的大数据技术软件提供商

网易的重点是大数据的基础软件客户会自己负责他的大数据业务，所以我们主要在基础软件方面给客户赋能为此，首先我们一直在做信用创造和安全方面的工作，因为金融特别注重安全，二是打造面向金融行业的数据R&D产品，即DataOps的产品余丽华说