本站点使用cookies,继续浏览表示您同意我们使用cookies。Cookies和隐私政策

迈向智能世界白皮书

数据存储

数据新范式
释放AI新动能

AI大模型已超出人类想象的速度,将我们带入智能世界。算力、算法、数据构成了AI的三要素。算力、算法是AI大模型时代的工具,数据的规模和质量才真正决定了AI智能的高度。数据存储将信息变为语料库、知识库,正在和计算一起成为最重要的AI大模型基础设施。

未来企业数据存储的十大展望

  • AI大模型 需要更高效海量数据收集、预处理,更高性能训练数据加载和模型数据保存,以及更精准行业推理知识库。以近存计算、向量存储为代表的AI数据新范式正在蓬勃发展
  • 大数据 经历了历史信息统计、未来趋势预测阶段,正在进入辅助实时精准决策、智能决策阶段。以近存计算为代表的数据新范式,将大幅提升湖仓一体大数据平台分析效率
  • 分布式数据库 以开源为基础的分布式数据库,正在承担越来越关键的企业应用,新的分布式数据库+共享存储的高性能、高可靠架构正在形成
  • 云原生 云计算的建设模式从封闭全栈走向开放解耦,从而实现多云资源共享。容器云平台要求数据存储提升资源发放效率,并承载全新的云原生应用
  • 非结构化数据 到2025年全球数据量将达180ZB,其中80%以上都是非结构化数据,非结构化数据正在成为生产决策数据
  • 存储内生安全 AI大模型应用聚集海量企业私域数据,数据安全风险剧增。构建包括存储内生安全在内的完整数据安全体系,迫在眉睫
  • 全场景闪存普惠 全闪存存储以高性能、高可靠、更优的TCO,不仅实现对高性能机械硬盘的替代,也将实现对大容量机械盘的替代,从而打造全闪存数据中心
  • 以数据为中心的架构 AI大模型推动数据中心的计算、存储架构从以CPU为中心走向以数据为中心,新的系统架构、生态正在重新构建
  • AI赋能存储 AI技术正在越来越多地融入在数据存储产品及其管理,从而大幅改善数据基础设施的SLA水平
  • 存储绿色节能 绿色节能从产业牵引进入实施执行阶段,占数据中心能耗30%的数据存储,能耗指标正在纳入建设标准

关键建议

  • AI大模型
  • 大数据
  • 分布式数据库
  • 云原生
  • 非结构化数据
  • 存储内生安全
  • 全场景闪存普惠
  • 以数据为中心的架构
  • AI赋能存储
  • 存储绿色节能
AI大模型
  • 数据决定AI智能的高度,企业应该建立计算与存储并重的AI大模型基础设施。
  • 企业应该构建具备前瞻性的数据基础设施架构,包括全面闪存化、以数据为中心的架构、数据编织、新数据范式(向量存储、近存计算)以及存储内生安全。
  • 对于企业的细分行业场景应用,采用一站式的训/推超融合一体机建设模式。
大数据
  • 企业关注大数据平台与存储的协同创新,推进数据分析走向实时
  • 成立大数据平台与存储联合设计团队,形成协同工作常态机制
  • 大数据平台基于存算分离架构向湖仓一体演进,探索新数据范式,实现T+0实时决策
分布式数据库
  • 坚定不移的推动分布式数据库存算分离架构
  • 联合数据库团队和存储团队,共同孵化新的数据范式
云原生
  • 企业不确定性的创新业务、OA 办公为代表的外围业务切入公有云,核心竞争力业务保留在自有数据中心
  • 容器平台团队与存储团队协同构建敏捷、高可靠的容器平台,并针对容器应用孵化最佳实践
  • 采用开放解耦的云建设模式
  • 根据企业和业务需求选择适合的商业模式
非结构化数据
  • 数据存储建议企业IT团队加强海量非结构化数据处理能力建设
  • 选择专业的分布式存储来构建海量非结构化数据底座
存储内生安全
  • 企业在关注网络安全防护的同时,应考虑将存储的安全能力加入企业的安全建设当中
  • 存储设备应具备底层的抗攻击能力,存储应加强自身的软件与硬件安全能力
  • 关注存储设备的加密、防勒索等数据安全防护能力的部署
全场景闪存普惠
  • 企业应组织技术团队,对当下与未来IT 系统数据量与业务诉求进行研讨,并制定全闪存存储建设规划
  • 抓住存储生命周期更迭以及新建机会,持续加速全闪存存储应用
以数据为中心的架构
  • 企业积极关注服务器和存储架构演进的趋势和进展,从而适时调整,尝试新型存储
AI赋能存储
  • 清晰地定义业务模型指标与SLA要求,做好新平台和新技术引入后的评价标准体系
  • 积极采用存储厂商提供的AI能力,并且与存储厂商联合,持续改进
  • 更新企业IT团队能力模型,对员工做好充足的预培训
存储绿色节能
  • 从关注单设备功耗走向关注全生命周期碳排放
  • 企业遵从统一的能效测评标准
  • 积极采用创新技术降低能耗

十大展望解读与建议举措

  • AI大模型
  • 大数据
  • 分布式数据库
  • 云原生
  • 非结构化数据
  • 存储内生安全
  • 全场景闪存普惠
  • 以数据为中心的架构
  • AI赋能存储
  • 存储绿色节能
展望解读

AI的发展远超过预期,AI大模型正在从基础大模型走向企业自建的行业大模型,而数据则决定了AI智能的高度。作为数据载体,数据存储是AI大模型数据收集、预处理、训练、推理的重要一环,并成为了AI大模型的关键基础设施。

建议举措

1数据决定AI智能的高度,企业应该建立计算与存储并重的AI大模型基础设施

2AI大模型采用和HPC、大数据同源的数据湖建设模式,并对当前的数据湖存储进行性能升级

3企业应该构建具备前瞻性的数据基础设施架构,包括全面闪存化、以数据为中心的架构、数据编织、新数据范式(向量存储、近存计算)以及存储内生安全

4对于企业的细分行业场景应用,采用一站式的训/推超融合一体机建设模式

5打造具备AI大模型、尤其是AI大模型存储的专业技术团队,提升企业AI大模型的专业能力

展望解读

大数据应用迈向辅助实时精准决策、智能决策,大数据平台正在走向湖仓一体,关键要建设面向大数据的数据湖存储。

多样负载接入是新型数据湖存储的基本特征,数据湖存储支持近数据计算,新数据范式提升大数据对应用的支撑效率。

建议举措

1企业关注大数据平台与存储的协同创新,推进数据分析走向实时

2成立大数据平台与存储联合设计团队,形成协同工作常态机制

3大数据平台基于存算分离架构向湖仓一体演进,探索新数据范式,实现T+0实时决策

展望解读

数字化、移动化技术发展使企业与客户交互渠道发生巨大变化,高昂的运维成本也促使企业选择改造传统核心系统,基于开源生态的分布式数据库正在替代传统核心系统。

稳定性是核心数据库的第一关注点,此外性能、功能和能效也是重要的考核标准。为确保业务平稳运行,分布式数据库存算分离架构成为事实标准。分布式数据库促使新的数据范式正在形成。

建议举措

1坚定不移的推动分布式数据库存算分离架构

2联合数据库团队和存储团队,共同孵化新的数据范式

展望解读

多云架构成为企业IT新常态,以容器为基础的云原生应用走向关键业务,存储对容器的支持能力将成为刚需。

随着企业多云建设的不断深入,及对最优服务和降本增效诉求的提升,云原生基础设施正在走向开放解耦。

云的商业模式正在从CAPEX走向OPEX,这也正在影响企业建设数据存储的商业模式。从业界实践来看,OPEX和CAPEX商业模式多元并存的方式可能是最优解。

建议举措

1企业不确定性的创新业务、OA 办公为代表的外围业务切入公有云,核心竞争力业务保留在自有数据中心

2容器平台团队与存储团队协同构建敏捷、高可靠的容器平台,并针对容器应用孵化最佳实践

3采用开放解耦的云建设模式

4根据企业和业务需求选择适合的商业模式

展望解读

新应用催生了海量的非结构化数据,AI大模型加速了海量非结构化数据进入生产决策系统。

为了高效、安全存储企业数据中心的非结构化数据,越来越多的行业期望使用专业的分布式存储解决方案。

建议举措

1数据存储建议企业IT团队加强海量非结构化数据处理能力建设

2选择专业的分布式存储来构建海量非结构化数据底座

展望解读

AI时代数据海量汇聚,安全风险持续提升,安全防护体系从网络安全走向数据安全。

存储内生安全体系通过先天的架构与设计,不断增强存储的安全能力,包含两个方面:存储设备自身的安全能力、存储的数据安全防护能力。

建议举措

1企业在关注网络安全防护的同时,应考虑将存储的安全能力加入企业的安全建设当中

2存储设备应具备底层的抗攻击能力,存储应加强自身的软件与硬件安全能力

3关注存储设备的加密、防勒索等数据安全防护能力的部署

展望解读

根据市场统计到2022年,SSD的市场份额和出货数量已经是机械盘的2倍以上,占比超过了65%。

随着海量非结构化数据进入生产决策系统,我们正在迎来全面闪存化的时代。全闪存存储明显的高性能优势,且总体拥有成本更低,将大幅度提升企业效率和业务体验。

建议举措

1企业应组织技术团队,对当下与未来IT 系统数据量与业务诉求进行研讨,并制定全闪存存储建设规划

2抓住存储生命周期更迭以及新建机会,持续加速全闪存存储应用

展望解读

随着AI、大数据等应用更高的性能时延要求、CPU性能增速放缓,在服务器架构演进为Composable架构的同时,存储架构也将演进为以数据为中心的Composable架构,从而大幅提升存储系统的性能。存储系统的多样化处理器(CPU、DPU)、内存池、闪存池、容量盘池,将通过新型数据总线互联,从而实现数据进入存储系统之后可以直接存放至内存或闪存,避免CPU成为数据访问的瓶颈。

建议举措

1企业积极关注服务器和存储架构演进的趋势和进展,从而适时调整,尝试新型存储

展望解读

存储厂商纷纷拥抱AI变革,将更多颠覆性创新应用于存储管理SLA优化。

越来越多的企业使用存储厂商提供的AI管理工具,加速AI能力孵化,打造云-管-端协同的AI管理架构。

随着AI技术在存储领域的广泛应用,AI不再局限于存储设备的监控和运维,也让存储产品本身更加智能。存储厂商加速投入存储产品智能,以优化设备效率和可靠性。

建议举措

1清晰地定义业务模型指标与SLA要求,做好新平台和新技术引入后的评价标准体系

2积极采用存储厂商提供的AI能力,并且与存储厂商联合,持续改进

3更新企业IT团队能力模型,对员工做好充足的预培训

展望解读

在“碳达峰、碳中和”大背景下,绿色低碳成为数据中心的重要发展方向。存储能耗在数据中心占比超过30%。因此,除了降低PUE之外,降低以存储为代表的IT设备能耗,对于促进数据中心零碳排至关重要。

存储厂商在绿色节能上积极进行技术创新,助力数据中心绿色低碳发展。

建议举措

1从关注单设备功耗走向关注全生命周期碳排放

2企业遵从统一的能效测评标准

3积极采用创新技术降低能耗