大数据高效挖掘的核心武器——数据仓库
时间:2020-10-28 17:17来源:北京理(lǐ)工新(xīn)源 作者:BITNEI
北理(lǐ)新(xīn)源大数据高效挖掘的核心武器是数据仓库。数据仓库是新(xīn)能(néng)源汽車(chē)大数据分(fēn)析基础平台。能(néng)够為(wèi)客户提供整車(chē)、電(diàn)机、電(diàn)池的等多(duō)维度、多(duō)工况、多(duō)状态分(fēn)析。实现数据的支撑和服務(wù)。
北理(lǐ)新(xīn)源自2017年建立國(guó)标32960数据仓库以来，已经為(wèi)多(duō)家合作企业提供数据支撑和数据服務(wù)。数据仓库在分(fēn)层架构、治理(lǐ)标准化、主题、专题设计方面臻于完美。数据仓库在稳定性、复用(yòng)性、扩展性有(yǒu)显著的提高。数据仓库已经成為(wèi)数据分(fēn)析师便捷工作的基础。
数据仓库底层与数据采集层对接实现以32960数据為(wèi)核心的多(duō)源异构数据接入，数据集成及同步负责完成业務(wù)系统数据引入。数据仓库上层為(wèi)数据服務(wù)层提供数据支撑。
数据仓库整體(tǐ)采用(yòng)的分(fēn)层设计，由下至上分(fēn)為(wèi)三层ODS层、CDM层、ADS层。其中CDM层又(yòu)细分(fēn)為(wèi)DWD层和DWS层。详细参见下图：
(一)高效率：通过数据的逐层汇总，实现数据由PB级向MB的集聚。更精准快速的為(wèi)数据分(fēn)析人员提供服務(wù)。
(二)简单化：隔离底层数据变化，实现了顶层数据处理(lǐ)的简单化。
一、统一数据接入和统一数据存储规划。能(néng)够进行统一数据存储优化设计，最大程度利用(yòng)有(yǒu)限的存储空间同时又(yòu)保证数据存储安全。依据业務(wù)需求，冷热数据存储在不同的介质空间，不同安全性要求的数据设置不同的副本数等。统一接入和存储规划形成对数据的有(yǒu)序管理(lǐ)，是数据有(yǒu)效利用(yòng)前提。
二、统一数据治理(lǐ)流程。从数据接入，数据解析，数据切分(fēn)到数据统计分(fēn)析整个流程进行统一。能(néng)够节省计算资源，避免重复计算，还能(néng)保证中间结果和最终结果的完整性，有(yǒu)效性和一致性。
三、统一数据仓库分(fēn)层设计和数据标准化。首先是避免多(duō)次直接使用(yòng)底层数据，可(kě)以更高效的访问数据；其次是把复杂问题逐步的简单化，每一层只处理(lǐ)单一的步骤，比较简单和容易理(lǐ)解。而且便于维护数据的准确性，当数据出现问题之后，可(kě)以不用(yòng)修复所有(yǒu)的数据，只需要从有(yǒu)问题的步骤开始修复；第三是便于处理(lǐ)业務(wù)的变化，随着业務(wù)的变化，只需要调整中间层的数据，对应用(yòng)层对业務(wù)的调整可(kě)以做到零感知。数据标准化会统一所有(yǒu)指标计算口径，保证结果数据的一致性。举例来说，在保险核保领域，不同的保险公司根据他(tā)们自己的经验有(yǒu)不同的数据需求（不同标签），我们可(kě)以从不同的中间层去提取数据做简单的聚合运算就可(kě)以去支持不同需求。数据标准化之后将非常有(yǒu)利于数据搜索查找和内部业務(wù)沟通。
四、统一数据入口和统一数据出口。数据仓库实现了32960数据的统一接入和管理(lǐ)，实现了数据层对上层应用(yòng)的统一支撑，在数仓上建立SaaS平台能(néng)够实现数据对外的统一出口服務(wù)于上层各种应用(yòng)。
撰稿：王 乾
审核：刘 鹏
