华远智德(北京)科技有限公司 Jupiter Consulting (Beijing) Ltd.
  
技术讲堂


您的位置: 首页 技术讲堂 第二课 系统的功能性需求
        第七讲 OLAP的功能性需求(1)

数据分析讲堂
  
第二课 OLAP系统的功能性需求
  
第七讲 OLAP的功能性需求(1)
  
     对于OLAP产品的功能性需求分成核心和非核心两类。这些核心的,根本的,必须的或者说是最低要求在逻辑层面包括对于多维、层次、维度公式的支持,以及数据结构和表现形式的分离,在物理层面主要就是对于任意查询的高速响应。任何语言或产品,如果不满足这些要求,那严格意义上来说就不是OLAP。

以下汇总了全球几千家企业面临的典型挑战。

1.   核心挑战

(1)   产品详细信息会有很多层次,从原始编号到产品、产品组、产品线、品牌甚至更多

(2)   数据分析的因素有很多,包括产品、位置、公司组织、市场、时间等

(3)   需要指定和执行的派生计算有很多

2.   附加的挑战

(1)   大量的数据——非常大型的数据仓库包括了数百、数千甚至数百万GB的数据

(2)   大量的用户使用同一批数据——从几百到几千

(3)   很多的地理位置——数百、数千甚至更多

(4)   分散化的决策——分析并不遵循预定的流程,他们各自独立地决定应该获取那些数据,应该如何分析

         一种了解对于OLAP功能性需求的方式就是在以上种种挑战的情况下,尝试让OLAP系统为用户提供描述型模型,并且满足覆盖性、及时性、准确性和可理解性。

       全球上千家企业面临着很多相同的挑战,也具有很多相同的目标,尽管偶尔也会有一些差别,我们还是认为他们有着共同的附加需求。这些需求包括:在大数据集上有效地进行存储、获取和执行计算的能力;及时地分布计算的能力;在OLAP服务器和关系数据库间分布计算能力。

         大部分OLAP挑战会同时影响多个目标。例如,大量的数据除了对速度的影响是显然的之外,也会影响到准确性、可理解性、覆盖性和存在性。在输入端,随着原始数据量的增加,异常数据的数量也会随着增加,同时对于大量数据的计算本身就可能会引入错误。其中还要采取适当的方式处理丢失的和没有意义的数据,不同数据的处理还需要加以区别。例如,商店的税率应该随着其所在城市的不同而有所调整。在经济分析中,不同城市的权重应该根据人口数量进行调整。所有这些源自数据质量的问题都会影响原始和派生数据的准确性。大量的数据还会影响数据的可理解性。

         为了获取对大数据集认识必然需要更多的压缩,而对数据进行压缩之后,有些本质的特性可能就永远地丢失了。随着数据量的不断增大,我们就需要采用一些物理优化技术,比如在多个物理设备上的分割,同时将数据以源数据的格式存放,这些自然就会影响到系统创建必要的派生变量的能力。所以说,大数据量的问题会影响到所有的OLAP目标。

     由于大多数的挑战都会影响到多个目标,一种有用的思维方式就是用表格的形式来考虑功能需求和OLAP目标之间的关系。

     在每一个目标和挑战的交叉点上,你都能鉴别出挑战对于目标的影响程度。在影响程度很大的地方,都有相关的一个或多个功能需求。例如,一家企业的产品经理有很深的产品层次和多级别的市场,他会发现大量的数据层次会对计算产品成本的准确性和及时性有很大的影响。这个时候,多层次对及时性的影响可能通过添加功能点——强大的聚合管理能力来解决。多层次与准确性交叉点处存在的功能性需求有:丰富的维结构,包括能够在任意级别上输入数据的能力和一个能够支持对计算值的手工修改强大的计算语言。
  

        首页   |  公司介绍   |  服务理念   |  经营管理   |  企业管理 【TOP】      
版权所有 © 2015 jupiterst.com