開(kāi)源BI系統(tǒng)相關(guān)知識(shí)綜合解讀

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

這些眾多的BI項(xiàng)目從規(guī)模和對(duì)BI系統(tǒng)支撐的完善程度上來(lái)說(shuō)，大體可以分為Framework、Stand-alone Tools和BI Suit三種類型。

Framework

開(kāi)源框架，這是在商業(yè)BI系統(tǒng)中所沒(méi)有的。我們可以使用它們來(lái)構(gòu)建自己的BI工具，或者增強(qiáng)和擴(kuò)展我們的BI解決方案。

Stand-alone Tools

獨(dú)立的BI工具，這是開(kāi)源項(xiàng)目中數(shù)量最多的一類。很多工具只側(cè)重BI系統(tǒng)中的某個(gè)環(huán)節(jié)和方面，如ETL、Report、OLAP和Database等等。

BI Suit

在統(tǒng)一的架構(gòu)下提供了多種BI系統(tǒng)的特性的工具集合。就目前的情況看，不管是商業(yè)軟件還是開(kāi)源軟件，還沒(méi)有任何一個(gè)套件提供了完整的端到端的BI解決方案。這些開(kāi)源的BI Suit是通過(guò)連接多個(gè)其他的組件和工具的方式形成套件的，由于BI系統(tǒng)涉及到的工具是非常多的，所以整合一套完整的BI解決方案是很困難的。

BI解決方案中的工具

一個(gè)完整的BI解決方案中有多種工具來(lái)完成BI系統(tǒng)中各個(gè)階段的工作。

ETL工具

數(shù)據(jù)抽取、轉(zhuǎn)換和加載工具。優(yōu)秀的ETL工具應(yīng)該具有以下特性：

1、 Workflow Management, Job Execution and Scheduling Manager。能方便地定義流程并自動(dòng)化執(zhí)行ETL任務(wù)。

2、 Centralized Metadata Repository and Management。集中存儲(chǔ)和管理符合業(yè)界標(biāo)準(zhǔn)的元數(shù)據(jù)。

3、 Data Profile and Validation?？梢詸z驗(yàn)數(shù)據(jù)的質(zhì)量。

4、 High Performance。在大負(fù)荷的任務(wù)執(zhí)行中仍然有良好的性能。

5、 Scalable, Platform Independent。具有良好的彈性，支持多種操作系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)，能操作多種異構(gòu)的數(shù)據(jù)源。

6、 Open Architecture and API。具有開(kāi)放的架構(gòu)和易于使用的二次開(kāi)發(fā)接口。

目前較為知名的開(kāi)源ETL工具有：

1、 KETL，由具有IBM和KPMG背景的Kinetic Networks公司開(kāi)發(fā)，現(xiàn)在已經(jīng)有三年多的產(chǎn)品應(yīng)用歷史，成功應(yīng)用于一些產(chǎn)品中，在點(diǎn)擊流（ClickStream）分析應(yīng)用中表現(xiàn)出色。KETL采用Plug-in的架構(gòu)，使用Java開(kāi)發(fā)。

2、 KETTLE，為一個(gè)元數(shù)據(jù)驅(qū)動(dòng)的ETL工具。已經(jīng)加入Pentaho。

3、 Clover ETL，為一個(gè)基于Java的ETL Framework，可以用來(lái)開(kāi)發(fā)自己的ETL應(yīng)用。

4、 Enhydra Octopus，為一個(gè)基于Java的ETL工具，使用JDBC來(lái)連接各種數(shù)據(jù)源，易于使用和部署。曾有人應(yīng)用于電信網(wǎng)絡(luò)資源分析系統(tǒng)中。

表工具

優(yōu)秀的報(bào)表工具通常具有以下特性：

1、 支持多種數(shù)據(jù)源。

2、 直觀的可視化設(shè)計(jì)器，簡(jiǎn)單易用的報(bào)表定制功能。

3、 方便的數(shù)據(jù)訪問(wèn)和格式化，豐富的數(shù)據(jù)呈現(xiàn)方式。

4、 符合數(shù)據(jù)呈現(xiàn)的通用標(biāo)準(zhǔn)，能和應(yīng)用程序很好地進(jìn)行結(jié)合。

5、 易于擴(kuò)展和部署。

目前較為知名的開(kāi)源報(bào)表工具有：

1、 JasperReports，一個(gè)優(yōu)秀的Java報(bào)表工具，始于2001，現(xiàn)在JasperSoft公司持續(xù)開(kāi)發(fā)和支持該工具。該工具類似于商業(yè)軟件 Crystal Report，支持PDF、HTML、XLS、CSV和XML文件輸出格式，現(xiàn)在是Java開(kāi)發(fā)者最常用的報(bào)表工具。

2、 OpenReports，提供基于web的靈活報(bào)表解決方案，通過(guò)瀏覽器自動(dòng)生成動(dòng)態(tài)PDF,XLS,HTMLCSV 和Chart報(bào)表，它是用Java開(kāi)發(fā)的，使用JasperReports 作為報(bào)表引擎，利用到的開(kāi)源技術(shù)有Hibernate,Veloctiy,Webwork。

3、 JFreeReport，現(xiàn)在是Pentaho的一部分，它是一個(gè)優(yōu)秀的用來(lái)生成報(bào)表的Java類庫(kù)。它為Java應(yīng)用程序提供一個(gè)靈活的打印功能并支持輸出到打印機(jī)和PDF, Excel, HTML和XHTML, PlainText, XML和CSV文件中。

4、 Eclipse BIRT，是Eclipse下面的一個(gè)企業(yè)智能和報(bào)表 工具，能為J2EE的WEB應(yīng)用程序創(chuàng)建漂亮醒目的PDF或者HTML格式的報(bào)表，它提供了核心的報(bào)表功能。

OLAP工具

聯(lián)機(jī)分析處理工具。目前開(kāi)源的OLAP工具也分為MOLAP、ROLAP和HOLAP，優(yōu)秀的OLAP工具通常有以下特性：

1、 良好的執(zhí)行性能，能快速地進(jìn)行分析處理工作。

2、 良好的適用性和可伸縮性。

3、 開(kāi)放式接口和豐富的API。

目前較為知名的開(kāi)源OLAP工具有：

1、 Mondrian，是Pentaho的一部分，為一個(gè)用Java開(kāi)發(fā)的OLAP服務(wù)器，實(shí)現(xiàn)了MDX語(yǔ)言、XML解析和JOLAP規(guī)范，可以不寫(xiě)SQL就能分析存儲(chǔ)于SQL 數(shù)據(jù)庫(kù)的龐大數(shù)據(jù)集，可以封裝JDBC數(shù)據(jù)源并把數(shù)據(jù)以多維的方式展現(xiàn)出來(lái)。

2、 JPivot，是一個(gè)JSP 自定制的標(biāo)簽庫(kù)，可以繪制一個(gè)OLAP表格和圖表。用戶可以執(zhí)行典型的OLAP導(dǎo)航，如下鉆，切片和方塊。它使用Mondrian 作為其OLAP服務(wù)器。它使用WCF （Web Component Framework） ，基于XML/XSLT來(lái)渲染W(wǎng)eb UI組件。JPivot在元數(shù)據(jù)緩存方面的過(guò)于簡(jiǎn)化的整體性初始化裝載的做法將限制它只能處理很小的立方體（Cube）。

數(shù)據(jù)庫(kù)

開(kāi)源的數(shù)據(jù)庫(kù)也有很多，大多數(shù)為關(guān)系型數(shù)據(jù)庫(kù)，少數(shù)為應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)環(huán)境做了專門(mén)的優(yōu)化工作。Bizgres以PostgreSQL為基礎(chǔ)進(jìn)行了數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下的優(yōu)化，提高了分析查詢性能。

開(kāi)源BI套件

下面列出相對(duì)成熟和完整，并且有借鑒意義的開(kāi)源BI套件。

Bizgres

為GreenPlum公司主導(dǎo)的開(kāi)源項(xiàng)目，和Sun公司達(dá)成合作關(guān)系。Bizgres為B

I應(yīng)用而對(duì)PostgreSQL做了優(yōu)化，提高了大負(fù)荷的并行計(jì)算能力，在BI環(huán)境中，相對(duì)于普通的關(guān)系型數(shù)據(jù)庫(kù)具有卓越的數(shù)據(jù)處理性能。Bizgres的數(shù)據(jù)庫(kù)平臺(tái)可以和KETL和JasperReports進(jìn)行整合，從而形成一個(gè)BI套件：

1、 數(shù)據(jù)庫(kù)：BI專業(yè)數(shù)據(jù)庫(kù)Bizgres，或者大型應(yīng)用中的高性能服務(wù)器Bizgres MPP，能比普通關(guān)系數(shù)據(jù)庫(kù)快20倍

2、 ETL工具：KETL

3、 報(bào)表工具：JasperReports

Openi

是一個(gè)Java開(kāi)發(fā)的Web應(yīng)用，能對(duì)OLAP服務(wù)器、關(guān)系數(shù)據(jù)庫(kù)和數(shù)據(jù)挖掘服務(wù)器進(jìn)行分析和報(bào)表展示，非常易于使用和部署，界面美觀友好，后續(xù)還將支持?jǐn)?shù)據(jù)挖掘和ETL等。Openi主要包括：

1、 OLAP展示：JPivot

2、 報(bào)表工具：JFreeChart

3、 分析數(shù)據(jù)源連接器

Pentaho

是一個(gè)以工作流為核心的、強(qiáng)調(diào)面向解決方案而非工具組件的BI套件，整合了多個(gè)開(kāi)源項(xiàng)目，目標(biāo)是和商業(yè)BI相抗衡。它包括：

1、 工作流引擎：Shark and JaWE

2、 數(shù)據(jù)庫(kù)：Firebird RDBMS

3、 集成管理和開(kāi)發(fā)環(huán)境：Eclipse

4、 報(bào)表工具：Eclipse BIRT

5、 ETL工具：Enhydra/Kettle

6、 OLAP Server：Mondrian

7、 OLAP展示：JPivot

8、 數(shù)據(jù)挖掘組件：Weka

9、 應(yīng)用服務(wù)器和Portal服務(wù)器：JBoss

10、 單點(diǎn)登陸服務(wù)及LDap認(rèn)證：JOSSO

11、 自定義腳本支持：Mozilla Rhino Javascript腳本處理器

由上可見(jiàn)Pentaho是一個(gè)很完善的BI解決方案。Pentaho偏向于與業(yè)務(wù)流程相結(jié)合的BI解決方案，側(cè)重于大中型企業(yè)應(yīng)用。

SpagoBI

SpagoBI 集成了Mondrain和JProvit，能夠通過(guò)OpenLaszlo產(chǎn)生實(shí)時(shí)報(bào)表。SpagoBI使用java開(kāi)發(fā)，不依賴于具體的操作系統(tǒng)，有很強(qiáng)的擴(kuò)展能力。它主要包括：

1、 報(bào)表工具：JasperReports /Eclipse BIRT/ iReport

2、 OLAP Server：Mondrian

3、 OLAP展示：JPivot

4、 數(shù)據(jù)挖掘組件：Weka

5、 Map引擎：Geo

6、 ETL：BIE

7、 搜索引擎：Lucene

8、 Dashboard：OpenLaszlo

9、 Portal Server：JBoss/ Tomcat/ JOnAS

根據(jù)其Roadmap可以看出，SpagoBI將融入更多的BI功能，甚至BI之外的功能。（CIO時(shí)代論壇）