證券行業(yè)從數據倉庫＂挖＂到財務預警

申請免費試用、咨詢電話：400-8352-114

從數據倉庫"挖"到財務預警 預警前期兩項準備工作 確立預警系統(tǒng)關鍵指標 分享四點成功經驗 

年終歲末，國內的股市一反疲態(tài)牛氣沖天，上海證券交易所（以下簡稱上交所）日均交易量飆升，已高達500多億元。在這片數字浪潮中，上交所的數據倉庫系統(tǒng)大放異彩。按照每筆交易平均12000元計算，500億元需要處理400多萬筆交易，交易筆數之高讓倫敦證券交易所相形見絀。而如此多的交易數據，僅需半個小時就可存入數據倉庫。

上海證券交易所交易大廳

從數據倉庫"挖"到財務預警

1990年11月底成立的上交所，16年來積累了大量的交易歷史數據，為有效提高決策支持水平、市場監(jiān)管水平和服務水平，于2002年啟動了數據倉庫兩期項目。在上交所工程師鄭斌祥看來，數據倉庫的最大優(yōu)勢在于，它可通過單一視圖提供深入細致的信息，幫助上交所從數據分析中發(fā)現(xiàn)風險的苗頭，進而采取主動的防范措施。

從2002 年到2005年，上交所完成了兩期數據倉庫的規(guī)劃、設計、實施與運行，僅2002年完成的第一期項目就為15個業(yè)務部門提供了200多項應用。

眾所周知，證券監(jiān)管、防范交易欺詐是上交所的重要職能，相關的分析工作涉及許多紙質文件。但很少有人知道，這些紙面文件必須保留20年，時間長了，紙質文件容易破損，降低乃至喪失法律效力。因此，對非結構化數據的處理成為數據倉庫的要務之一。如今，上交所已經完成了包括600萬頁紙質非結構化數據在內的十幾個TB數據的清理工作。
 
股民也許并不清楚也不關心這些數據的意義，他們更關注的是如何找到股市黑馬，從而撈上一票。但對證券公司而言，如何通過這些數據尤其是上市企業(yè)的財務報表，判斷上市企業(yè)的財務風險，從而保護股民利益卻至關重要。

財務風險的終極表現(xiàn)就是公司破產，無能力履行債務償還責任。從企業(yè)財報數據入手，運用數據挖掘方法，構建上市公司財務風險預警模型，預測可能出現(xiàn)財務風險的上市公司，對于投資者及時調整投資決策、監(jiān)管層準確識別盲目融資公司、投資銀行有效發(fā)掘潛在客戶都具有重要意義。這也是數據挖掘的價值所在。

于是，在建設數據倉庫的同時，上交所找到了原IBM全球銀行數據挖掘咨詢組組長劉世平，委托他新成立的公司--吉貝克信息技術有限公司，負責該項目設計階段的數據挖掘咨詢工作。

吉貝克信息技術有限公司董事長劉世平

吉貝克于2002年12月進入項目組，由劉世平親自帶隊。憑著豐富的數據挖掘項目實施經驗，咨詢團隊僅花了一個月的時間，就完成了數據挖掘戰(zhàn)略文檔的撰寫工作，并向上交所提交了18個數據挖掘主題及其解決策略的分析。吉貝克的效率與能力給上交所留下了深刻印象，它隨即又獲得了上交所的下一個項目--建立上市公司財務指標預警系統(tǒng)。

預警前期兩項準備工作

劉世平明白肩上的擔子不輕，他知道上交所的職能不僅是提供一個交易平臺，還要對上市公司進行監(jiān)管，保證上市公司信息披露的及時性、完整性和準確性。而上市公司的財務報表是其綜合實力的集中反映，上交所通過對上市公司財務報表的分析來建立一種基本判斷，實質上，就是建立針對上市公司的風險分析系統(tǒng)及其財務報表的誠信分析系統(tǒng)。

這樣就產生了兩個問題：一是如何通過財務報表的基本內容，準確判斷一家上市公司是否存在問題。換句話說，就是如何將財務報表指標化，通過一些關鍵指標了解上市公司是否誠信，其經營是否處于健康狀態(tài)。二是上交所當時已有837家上市公司，一個工作人員要負責幾十家上市公司的監(jiān)管，工作量非常大；而且隨著時間的推移，上市公司的數量還會不斷增加。

站在劉世平的角度看，兩個問題合成了一個問題，即如何幫助上交所提高監(jiān)管效率，并在控制人員規(guī)模的前提下，保證監(jiān)管質量，這也是上交所的基本需求所在。從上交所的需求出發(fā)，劉世平率隊完成了兩項前期準備工作：一是對上交所從事上市公司監(jiān)管的專家進行訪談；二是對當前的行業(yè)分類標準進行分析和完善。

上交所有70多名財務專家，長期從事分析上市公司財務報表的工作，具有扎實的理論功底和豐富的實踐經驗。吉貝克仔細摸底之后，跟其中的18位專家進行了深入的交流，從他們身上學到了很多實用的方法，例如怎么分析財務報表中的數據是否真實，從哪些角度判斷上市企業(yè)是否存在問題等等。

由于技術偏好和實踐經驗不同，專家的觀點和方法顯得差異很大，吉貝克并沒有對這些觀點和方法只作簡單的再展示，而是利用數據挖掘工具把專家們的認識成果綜合起來，固化到系統(tǒng)中。
 
不過，接受訪談的專家也達成了一個共識：如果想對一家上市公司的財務報表進行準確分析和判斷，僅僅依靠從該企業(yè)的財務報表中發(fā)現(xiàn)問題是不夠的。要判斷一個企業(yè)的財務報表是不是真實，還必須與同行業(yè)的其他企業(yè)進行比較。

于是劉世平又抽出大量時間，廣泛收集和深入分析了國際上應用較廣的行業(yè)分類標準，最終確定了以我國國家標準和證監(jiān)會標準為基礎，參考、借鑒國際標準對上市公司進行分類的指導思路。

確立預警系統(tǒng)關鍵指標

在訪談過程中，劉世平掌握了上交所專家們在分析財務報告、判斷企業(yè)狀況時重點關注的指標，隨后利用統(tǒng)計學的方法，建立了上市公司財務指標預警系統(tǒng)。

預警系統(tǒng)主要包括五個模塊。第一個模塊是上市公司財務指標展示，通過這個模塊可以清晰看到上市公司的基本財務指標，以及指標的整體變化情況和變化趨勢。

第二個模塊是上市公司單指標預警。當一家上市公司的某項財務指標超出一定范圍時，模塊會以非常直觀的方式給出警告標志，例如通過設置財務風險預警條件，系統(tǒng)可自動確定需要重點關注的上市公司，提出預警信號；同時還設置了財務風險預警的級別，"一面紅旗"代表需要重點關注，"兩面紅旗"代表嚴重偏離，紅旗越多，說明財務指標偏離正常的程度越大，足以引起監(jiān)管人員的重視，大大減輕了監(jiān)管人員的工作強度。

如果只對一個企業(yè)的關鍵指標做縱向比較，難以得出準確的結論。因此，預警系統(tǒng)的第三個模塊就是建立杜邦模型，對上市公司的關鍵指標進行橫縱兩個方面的綜合比較。首先，對于同一個企業(yè)，抓住一條主線，把某項指標全部肢解出來，對不同年份的情況進行縱向比較；其次，以同類企業(yè)中的一家為基礎參照系進行比較，可以很快發(fā)現(xiàn)企業(yè)狀態(tài)是否良好。

關鍵業(yè)績指標是第四個模塊。每家上市公司都含有盈利率、負債率等十幾個關鍵指標，吉貝克采用了儀表盤的方式，直觀展示這些業(yè)績指標。根據儀表盤所示區(qū)間，可以輕易發(fā)現(xiàn)企業(yè)當前的業(yè)績情況，用戶即使在萬里之外，也像坐在監(jiān)控企業(yè)的駕駛艙中，沒有距離感；。

第五個模塊是企業(yè)財務報表診斷書。診斷書共分十二項指標，從盈利性、成長性等方面來幫助監(jiān)管人員做出準確判斷，就像醫(yī)生開出的診斷書一樣，不僅有每家上市公司關鍵指標的當前值、歷史值及取值區(qū)間，還有該企業(yè)所在行業(yè)的區(qū)間值等。

對于上市公司而言，除了專家訪談得出的關鍵財務指標外，還存在許多非財務的指標，比如公司治理結構、獨立董事發(fā)言、會計師事務所變更頻率與次數等，都不容忽視。為把財務與非財務指標囊括其中，吉貝克擬定了100多個指標和2000多個變量。

取得這些變量后，吉貝克運用數據挖掘和人工干預法，建立起上市公司誠信指標體系。而后對指標體系進行分類，測算出不誠信情況的概率，再把它轉換為直觀的分數并立檔，分別以五星、四星、三星……作為標志，星級越高代表誠信度越差。監(jiān)管人員不僅可以直觀看到上市公司目前的誠信狀況，還能了解到哪些指標和哪些原因導致了這種狀況的發(fā)生。

分享四點成功經驗

上市公司財務指標預警系統(tǒng)于2005年4月26日上線，成功運行至今。劉世平認為，上交所這個項目的成功，有四點經驗可以供所有的數據挖掘項目參考和借鑒。

首先，在數據挖掘項目的建設中，客戶需求是最重要的。客戶為什么要建設這個項目，要用它來解決什么問題，其基本目的一定要把握住。上交所這個項目的目的就非常明確，即提高監(jiān)管效率，建立合理化的指標體系。

在這個過程中，業(yè)務專家的參與非常重要，要把業(yè)務專家和技術專家結合在一起，在把握技術的基礎上，對業(yè)務人員的需求進行提煉、升華，而不是簡單的重復。

其次，目的確定以后，要搞清楚達到這個目的需要解決哪些問題；要解決這些問題，需要哪些數據的支持，需要對哪些數據進行分析，是否擁有所需的數據。

第三，前期準備的過程至關重要。在上交所這個項目中，吉貝克真正利用數據挖掘模型進行運算的時間不到一個月，而前期的準備工作卻花了近半年，技術人員廣泛向業(yè)務專家請教，充分消化專家智能，把專家的理念、動機、方法及相關信息的特征、特性等全部理順。正是這個看似與數據挖掘無關的過程，成為該項目成功的基石。

第四，需要端正對數據挖掘本身的認識和理念。數據挖掘是一個過程，絕不是數據加軟件這么簡單，遵循這一理念的項目才能取得成功。成功的數據倉庫項目必須具備實用性、前瞻性、擴展性和安全性，而實用性和前瞻性是重中之重。(it168)