在線零售站點自適應和商業(yè)智能的發(fā)現(xiàn)

申請免費試用、咨詢電話：400-8352-114

1 引言

電子商務已經(jīng)被稱為是Internet最重要的應用之一www正以其簡單易用性熹得越來越多的用戶，為用戶和商家提供了雙向交流、”虛擬“交易的理想空間在電子商務環(huán)境下一個聯(lián)機零售商在Web上開展電子商務的業(yè)務模型如圖戶二。其中市場數(shù)據(jù)存儲商品信息和用戶的交易信息；Web結構數(shù)據(jù)存儲Web頁和Web的結構。服務數(shù)據(jù)存儲訪問日志。

一個標準的在線零售網(wǎng)站的分類設計結構如圖2所示其中：每一個節(jié)點表示一個頁面。N節(jié)點表示導航頁或分類頁；C節(jié)點表示內容頁或購買貞。網(wǎng)站的結構是介于樹形和網(wǎng)狀層次結構之間的一種結構。網(wǎng)站的設計者會盡量考慮到達一個購買頁存在多個路徑；而且從物品的分類結構匕說。很多物品屬于多個類，如電子書。既屬于書籍類又屬于電子產(chǎn)品規(guī)模越大的站點。其結構越復雜。

開展在線零售業(yè)務的一個主要向題就是；用戶面對廠家提供的大量產(chǎn)品信息，不知如何有效提取；而廠家面對大量的用戶，不知他們的興趣和要求所在，因而不知如何調整其服務方式和產(chǎn)品結構：

1.全體用戶對零售商品的興趣不一致。對物品的興趣存在著一個概率分布，即全體用戶對某些物品的興趣要遠遠大于另一些物品。但Weh站點Web頁面結構的分類層次設汁必須嚴格遵循商品的分類結構，因為如果不是這樣，一般用戶就無法訪向。于是這兩者之間就存在一種矛盾這種矛盾所導致的結果是大量用戶不得不瀏覽許多不相關的頁面，進人Web站點的很多層次最終才能找到自己所需要的商品。解決這個問題的一種思路是將圖1上的導航頁（N頁）變成導航內容頁（NC頁）。這樣用戶就可以在N頁上直接購買自己需要的商品。

2. 許多用戶購買的物品類似于啤酒和尿布這樣的物品—屬于數(shù)據(jù)挖掘中的經(jīng)典問題，即在頁面結構分類上兩者相距很遠。但很多顧客會同時購買干是這些用戶就不得不反復進入退出多個Web頁，來完成購買對于這樣具有關聯(lián)購買的物品集，要做的就是如何自動發(fā)現(xiàn)關聯(lián)物品集。并且自動

建立包含它們的導航內容頁，以幫助用戶訪問。

所以需要建立一個模型和相應的算法在各導航頁上標注購買物品快捷清單。即經(jīng)過算法處理后，N頁要自動變成NC頁，即導航助買頁。原有的N頁之問的導航關系不被破壞。NC頁將滿足大部分用戶的需求，使他們不需訪問過多的層次或盡量不需繞路而進行購買。

解決這個問題的方法是根據(jù)在線零售站點的Web訪問到推薦點通過關聯(lián)規(guī)則發(fā)現(xiàn)算法從用戶的交易數(shù)據(jù)中，發(fā)現(xiàn)關聯(lián)購買集合；在推薦點上標注這些商品及其關聯(lián)購買集合；當處理完所有的關聯(lián)購買集合后，通過竟爭來決定出現(xiàn)在導骯頁面上的物品集，最終將導航頁合理地變成導航購買頁。這樣全體用戶對這樣的站點進行訪問，他們的總的訪問遍歷教就會減小于是通過這樣的過程卜這個站點就可以自動根據(jù)用戶的訪向購買情況，進行自適應。

文中首次提出將數(shù)據(jù)挖掘的技術應用于電子商務的環(huán)境下。以發(fā)現(xiàn)市場智能。挖擁的對象不僅包括日志、Web頁面，也包括市場數(shù)據(jù)。文中還給出了在電子商務環(huán)境下挖擁的一個總的框架。但他們的方法依然局限在傳統(tǒng)的挖掘手段。本文所述方法是建立在其基礎之上，更好地發(fā)現(xiàn)并應用了市場智能。不僅應用傳統(tǒng)的挖掘手段（如關聯(lián)規(guī)則發(fā)現(xiàn)算法）而且新定義和建立了自適應模型進行Web站點結構的有限智能調整，即使站點能夠根據(jù)群體用戶的訪問而自適應。

文中首次給出Web挖掘的定義，并且給出一個關于Web訪向信息挖掘的系統(tǒng)WEBMINER。文中提到的思路是通過對Web站點的日志進行處理[ss7將數(shù)據(jù)組織成傳統(tǒng)的數(shù)據(jù)挖掘方法能夠處理的事務數(shù)據(jù)形式，然后利用傳統(tǒng)的數(shù)據(jù)挖掘方法（如傳統(tǒng)的關聯(lián)規(guī)則發(fā)現(xiàn)算法）進行處理。其得出的挖掘結果也是傳統(tǒng)的數(shù)據(jù)挖掘結果，并沒有根據(jù)挖掘的結果調整站點的組織結構。找們的方法是在這種方法的墓礎上。不但得到挖掘的結果而且把挖掘的結果用于改進在線零售站點的組織結構，以利于群體用戶的訪問。

Web Log Miner方法用OLAP技術來實現(xiàn)對Web日志數(shù)據(jù)的預測、分類、時間序列分析。其分析的結果沒有用于Web站點的重新設計，而我們的方法是要主要用于站點的自動重新設計，且不破壞原有的分類結構，即自適應在文中，這些方法的目的是自動定制不同的用戶訪問界面。其特點是：1）W eb站點或代理動態(tài)地把一些增強的當前可視的Web頁面給用戶即定制個性化的頁面；2）頁面上的信息針對的是基于某種模型而得到的特定的某一個，或某一類用戶；3）該棋型基于該用戶或該類用戶以前的訪問方式。對比來說，找們的方法1）是一種優(yōu)化方法；2）周期性、離線地進行挖掘；3）挖掘的對象是全體用戶的交互行為，挖掘的是全體用戶的共同訪問購買興趣，挖掘的結果面向全體用戶；

4）不需要特定的某一個或某一類用戶的信息。文中用聚類方法實現(xiàn)Web站點對外部訪問的自適應。它通過PageGather聚類方法的結果：索引頁，來幫助用戶進行訪間。這種方法使用聚類挖掘，在一個Web站點上尋找相關頁面的集合。這種相關頁面集合是根據(jù)總休用戶的相關訪問來決定的。采用的手段是創(chuàng)立相似矩陣，矩陣的元素是根據(jù)訪間日志所得出的頁面之間的共同被訪問的頻度。然后在這個矩陣中尋找每一個聚類，根據(jù)每一個聚類創(chuàng)立一個索引頁。這種方法自適應的基本元素是侮個Web頁面，而且算法需要建立大量的索引頁；而在本文方法中，自適應的基本元素是商品。方法本身不破壞Web站點原有的分類結構，不會形成附加的索引頁。被提升的內容，自然而然地出現(xiàn)在它們應該出現(xiàn)的地方。

在零售業(yè)務中，客戶對商品的興趣和對商品的購買是兩個不同的概念。在傳統(tǒng)的零售業(yè)務中，只能記錄對商品的購買信息，而無法直接得到用戶對商品的興趣信息。而對比傳統(tǒng)的零售業(yè)務在在線零售站點中，用戶訪問信息可以記錄更為詳細的客戶對商品的訪問，因而通過挖掘可以得到用戶對商品的興趣知識一旦服務方了解到顧客的興趣知識和購買知識，那么就可以采用相應的商業(yè)促銷手段把潛在的用戶轉變?yōu)閷嶋H的用戶。本文給出一些關于商業(yè)智能的定義以幫助服務方發(fā)現(xiàn)用戶的瀏覽興趣。并給出相應的OLAP方法以發(fā)現(xiàn)這些商業(yè)智能以幫助服務方更好地開展商業(yè)服務。和文中所述方法相比本文方法將用戶的訪問興趣與用戶的購買行為分開。利用OLAP技術進行挖掘。

2 數(shù)據(jù)準備

2.1 挖掘對象

挖掘的對象存在于圖1所示的后臺數(shù)據(jù)存儲層之中。具體分為：

1）用戶的訪問日志（在圖1的服務數(shù)據(jù)中）。服務器上的日志格式遵循W3C標準；2）用戶的交易紀錄即傳統(tǒng)的交易事務數(shù)據(jù)（在圖1的市場數(shù)據(jù)中）。交易數(shù)據(jù)記錄用戶對物品的購買信息。

2.2 生成用戶訪問任務

進行挖掘時。首先要將一段時間用戶的訪向日志組織成用戶訪問事務數(shù)據(jù)。設L為用戶訪問日志，其中的一個項包括用戶的IP地址l.巾，用戶的標識符1.ui d.被存取頁的URL地址1.ur l.以及存取訪問的時間time,

這里C是一個固定的時間窗。對Log進行處理，找到每一個事務，然后就可以對這些事務進行關聯(lián)規(guī)則發(fā)現(xiàn)。尋找訪問事務的算法為

1.對日志進行預處理。

2.根據(jù)睡一個訪問者IF,劃分日志即在Log中找到每一個訪問者的訪問記錄集。

3.對訪問者的訪間記錄集。根據(jù)c進行分割。找到每一個訪問者的每一次訪問記錄集，這時，每一個訪問者的每一次訪同記錄集就構成r一個訪問事務

4.最終按時間排序的所有訪問事務構成我們進行挖掘的基礎。

處理完日志后我們就有了用戶訪問事務集T;此時，對了進行處理，把用戶每次發(fā)生購買行為和由此而進行的路徑訪間提取出來，形成用戶訪間購買事務集其中每一條記錄不僅包括每一個用戶的交易記錄而且也包括該用戶發(fā)生一次購買時，他對Web站點的訪問記錄即他的存取路徑3 在線。售站點的自適應模型

在線零售自適應模型荃于如下四種基本元素

1）物品為用戶購買的目標。

2）頁面頁面本身分為導航頁、購買頁、導航購買頁每個頁面，或導航購買頁面包含一些物品一個物品可能出現(xiàn)在多個購買頁面，或導航購買頁面頁面中。

3）頁面之間的層次關系：這種層次關系反映出用戶購買一個物品至少需要訪問的頁面的個數(shù)。如果一個常被購買的

物品處于較低的層次。那么需要將其提升以減少這些用戶的訪間層次數(shù)。

4）用戶的訪問通過對用戶訪問狀況的挖捆?？梢缘玫饺后w用戶購買一個物品時所通過的每一個頁面的次數(shù)4 系統(tǒng)總的處理框架

整個系統(tǒng)按圖4所示結構進行處理在一個T時間段內，經(jīng)過群體用戶的訪問，會得到新的挖掘對象，然后執(zhí)行如下處理過程：

1）數(shù)據(jù)準備：根據(jù)用戶訪問記錄和用戶交易記錄得到用戶訪問購買事務集TP,

2）關聯(lián)規(guī)則發(fā)現(xiàn)：在TP中尋找關聯(lián)物品集，

3）建立自適應模型：根據(jù)用戶的訪問購買事務集TP和原有站點的拓撲結構在每一個節(jié)點4，

4）生成新的導航購買頁在每個節(jié)點上根據(jù)放置物品集和關聯(lián)物品集以及原有頁面的拓撲結構生成新的導航購買頁。

3 了結論以及將來的工作

開展在線零售業(yè)務存在的問題是群體用戶必須瀏覽許多不相關的頁面。才能最終找到自己所需要的商品。為了解決該問題，本文建立一個在線零售站點的自適應模塑。在在線零售站點中，服務方需要了解用戶的瀏覽興趣以把潛在的用戶轉變?yōu)閷嶋H的用戶。本文給出相應的利用OLAP發(fā)現(xiàn)商業(yè)智能的方法，以幫助服務方更好地開展有針對性的服務。

本文所述的自適應方法本質上是Web訪間信息挖掘中（WebUsageMlning）的一種推薦方法，即根據(jù)群體用戶對在線零售電子商務站點的訪向，在We卜站點上推薦根據(jù)對以前群體用戶的訪問興趣挖掘而得到的知識，以加速當前群體用戶對站點的訪問效率。在該方法中，建立模型的訓練過程較為簡單。相應的各個公式比較容易計算。該工作朝著建立完全自適應的Web站點作出了貢獻：

1）分析了在線零售站點，用戶訪問時存在的冗余訪問問題并給出了解決這種間題的辦法，即建立網(wǎng)站的自適應模

2）在校型中，對頻繁被購買商品通過放置策略和后退策略找到推薦點，通過關聯(lián)規(guī)則發(fā)現(xiàn)算法發(fā)現(xiàn)關聯(lián)購買集合；在推薦點上標注這些商品及其關聯(lián)購買集合；最終將導骯頁合理地變成導航購買頁即站點可以自動根據(jù)群體用戶的訪問購買情況進行自適應。

3）在模型中，關聯(lián)規(guī)則發(fā)現(xiàn)算法被合理地結合起來，可以發(fā)現(xiàn)并且解決在在線零售電子商務站點上依然存在的啤酒和尿布的問題。而且利用Web站點的優(yōu)點，可以更容易地解決這個向題

4）該方法完全是自動的，不需要人工的干預。

在本文所述商業(yè)智能發(fā)現(xiàn)方法中?？梢园l(fā)現(xiàn)在傳統(tǒng)的零售業(yè)務中，無法直接得到用戶對商品的興趣信息所表征的興趣知識。那么結合傳統(tǒng)的晌買知識的發(fā)現(xiàn)一旦服務方了解這些知識，那么就可以采用相應的商業(yè)促梢手段把潛在的用戶轉變?yōu)閷嶋H的用戶。本文給出一些關于商業(yè)智能的定義以幫助服務方發(fā)現(xiàn)用戶的瀏覽興趣。并給出相應的OLAP方法以發(fā)現(xiàn)這些商業(yè)智能。幫助服務方更好地開展商業(yè)服務。

我們進一步的工作將不僅是web訪問信息挖掘中的推薦方法而且是預側方法。通過將這兩種方法結合起來。我們不但能夠在Web站點上推薦找們所發(fā)現(xiàn)的用戶的興趣，而且也將能夠預側用戶的興趣。結構、群體用戶的訪問日志和群體用戶的交易記錄，建立網(wǎng)站的自適應模型。在模型中。對頻繁被購買商品通過搜索算法找。（萬方數(shù)據(jù)）