企業不想把大數據口號化，那一定要解決這三個問題

文：蘇彥嘉

自2012美國《紐約時報》專欄中提到「大數據」時代的到來，距今也約莫三個年頭過去，如今大數據確實帶來許多商業、經濟及政治上的改變，人們也更加認同大數據對未來發展的重要性，情況不亞於當年的電腦所帶來的社會轉變。

為了進行大數據的演算，勢必需要極為驚人的資料量進行演算，這些在科學界來說並不構成問題（相反的，他們向來擔心的是資料太多），但對社會大眾則不然，早年許多重要資料都是由政府獨有，此舉的結果導致資訊不流通，對於政府來說雖然感覺更加「安全」，但社會卻失去發展提升的效率。

台北市政府為因應時代變遷與政府資料開放政策，於民國100即建立北市開放資料網站，會在今年5月23日舉辦「第一屆台北市政府開放資料黑客松（Taipei Open Data Hackathon），邀請各程式開發專業領域工作者參與檢視並運用相關資源。

北市府開放資料黑客松競賽分為4個主題：

1. 開放資料的加值應用
2. 開放資料（平台）的爬梳與比較
3. 開放政府與公民參與
4. 壞資料╱好資料挑戰賽

大數據的興起與演化

大數據之所以得從上到下影響整個社會，主要是由於硬體技術的提升與大規模普及，使得各種不同管道的資料能以驚人的速度成長。

根據IDC（International Data Corporation）的估測，目前世界資料每兩年會增長一倍以上。而高達90％的資料更是近兩年才出現。

「將客戶的歷史資料建立資料庫，並根據對資料庫內資料的分析，確認目標客戶，迅速準確地獲知其需求，了解其特徵，傳達產品和服務的相關資訊，以便更有效地進行市場行銷活動，維繫顧客和提高銷售額。」上面這段話似乎在描述大數據，但其實它用來說明及定義它的前身「資料庫行銷」，透過資料輔助決策，在早期就有資料庫行銷作為大數據的先驅。

然而，儘管資料庫跟大數據有相當差異，但在某種程度上兩者所遇到的問題是一樣的。根據美國整合行銷專家唐·E·舒爾茲（Don E. Schultz），在其經典之作《IMC的5個關鍵步驟》中曾描述，資料庫行銷最常遇到的三個問題，而大數據也有相似之處：

1. 不知道組織有什麼資料
2. 不知道如何取得必要參考資料
3. 不知道如何分析資料協助決策

問題與解決

1.不知道組織有什麼樣的資料：

作為擺在三個問題中的第一位也是最常出現的問題，它指的更偏向組織文化的問題。當組織的資料搜集整理後往往因為沒有妥善地整理架構，導致資料遺失或只有少數人知道。因此在大數據時代妥善且有系統的架構組織資料庫，無疑是提升效率的重要條件。

2.不知道如何取得必要參考資料：

此外，由於搜索引擎演算法的發展，使得參考資訊的取得更加容易，許多資料都能即時的取得。加上近年觀念的轉變，使得政府或企業也更加願意開放資料，讓外界專業人士進行研究並提出改革建議，雖然仍有許多資料未能公開或尚未進行調查統計，但對於智慧型硬體裝置與生活緊密結合的社會來說，資料之取得無疑更加容易。

3.不知道如何分析資料協助決策：

在這邊我們將其分成三個主要階段「資料庫建立」、「資料的分析」到「運用資料輔助決策」。

想建立足夠資料庫，首先得記錄資料。以前技術並不發達時，紀錄資料最簡單的方式就像記帳一樣，一筆一筆的記下，再藉由觀察數字的變化，繼而找出達成目標的方法。而現在技術發達，不論是要用Google免費資源，或是自行進行資料的數位整理記錄都方便許多，當然將資料記錄下來時不免記錄到許多自己用不到的資料，這時我們需要分析資料庫裡的資料。

分析有許多種方法，有透過高階的R語言程式編寫，也可以簡單的運用Office進行。然而資料分析就跟做實驗一樣，也可以簡單分為三個簡單步驟：

1. 分析現況
2. 參考資料提出假設
3. 實際驗證

要進行現況的分析，相當的比例是需要一定程度的產業知識，因此需要有實務經驗的人從旁建議才能少繞遠路，快速從資料中找出有用資訊。

在經過上述步驟時，由於現在蒐集資訊的能力大幅演進，使得雜訊的比例也大幅增加，而這些雜訊只有透過有實務經驗的人士，才能將其辨別並在分析前進而排除。

說到底，大數據是用於驗證決策假設的現有資訊分析技術，組織應該在數據技術人員與實務工作者的協助下，在資料中找出有用資訊。

由於不同產業、與組織偏好的的優先順序大不相同，因此，更需透過實務的合作打造獨有的分析模式，建立組織專屬的運作方式。例如：大數據的最知名使用的開山之作「魔球」，透過數據分析球員的基本資料出最有價值的球員，並以合理的金額聘僱。

Photo Credit: AP/達志影像

聽起來十分的單純，只要找出「有價值的球員」即可，似乎任何一個數據分析員都可以做到。但在這些數據的背後，更有第一線的研究人員決定哪些數值可以作為主要的依據、哪些只是參考數值的實務經驗。而在商業上面對的變數無可避免的更多、更難以駕馭，因此我們更需要「實務」、「數據」的結合。

未來發展

簡單來說，大數據的時代並不單是IT技術的突破與創新，更是一種新管理思維的興起。為了要能妥善運用這項技術，目前已經發展許多數位軟體可直接套入使用，但在資訊更加開放且分析資料的成本更低的情況下，如何妥善、高效運用相關產業知識與統計資料，將是在這大數據時代下所有管理階層不可或缺的重要能力。

責任編輯：林佳賢
核稿編輯：楊士範