本書導覽： 【導讀】創造「偶然的幸運」（serendipity），正是巨量資料技術不斷前進的動力 ◎文／陳志仁（台灣野村總研諮詢顧問股份有限公司副總經理） 接到本書導讀的邀稿時，剛好是我跟一家國內大型服務公司探討他們公司海外發展議題之後的下午。 這讓我想到，從2004年加入野村總合研究所台北分公司以來，轉眼已經過了九年。常有企業主在面對全球新的議題與挑戰時，諮詢我們的看法；而我們的顧問專家群，難免也會私下討論不同國家的企業主對於新事物的接受態度。 過去，我們總是以為台灣企業主很少願意從邏輯思考的角度，看清所謂新事物的全貌，凡事好像只想要得到「引進這件新事物的時機是否已經成熟？」的答案， 卻沒有深入思考「如何親自將新事物引進企業，做為企業超越自我的契機？」。 讀完這本書之後，我必須稍加修正以上的觀點，或許該說，如果對於新事物的介紹，可以有辦法解說得完完整整、面面俱到，那麼，企業主怎麼可能放過這些知識呢？ 這本書是我在東京總公司的同事城田真琴的著作，在日本，這本書出版於2012 年7月，2013年陸續出版韓文版、簡體中文版與繁體中文版，是巨量資料領域的重要著作。我認為，這本書內容能讓台灣的讀者有機會看見全球發展「巨量資料」的全貌。 本書的內容在第一及第二章介紹了「巨量資料」在資訊科技技術上出現的許多新名詞，例如Hadoop、NoSQL、LOD 等；並且進一步解說企業在資料運用層面，從過去的「資料可視化」進展到「資料預測未來」的境界；因此，強調深層的資料調查以及準確度的預測，讓企業因為採用巨量資料的「技術」而進展到更高的境界。 簡言之，對於電腦技術名詞沒有興趣的讀者，可以想像，過去資料只能「知道交易已經完成」的階段，當運用巨量資料以後，已經進化到可以「知道交易完成的原因」了。 對於想知道全球企業實際應用巨量資料個案的讀者們，可以在第三章了解到四家歐美企業的成功案例，其中包含網拍公司eBay如何整合過去的資料倉儲分析系統與巨量資料技術，讓大家羨慕eBay員工擁有三個不同的資料分析基礎來支持他們進行業務的拓展。此外，第三章也介紹遊戲公司Zynga如何以5 %的付費客戶繳出11億美元營收的驚人業績。英國瓦斯及電力公司Centrica的個案，讓讀者了解英國把150萬顆機械電表改成數位電表後，巨量資料改變每個人生活的情境。第三章最後介紹的是大型零售業者卡特琳娜行銷集團（Catalina Marketing），豪氣地蒐集一億人的消費資料，達成「能夠以100 %的準確度，預測出像是會購買某個商品的潛在消費者」的行銷新境界。 當讀者沉浸於以上個案的激盪時，別忘了第四章還有四個日本企業運用巨量資 料的成功案例——小松（KOMATSU）是日本主要建築機械的供應商，其實在台灣的建築工地也不難看見小松的推土機以及怪手；小松的商業模式是租賃這些機械設備給營建商或是工務機構，因此，透過全球機械所不斷蒐集的相關巨量資料，已經可以用來推估設備維修的需求即將發生，以及給使用者燃料使用節省的建議做法等。 瑞可利（RECRUIT）是家擁有各式各樣網路專門服務的公司，有求職、結婚、購屋網等，他們採用Hadoop技術，加上名為MIT（Marketing & IT United）的新組織，跨部門整合公司內部各單位，讓企業內部更有效地蒐集與分享利用巨量資料。 此外，第四章也剖析日本遊戲公司GREE急速成長的原動力，在於「與其相信一人的判斷，不如相信數千萬人的資料」，他們稱為「資料驅動型營運方式」。第四章最後的日本麥當勞（McDonald’s Japan）案例，我在2009年就曾涉獵過，很佩服該公司仍持續發展個人化行銷的相關巨量資料，要達成「在現實世界實現一對一行銷」的願景。 原本我以為這本書第三章與第四章完整介紹歐美日的八個企業案例之後，到此 應該夠了，但是，身為一位任職於全球知名智庫的管理顧問專家，如果只是把資料說個夠多，並沒有滿足提出「洞察力」（insight）這樣的專業標準，可能無法滿足讀者追根究柢的渴望。因此，我們可以看見第五章有13個巨量資料的運用案例，進一步介紹「將巨量資料引進企業，做為企業自我超越的契機」的具體樣貌。 本書最令人讚歎的地方，在於作者將他研究企業應用巨量資料的成功案例，歸納成一張張淺顯易懂的圖表，其中，第五章【圖表5-1】巨量資料的運用模式，是一張相當精采的圖表，由個別最佳化、全體最佳化、批次處理與及時處理構成四種巨量資料運用的商業模式，滿足想要對於巨量資料獲利模式一探究竟的挑剔讀者們。 接下來，第六章探討美國歐盟以及日本主要國家對於巨量資料侵犯隱私的相關 法律及對應的措施，針對許多服務業者關心台灣對於消費者隱私保護的議題而言， 有具體的參考價值。 我們都知道，談巨量資料一定避免不了政府的公開資料（Open Data）此一環節，作者選擇在商業模式探討完畢之後，再來說明美、英、日等國政府鼓勵發展公開資料的具體做法，其實也確實符合我們的觀察，單單政府資料公開無法成為獲利 模式的趨勢；但是，如果沒有政府的公開資料，肯定有些美好的巨量資料商業模式就無法成真。 事實上，本書結論讓我非常震撼——我是一位1990年代投身職場的上班族，當 年，資訊工程師（Information Engineer）這個新職業造就了一波產業的革命，也 帶動了台灣服務業的一波成長榮景。本書最後，作者告訴我們，身處巨量資料的年代，不僅僅企業在組織內需要一位資料長（Chief Data Officer）的新角色；而且未來十年，整個IT業界裡最重要的人才將是資料科學家（Data Scientist）這個新人才。美國的大學已經開始開設主修分析學的研究所課程，展開人才的培養教育，他需要培養三種特質，容我賣個關子，把這個答案留給讀者在本書裡挖掘吧！ 最後，很高興出版單位給我有機會搶先讀完本書，我也很喜歡作者在本書中提出的許多細微的觀察，例如，在說明亞馬遜（Amazon）電子商務的「協同過濾」（Collaborative Filtering）技術時，引經據典地介紹「偶然的幸運」（Serendipity）這個詞，這是來自英國小說家霍雷斯．華爾波（Horace Walpole）在1754年的新創文字，描述消費者意外擁有幸運或是發現有價值事物的奇特心情，很傳神地說明了給消費者不可預期的幸運，正是巨量資料技術不斷前進的動力啊！ 內容簡介：分析現狀還不夠，預測未來更重要！ 與其相信一個人的直覺，不如相信數千萬人的資料—— 從圖解、案例，到策略與實戰，一本書，徹底解讀大數據！ Facebook、Google、Amazon，以及小松（KOMATSU）、瑞可利（Recruit）、GREE等歐美日知名企業都在用的資料淘金術！ 懂得找出資料的價值、萃取可用的資訊，就能將大數據轉化為商業智慧（BI）；嗅出趨勢、解決問題、創造商機，進而創造「偶然的幸運」（serendipity），正是大數據帶領企業持續前進的動力！ 連上Facebook頁面，出現推薦「你可能認識的朋友……」的建議，妳因此而找到失聯已久國中同學。 到amazon.com網站購書，你看到「買這本書的人也買了這些書……」的清單，也正好是自己想讀的書。 只要打一個字，Google就出現「您是不是要查……」的資訊，正確預測到你想找的關鍵字。 事實上，這些「偶然的幸運」（Serendipity），都和善用大數據（Big Data，亦稱巨量資料、海量資料）有關。 上述的企業提供你需要的資料、精準預測到你的下一步，其實並非魔法、也不是憑空而來。這些企業將大數據轉化為商業智慧（BI，Business Intelligence），不僅分析現狀，更懂得預測未來。 大數據是「二十一世紀的新石油」，也是繼資料挖掘（data mining）、雲端運算、社群網站之後，最受矚目的趨勢。如何將龐雜的巨量資料理出脈絡、找到關聯、發掘價值，找出商機，成為決勝關鍵。 本書作者城田真琴，是野村總合研究所（簡稱野村總研）高級研究員，也是大數據領域的權威專家。在日本，野村總研被稱為最有影響力的民間智庫，作者以野村總研獨家調查的第一手資料為基礎，介紹Zynga、Centrica、Catalina Marketing等歐美企業，以及小松（KOMATSU）、瑞可利（Recruit）、GREE等日本企業如何應用大數據的實際案例。 一本書，讓你認清資料（data）、資訊（information）與情報（intelligence）的不同，不僅要看得到、看得懂，還要能用得出來，進而找到真正的商機所在！ 【名家推薦】 ◎吳世鈺（美商天睿資訊系統有限公司（Teradata）台灣分公司總經理） ◎詹宏志（PC HOME網路家庭董事長） 「本書提出許多實際成功應用的案例，列出相關互動隱私及安全的議題，是一本有相當廣度的巨量資料相關讀物，很適合關心未來的知識分子閱讀。」 ——楊千（國立交通大學經營管理研究所教授） 「我很喜歡作者城田真琴在本書中提出的許多細微的觀察，例如，在說明亞馬遜（Amazon）電子商務的「協同過濾」（Collaborative Filtering）技術時，引經據典地介紹「偶然的幸運」（Serendipity）這個詞，這是來自英國小說家霍雷斯．華爾波（Horace Walpole）在1754年的新創文字，描述消費者意外擁有幸運或是發現有價值事物的奇特心情，很傳神地說明了給消費者不可預期的幸運，正是巨量資料技術不斷前進的動力啊！」 ——陳志仁（台灣野村總研諮詢顧問股份有限公司副總經理） 「本書的付梓，提供了一個巨量資料生態圈比較完整的面貌，是非常好的出發點。其中最值得推薦閱讀的部分，在於日本企業小松（KOMATSU）、瑞可利（Recruit）、GREE等，如何運用巨量資料強化地域經濟的思維。在面臨全球產業布局和硬體利潤微薄化的今日，如何槓桿地域劣勢，轉化為全球區域發展的特色核心，日本政府和民間的過來經驗，不失為台灣各界的參考基準。」 ——徐子涵 Schee（英國開放知識基金會地區大使、Fertta Communications執行長） 「想要做Big Data（巨量資料）的人請先認清楚：什麼是Data（資料）?存得起來的，就是storage（儲存）。看得到的，才是data（資料）。看得懂的，叫做information（資訊）。用得出來的，才能稱為intelligence（情報、智慧）。很高興看到這本書並未落入坊間許多一窩蜂介紹工具的潮流，而能把主要的篇幅用在許多其他重要的面向。希望讀者在看完本書之後，能對如何萃取周遭的資訊並加以運用有更深一層的認識，並從Big Data進步到Big Intelligence的層級。」 ——翟本喬（和沛科技股份有限公司總經理，曾任台達電子雲端技術中心資深處長、Google Platforms Architect。） 「身處於強調「與其相信一個人的判斷，不如相信千萬人的巨量資料」的時代，身為決策者，已經不能只靠直覺或數字，更必須融合資料科學，從各種消費紀錄、社群網站的輿情觀測、打卡定位等資料中萃取價值，做為決策參考之用。未來這段時間，所有從事行銷或商務的人，都將會遭到「巨量資料」淹沒，在載浮載沉之間，我推薦這本書當作你我的浮木，讓我們面對資訊洪流（data deluge），卻依然能一窺堂奧。」 ——劉奕成（英商巴克萊銀行台北分行董事總經理、台灣金融分析專業人員協會〔CFA台灣分會〕理事長、《小日子享生活誌》創辦人） 「閱讀本書最大的收穫，並不是了解巨量資料的重要性，而是知道巨量資料可以如何應用在商業上？巨量資料帶給我們的衝擊會愈來愈大，你最好從現在就開始習慣。是的，我們活在廣袤的資料流中。而此刻，你無需驚慌，只需要有一本好書指引。帶著本書，讓我們啟航吧！」 ——鄭緯筌Vista（資深部落客、獨立媒體人） 目錄： 【導讀】 創造「偶然的幸運」（serendipity），正是巨量資料技術不斷前進的動力 （台灣野村總研諮詢顧問股份有限公司副總經理 陳志仁） 【推薦序】 當商業智慧隱藏在雲深不知處 （國立交通大學經營管理研究所教授 楊千） Big Data, Big Intelligence：從資料、資訊到情報 （和沛科技股份有限公司總經理 翟本喬） 當巨量資料與社會脈絡交集 （英國開放知識基金會地區大使 徐子涵 Schee） Data、Data、Data：我們活在廣袤的資料流中 （資深部落客 鄭緯筌Vista） 老大哥在看著你：Big Data? Big Brother? （英商巴克萊銀行台北分行董事總經理 劉奕成） 前言 第一章 什麼是巨量資料 資料洪流（The Data deluge） 巨量資料的3V特性 廣義的巨量資料 為什麼到現在巨量資料才受到眾人的矚目？（1）巨量資料的民主化 為什麼到現在巨量資料才受到眾人的矚目？（2）硬體性價比的提升與軟體技術的進化 為什麼到現在巨量資料才受到眾人的矚目？（3）雲端的普及 從「分析過去」到「預測未來」 商業智慧與巨量資料的交會 從點（交易資料）到線（互動資料）的分析 巨量資料分析的起源 本章重點整理 第二章 支撐巨量資料的技術 人才短缺 什麼是Hadoop 與日俱增的套件 眾多套件版本並存的原因 NoSQL資料庫 創投也對Hadoop、NoSQL開發企業投以熱切的目光 巨量資料時代的資料處理基礎 備受矚目的分析資料庫 串流資料（即時資料）處理 自行開發串流資料處理技術的網路公司 機器學習、統計分析等 自然語言處理、其它 本章重點整理 第三章 以巨量資料為核心競爭力的企業 歐美企業篇 快速成長之網路公司的巨量資料運用技巧 eBay：每天產生50 TB的資料 (1)遠超乎想像的巨量資料產生速度 (2)eBay的資料分析基礎 Zynga：披著遊戲開發商外皮的資料分析公司 (1)社群遊戲經濟的重要指標 (2)提升病毒係數的機制 (3)遊戲其實是資料驅動營運 (4)三次點擊原則 Centrica：藉由引進智慧電表分析能源消耗模式 (1)英國電費、瓦斯費收費的實際狀況 (2)引進智慧電表後的影響 卡特琳娜行銷集團：以「收銀台優待券」設計顧客的消費行為 (1)儲存了超過一億人份的消費紀錄 (2)預測顧客的消費行為，帶動門市買氣 本章重點整理 第四章 以巨量資料為核心競爭力的企業 日本企業篇 日本國內也開始運用巨量資料 小松（KOMATSU）：日本運用巨量資料的先驅 瑞可利（Recruit）：徹底運用Hadoop資料分析，成功改造企業文化 (1)幾乎全公司上下都用Hadoop (2)支撐瑞可利巨量資料分析的Hadoop基礎 (3)成功的祕訣在於組織體制 (4)對於瑞可利而言，Hadoop的「真正價值」究竟是什麼？ GREE：資料驅動型營運方式是快速成長的原動力 (1)與其相信一人的判斷，不如相信數千萬人的資料 (2)資料驅動型營運方式的根基來自對於日誌資料的執著 (3)具備多種技能的專業人士齊聚一堂 (4)將溝通不良減至最少的團隊體制 日本麥當勞：在現實世界實現一對一行銷 （One-To-One Marketing） (1)劃時代優待券背後的周全準備 (2)把焦點集中在做為集點卡的行動電話與智慧型手機 本章重點整理 第五章 巨量資料的運用模式 巨量資料的運用案例 (1)精準推薦商品或服務 (2)行為定位廣告 (3)運用地點資訊的行銷 (4)糾出盜刷 (5)顧客流失分析 (6)預測設備故障 (7)驗出異常 (8)改善服務 (9)預測路況 (10)預測電力需求 (11)預測感冒流行 (12)預測股市行情 (13)油資成本的最佳化 巨量資料的運用模式分類 (1)個別優化×批次處理型 (2)個別優化×即時資訊型 (3)全體優化×批次處理型 (4)全體優化×即時資訊型 巨量資料的運用深度 (1)掌握過去與現狀 (2)發現行為模式 (3)預測 (4)優化 【專欄】動態定價 巨量資料運用的真正價值 本章重點整理 第六章 巨量資料時代的隱私權問題 隱私權與創新的兩難 美國國會也表示關注 製作網路個資檔案的是與非 請勿追蹤（Do Not Track） 消費者隱私權保護法案 採用選擇性參與方式的歐盟 資料保護綱領也進行修正 (1)引進「抹掉過去」的權利 (2)使用者尚未明確表示同意前，不得使用其個人資料 (3)制定資料可攜（Data Portability）的權利 (4)擴大說明責任 日本的法令架構是《個人資訊保護法》加上分別針對各領域訂定的指導原則 部分指導原則在提供資訊予第三人上採用選擇性參與方式 日本政府的評估狀況 以「資訊大航海計畫」為契機開始評估的經濟產業省 由生活紀錄的角度進行議論的總務省 線索就在與使用者的「對話」 實體世界裡的行為追蹤 本章重點整理 第七章 開放資料時代的到來與資料市場的興盛 「活用外部公開資料」的選項 風起雲湧的連結開放資料（LOD，Link Open Data）運動 影響擴及開放式政府 如雨後春筍般不斷出現的新創企業 透過比賽促進資料運用 落後一步的日本 日本國內因三一一大地震而略有進展的開放資料使用 資料市場的興盛 (1)Factual (2)Windows Azure Marketplace (3)Infochimps (4)Public Data Sets on AWS 商業模式各有不同 熱絡的資料市場存在著不容忽視的課題 本章重點整理 第八章 面對巨量資料時代該有的準備 巨量資料時代的企業IT策略 開始邁向資料分享的日本企業 (1)LAWSON×Yahoo (2)KDDI×樂天 (3)COOKPAD×ID’s 擁有原創資料的好處 供應商的新商機在提供「資料整合服務」 誰能成為資料整合公司 美國的支付服務業者明顯朝「資料整合公司」發展 (1)VISA (2)PayPal (3)美國運通 讓原創資料搖身一變成為「貴重資料」的絕妙資料組合 全世界對資料科學家的需求愈來愈高 資料科學家需具備的技能 資料科學家需具備的資質 (1)溝通能力 (2)創業家精神 (3)好奇心 相關人才嚴重不足 相關研究所開始設立 鉅額資金流向巨量資料分析企業 日本也開始對資料科學家展開搶人大戰 最後的一道關卡－－組織體制與企業文化 朝向資料驅動型企業邁進 本章重點整理 謝詞 參考文獻 圖表索引
作 者： 城田真琴Makoto SHIROTA 譯 者： 梁世英,鐘慧真 出版社： 經濟新潮社 I S B N ： 9789866031366 頁 數： 320 規 格： 14.8cm×21cm 裝 別： 平裝 印 刷： 單色 出版日期： 2013 年 08 月 09 日
