允中 若樸 編譯??自 Stats&Bots

量子位 出品 | 公眾號(hao) QbitAI

我們在某寶首頁(yè)看見(jiàn)的個(gè)性商品，某條上讀到(???)的化推新聞，甚至在各種地方看見(jiàn)的最常廣告，都有賴(lài)于它。用算

昨天，性化一個(gè)名為Sta??ts&Bots的分享法博客詳解了構建推薦系統的五種方法。

量子位編譯如下：

現在，個(gè)??性許多公司都在用大數據來(lái)向用戶(hù)進(jìn)行相關(guān)推薦，化推驅(′ω｀)動(dòng)收入增長(cháng)。最常推薦算法有很多種，用算數據科學(xué)家需要根據業(yè)務(wù)的性化限制和要求選擇最好的算法。

為了簡(jiǎn)化這個(gè)任??務(wù)，分享法Statsbo┐(′?｀)┌t團隊寫(xiě)了一份現有的個(gè)性主要推薦系統(′?｀*)算法的概述。

協(xié)同過(guò)濾(Coll(╯°□°）╯aborative filtering, CF)及其變體是最常用的推薦算法之一。即使數據科學(xué)的新手也可以用它來(lái)構建自己的個(gè)人電影推薦系統，起碼可以寫(xiě)在簡(jiǎn)歷上??。

我們想給用戶(hù)推薦東西，最合乎邏輯方法是找到具有相似興趣的人，(???)分析他們的行為，并向用戶(hù)推薦相同的項目。另一種方法是看看用于以前買(mǎi)的商品，然后給他們推薦相似的。

CF有兩種基本方法：基于用戶(hù)的協(xié)同過(guò)濾和基于項目的協(xié)同過(guò)濾。

無(wú)論哪??種方法，推薦引擎有兩個(gè)步驟：

“最相似”在算法中是什么意思？

我們有每個(gè)用戶(hù)(′?｀*)的偏好向量(矩陣R的行)，和每個(gè)產(chǎn)品的用戶(hù)評分向量(矩陣R的列)，如下圖所示。

首先，我們只留下兩個(gè)向量的值都??已知(zhi)的元素。

例如我們想比較Bill和Jane，已知比爾沒(méi)有看泰坦尼克號，Jane沒(méi)看過(guò)蝙蝠俠，于是，我們只能通過(guò)星戰來(lái)衡量他們的相似度了。誰(shuí)沒(méi)看過(guò)星球大戰呢是吧？

這是一個(gè)非常優(yōu)雅的推薦算法，因為當涉及到矩陣分解時(shí)，我們通常不會(huì )太多地去思考哪些項目將停留在所得到矩陣的列和行中??。但是使用這個(gè)(╯°□°)╯推薦引擎，我們清楚地看到，u是第i個(gè)用戶(hù)的興趣向量，v是第j個(gè)電影(ying)的參數向量。

所以我們可(ke)以用u和v的點(diǎn)積來(lái)估算x(第i個(gè)用戶(hù)對第j個(gè)電影的評分)。我們用已知的分數構建這些向量，并使用它們來(lái)預測未知的得分。

例如，在矩陣分解之后，Ted的向量是(1.4; .8)，電影A的向量是(1.4; .9)，現在，我們可以通過(guò)計算(1.4; .8)和(1.4; .9)的點(diǎn)積，來(lái)還原電影A-Ted的得分。結果，我們得到2.68分。

上面兩種算法都極其簡(jiǎn)單，適用于小型系統。在這兩(???)種方法中，我們把推薦問(wèn)題當做一個(gè)有監督機器學(xué)習任務(wù)來(lái)解決。

現在，該開(kāi)始用無(wú)監督學(xué)習來(lái)解決問(wèn)題了。

假設我們正在建立一個(gè)大型推薦系統，這時(shí)協(xié)同過(guò)濾和矩陣分解花費??的時(shí)間更長(cháng)了。第一個(gè)浮現在腦海里的解決之道，就是聚類(lèi)ヽ(′ー｀)ノ。

業(yè)務(wù)開(kāi)展之(⊙_⊙)初，缺乏之前的用戶(hù)數(shu)據，聚類(lèi)將是最好的方法??。

不過(guò)，聚類(lèi)是一種比較弱的個(gè)(???)性化推薦，因為這種方法的本質(zhì)是識別用戶(hù)組，并對這個(gè)組內的用戶(hù)推薦相同的內容。

當??我們有足夠數據時(shí)，最好使用聚ヾ(′?｀)?類(lèi)作為第一步，來(lái)縮減協(xié)同過(guò)濾算法中相關(guān)鄰居的選擇范圍。這個(gè)??方法還能挺高復雜推薦系統的性能。

每個(gè)聚類(lèi)都會(huì )根據其中用戶(hù)的偏好，來(lái)分配一組典型的偏好(??-)?。每個(gè)聚類(lèi)中的用戶(hù)，都會(huì )收到為這個(gè)聚類(lèi)計算出的推薦內容。

在過(guò)去的十年中，神經(jīng)網(wǎng)絡(luò )已經(jīng)取得了巨大的飛躍。如今，神經(jīng)網(wǎng)絡(luò )已經(jīng)得以廣泛應用，并逐漸取代傳統的機器(qi)學(xué)習方法。

接下來(lái)，我要介紹一下YouTube如何使用深??度學(xué)習方法來(lái)做個(gè)性化推薦。

毫無(wú)疑問(wèn)，由于體量(liang)龐大、動(dòng)態(tài)庫和各種觀(guān)察不到的外部因素，為YouTube用戶(hù)提供推薦內容是(shi)一項非常具有挑戰性的任務(wù)。

以用戶(hù)的瀏覽歷史為輸入，候選生成網(wǎng)絡(luò )可以顯著(zhù)減小可推薦的視頻數量，從龐大的庫中選出一組最相關(guān)的視頻。這樣生成的候選視頻與用戶(hù)的相關(guān)性最高??，然后我們會(huì )對用戶(hù)評分進(jìn)行預測。

這個(gè)網(wǎng)絡(luò )的目標，只是通過(guò)協(xié)同過(guò)濾提供更廣泛的個(gè)性化??。

進(jìn)行到這一步，我們得到一組規模更小但相關(guān)性更高的(de)內容。我們的目標是仔細分析這些候選內容，以便做出最佳的選擇。

這個(gè)任務(wù)由排序網(wǎng)絡(luò )完成。

所謂排序就是根(gen)據視頻描述數據和用戶(hù)行為信息，使用設計好的目標函數為每個(gè)視頻打分(′?ω?`)，得分最高的視頻會(huì )呈獻給用(yong)戶(hù)。

通(tong)過(guò)這兩??步，我們可以從非常龐大??的視頻庫中選擇視頻，并面向用(yong)戶(hù)進(jìn)行有針對性的推薦。這個(gè)方法還能讓我們把其他來(lái)源的內容也容納進(jìn)來(lái)。

推薦任務(wù)是一(′ω｀)個(gè)極端的多類(lèi)分類(lèi)??問(wèn)題。這個(gè)預測問(wèn)題的實(shí)質(zhì)，是基于用戶(hù)(U)和語(yǔ)境(C)，在給ヽ(′ー｀)ノ定的時(shí)間t精確地從庫(V)中上百萬(wàn)的視頻類(lèi)(i)中，對特(???)定的視頻觀(guān)看(Wt)情況進(jìn)行分類(lèi)。

如果(guo)你有一個(gè)龐大的數據庫，而且準備提供在線(xiàn)的推薦，最好把這個(gè)任務(wù)拆分成兩個(gè)子問(wèn)題：

如衡量推薦模型的質(zhì)量？

除了標準質(zhì)量指標之外，還有一些針對推薦問(wèn)題的指標：比如說(shuō)召回率與準確率(https://en.wikipedia.org/wiki/Information_retrieval#Precision_aヽ(′▽?zhuān)?ノt_K)。還有一些其他的指標，見(jiàn)《軟件工程中的推薦系統》一書(shū)第12章(http://www.ict.swin.edu.au/personal/jgrundy/papers/rsse2014.pdf)。

如果你正在使用分類(lèi)算法解決推薦問(wèn)題，應該考慮生成負例樣本。如果(guo)用戶(hù)購買(mǎi)了推薦的商品，你應該將其添加為正例樣本，而(er)其他列為負例樣本。

要從在線(xiàn)得分和離線(xiàn)??得分兩個(gè)方面考察算法質(zhì)量??。一個(gè)只基于歷(′ω｀)史數據的訓練模型，可能會(huì )導致低水平的推(′ω｀)薦，因為算法沒(méi)辦法與時(shí)俱進(jìn)。

個(gè)性化推薦在產(chǎn)品里都能用在哪呢？

量子位曾報道過(guò)知乎、Quora、Airbnb是如何使用機器學(xué)習技術(shù)的，推薦系統是其中的重頭戲：

【完】

一則通知

量子位讀者5群開(kāi)放申請，對人工智能感興趣的朋友，可以添加量子位小助手的微信qbitbot2，ヽ(′▽?zhuān)?ノ申請入群，一起研討人工智能。

另外，量子位大ヾ(?■_■)ノ咖??云集的自動(dòng)駕駛技術(shù)群，僅接納研究自動(dòng)駕駛相關(guān)領(lǐng)域的在校學(xué)生或一線(xiàn)工程師。申請方式：添加qbitbot2為好友，備注“自動(dòng)駕駛”申請加入~

招聘

量子位正在招募編輯/記者等崗位，工作地點(diǎn)在北京中關(guān)村。相關(guān)細節，請在公眾號對話(huà)界面，回復：ヾ(＾-＾)ノ“招聘”。