 |
 |
 |
| 24小時(shí)熱門版塊排行榜 |
- >論壇更新日志 (3981)
- >考研 (578)
- >導(dǎo)師招生 (461)
- >文獻(xiàn)求助 (168)
- >蟲(chóng)友互識(shí) (134)
- >博后之家 (92)
- >碩博家園 (77)
- >考博 (72)
- >休閑灌水 (64)
- >基金申請(qǐng) (56)
- >論文投稿 (47)
- >公派出國(guó) (34)
- >招聘信息布告欄 (32)
- >SciFinder/Reaxys (18)
- >找工作 (18)
- >教師之家 (17)
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 1740 | 回復(fù): 0 | |||
edison_1新蟲(chóng) (初入文壇)
|
[交流]
遷移學(xué)習(xí)在金融行業(yè)的應(yīng)用探索
|
|
摘要：通過(guò)遷移學(xué)習(xí)技術(shù)，解決少量數(shù)據(jù)（較少重疊樣本和特征）和個(gè)性化（較少標(biāo)記）的問(wèn)題，從數(shù)據(jù)豐富的領(lǐng)域遷移到數(shù)據(jù)匱乏的領(lǐng)域。通過(guò)遷移學(xué)習(xí)在保證模型準(zhǔn)確率的同時(shí)，也提高了建造模型的效率，快速解決問(wèn)題。 關(guān)鍵詞：遷移學(xué)習(xí),聯(lián)邦學(xué)習(xí) 1.引言 遷移學(xué)習(xí)（Transfer Learning）是一種機(jī)器學(xué)習(xí)技術(shù)，它通過(guò)將某個(gè)領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識(shí)或模式應(yīng)用到不同但相關(guān)的領(lǐng)域或問(wèn)題中。遷移學(xué)習(xí)同時(shí)也是一種優(yōu)化，它允許在第二個(gè)任務(wù)上建模時(shí)取得快速進(jìn)步和改善性能。 遷移學(xué)習(xí)其實(shí)離我們的生活并不遙遠(yuǎn)，人類的遷移學(xué)習(xí)能力其實(shí)是與生俱來(lái)的。例如，如果我們已經(jīng)會(huì)打乒乓球，就可以類比學(xué)習(xí)打網(wǎng)球；已經(jīng)學(xué)會(huì)英語(yǔ)，就可以類比著來(lái)學(xué)習(xí)其他語(yǔ)言；再如，如果我們已經(jīng)會(huì)下中國(guó)象棋，就可以類比著下國(guó)際象棋。 根據(jù)學(xué)習(xí)方法的不同，遷移學(xué)習(xí)可以分為以下四個(gè)大類：基于實(shí)例的遷移學(xué)習(xí)（Instance Based Transfer Learning），基于特征的遷移學(xué)習(xí)（Feature Based Transfer Learning），基于模型的遷移學(xué)習(xí)（Model Based Transfer Learning）以及基于關(guān)系的遷移學(xué)習(xí)（Relation Based Transfer Learning）。其中比較熱門的是基于特征和模型的遷移方式。 2.遷移學(xué)習(xí)與聯(lián)邦學(xué)習(xí)的區(qū)別與聯(lián)系 在遷移學(xué)習(xí)中，我們已有的知識(shí)叫做源域（Source Domain），要學(xué)習(xí)的新知識(shí)叫目標(biāo)域（Target Domain）。在機(jī)器學(xué)習(xí)領(lǐng)域中，遷移學(xué)習(xí)研究如何將已有模型應(yīng)用到新的不同的、但有一定關(guān)聯(lián)的領(lǐng)域中。傳統(tǒng)機(jī)器學(xué)習(xí)在應(yīng)對(duì)數(shù)據(jù)的分布、維度，以及模型的輸出變化等任務(wù)時(shí)，模型不夠靈活、結(jié)果不夠理想，而遷移學(xué)習(xí)放松了這些假設(shè)。在數(shù)據(jù)分布、特征維度以及模型輸出變化條件下，有機(jī)地利用源域中的知識(shí)來(lái)對(duì)目標(biāo)域更好地建模。另外，在有標(biāo)定數(shù)據(jù)缺乏的情況下，遷移學(xué)習(xí)可以很好地利用相關(guān)領(lǐng)域有標(biāo)定的數(shù)據(jù)完成數(shù)據(jù)的標(biāo)定。 圖 1 遷移學(xué)習(xí)過(guò)程示例 說(shuō)到遷移學(xué)習(xí)，大家經(jīng)常首先想到的是熱詞“聯(lián)邦學(xué)習(xí)（聯(lián)邦機(jī)器學(xué)習(xí)）”，聯(lián)邦機(jī)器學(xué)習(xí)是一個(gè)機(jī)器學(xué)習(xí)框架，包括模型訓(xùn)練和模型推理兩個(gè)過(guò)程。而遷移學(xué)習(xí)和聯(lián)邦學(xué)習(xí)兩者之間也是有明顯區(qū)分的。聯(lián)邦學(xué)習(xí)是把“碎數(shù)據(jù)”和“數(shù)據(jù)孤島”連接起來(lái)，其設(shè)計(jì)目標(biāo)是在保障大數(shù)據(jù)交換時(shí)的信息安全、保護(hù)終端數(shù)據(jù)和個(gè)人數(shù)據(jù)隱私、保證合法合規(guī)的前提下，在多參與方或多計(jì)算結(jié)點(diǎn)之間開(kāi)展高效率的機(jī)器學(xué)習(xí)。而遷移學(xué)習(xí)是從“大數(shù)據(jù)”到“小數(shù)據(jù)”的遷移，重點(diǎn)解決了“小數(shù)據(jù)”的問(wèn)題，讓知識(shí)可以從一個(gè)源領(lǐng)域遷移到另一個(gè)目標(biāo)領(lǐng)域，是一種“舉一反三”的學(xué)習(xí)能力。 兩者之間又存在著緊密的聯(lián)系，比如在進(jìn)行聯(lián)邦學(xué)習(xí)時(shí)常常需要做知識(shí)遷移，因?yàn)閿?shù)據(jù)孤島分布不均勻，有的大有的小。于是后來(lái)有專家提出的“聯(lián)邦遷移學(xué)習(xí)”，這正是把聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)結(jié)合起來(lái)，發(fā)揮兩種機(jī)器學(xué)習(xí)的優(yōu)勢(shì)。讓不同機(jī)構(gòu)在保護(hù)數(shù)據(jù)隱私的前提下合作，沒(méi)有算法、領(lǐng)域、數(shù)據(jù)類型的限制，而且模型效果無(wú)損失。 3.遷移學(xué)習(xí)解決的主要問(wèn)題 遷移學(xué)習(xí)中存在的三個(gè)研究問(wèn)題，即“遷移什么”、“如何遷移”和“何時(shí)遷移”。而結(jié)合遷移學(xué)習(xí)的特性，從應(yīng)用場(chǎng)景的角度，遷移學(xué)習(xí)解決的主要問(wèn)題包括： （1）小數(shù)據(jù)的問(wèn)題。比如在網(wǎng)上銷售一種新產(chǎn)品A，考慮到?jīng)]有歷史數(shù)據(jù)作為依據(jù)，無(wú)法建立模型對(duì)用戶進(jìn)行推薦。但用戶買某個(gè)產(chǎn)品的同時(shí)同樣有機(jī)會(huì)購(gòu)買另外一些產(chǎn)品，所以如果知道用戶在另外一個(gè)領(lǐng)域，已經(jīng)有了積累的銷售數(shù)據(jù)，比如產(chǎn)品B，利用這些數(shù)據(jù)建一個(gè)模型，結(jié)合用戶買B產(chǎn)品習(xí)慣和A產(chǎn)品習(xí)慣的關(guān)聯(lián)，我們就可以把B產(chǎn)品的推薦模型給成功地遷移到A產(chǎn)品的領(lǐng)域，這樣，在數(shù)據(jù)不多的情況下可以成功推薦一些用戶可能喜歡的A產(chǎn)品。這個(gè)例子就說(shuō)明，我們有兩個(gè)領(lǐng)域，一個(gè)領(lǐng)域已經(jīng)有很多的數(shù)據(jù)，能成功地建一個(gè)模型，有一個(gè)領(lǐng)域數(shù)據(jù)不多，但是和前面那個(gè)領(lǐng)域是關(guān)聯(lián)的，就可以把那個(gè)模型給遷移過(guò)來(lái)。 （2）個(gè)性化的問(wèn)題。比如我們每個(gè)人都希望自己的手機(jī)能夠記住一些習(xí)慣，這樣不用每次都去設(shè)定它，我們?cè)趺床拍茏屖謾C(jī)記住這一點(diǎn)呢？其實(shí)可以通過(guò)遷移學(xué)習(xí)把一個(gè)通用的用戶使用手機(jī)的模型遷移到個(gè)性化的數(shù)據(jù)上面。所謂的千人前面其實(shí)就是大量的用戶數(shù)據(jù)分析，推薦最精準(zhǔn)的功能產(chǎn)品，比如銀行APP首頁(yè)的展示，也是根據(jù)用戶手機(jī)操作的偏好來(lái)排列展示，任何操作應(yīng)該控制在3步以內(nèi)。 4.遷移學(xué)習(xí)的實(shí)際應(yīng)用 （1）機(jī)器人訓(xùn)練 在實(shí)際的機(jī)器人上訓(xùn)練模型是非常緩慢和昂貴的。從模擬中學(xué)習(xí)并且將知識(shí)遷移到現(xiàn)實(shí)世界的機(jī)器人上的方式能緩解這個(gè)問(wèn)題，并且這種方面最近正得到越來(lái)越多的關(guān)注。例如自動(dòng)駕駛汽車。早在5年前Udacity已經(jīng)開(kāi)源了它用來(lái)進(jìn)行無(wú)人駕駛汽車工程納米學(xué)位教學(xué)的模擬器，OpenAI 的 Universe平臺(tái)通過(guò)視頻游戲來(lái)訓(xùn)練無(wú)人駕駛汽車。 （2）圖像理解 從目標(biāo)識(shí)別到行為識(shí)別的很多圖像理解任務(wù)已經(jīng)運(yùn)用了遷移學(xué)習(xí)。通常，這些計(jì)算機(jī)視覺(jué)任務(wù)需要大量有標(biāo)簽數(shù)據(jù)來(lái)訓(xùn)練模型，例如使用眾所周知的 ImageNet 數(shù)據(jù)集。然而，當(dāng)計(jì)算機(jī)視覺(jué)的情景稍有變化（例如從室內(nèi)到室外、從靜止攝像機(jī)變?yōu)橐苿?dòng)攝像機(jī)）時(shí)，需要調(diào)整模型以適應(yīng)新情況。遷移學(xué)習(xí)是解決這些適應(yīng)問(wèn)題的常用技術(shù)。 （3）推薦系統(tǒng) 遷移學(xué)習(xí)也可以用在推薦系統(tǒng)中，在某個(gè)領(lǐng)域做好一個(gè)推薦系統(tǒng)，然后應(yīng)用在稀疏的、新的垂直領(lǐng)域。比如在圖書(shū)商城搜索的行業(yè)書(shū)籍，可以應(yīng)用到不同題材類型的電影。 （4）自然語(yǔ)言處理和文本挖掘 文本挖掘旨在從文本中發(fā)現(xiàn)有用的結(jié)構(gòu)性知識(shí)并將其應(yīng)用于其他領(lǐng)域中。在文本挖掘的所有問(wèn)題中，文本分類旨在用不同的類標(biāo)簽標(biāo)記新的文本文檔。一個(gè)典型的文本分類問(wèn)題是情感分類。在線論壇、博客、社交網(wǎng)絡(luò)等在線網(wǎng)站上有大量用戶生成的內(nèi)容，能夠總結(jié)消費(fèi)者對(duì)產(chǎn)品和服務(wù)的看法非常重要。情感分類能夠通過(guò)將評(píng)論分為正面和負(fù)面兩個(gè)類別來(lái)解決這個(gè)問(wèn)題。但是，在不同的域中，例如不同類型的產(chǎn)品、不同類型的在線網(wǎng)站、不同的行業(yè)，用戶可能使用不同的詞語(yǔ)表達(dá)他們具有相同情感的觀點(diǎn)。因此，在一個(gè)域上訓(xùn)練的情感分類器可能在其他域上表現(xiàn)不佳。在這種情況下，遷移學(xué)習(xí)可以幫助調(diào)整已訓(xùn)練完成的情感分類器以適應(yīng)不同的領(lǐng)域。 （4）個(gè)性化對(duì)話 先訓(xùn)練一個(gè)通用型的對(duì)話系統(tǒng)，然后再根據(jù)特定領(lǐng)域的小數(shù)據(jù)修正它，使得這個(gè)對(duì)話系統(tǒng)適應(yīng)該特定領(lǐng)域的任務(wù)。比如，一個(gè)銀行客戶需要辦理信用卡，他并不想回答所有繁瑣的問(wèn)題，例如信用卡種類，信用卡申請(qǐng)額度，信用卡還款方式、信用卡賬單接收方式等。 圖 2 個(gè)性化對(duì)話系統(tǒng) 5.金融領(lǐng)域遷移學(xué)習(xí)模型設(shè)計(jì)應(yīng)用 （1）金融產(chǎn)品個(gè)性化設(shè)計(jì) 以智慧消費(fèi)金融為例，通過(guò)機(jī)器學(xué)習(xí)設(shè)計(jì)，為信用良好的消費(fèi)者人群提供定制化的金融服務(wù)，鼓勵(lì)其進(jìn)行消費(fèi)。在這里智慧消費(fèi)金融中，設(shè)計(jì)的數(shù)據(jù)特征包括消費(fèi)者的資質(zhì)信息、購(gòu)買能力、購(gòu)買偏好及商品特征等。而這些數(shù)據(jù)特征由不同的單位或公司進(jìn)行管理。比如一個(gè)消費(fèi)者的資質(zhì)信息和購(gòu)買能力可以從銀行、工商、稅務(wù)、房產(chǎn)等多個(gè)維度進(jìn)行判斷，對(duì)于不同商品或服務(wù)的購(gòu)買能力，可以從社交網(wǎng)絡(luò)中分析得出，而商品的特征可以由電商平臺(tái)記錄中獲取。 圖 3 智慧消費(fèi)金融遷移學(xué)習(xí) 在這種場(chǎng)景下面臨了數(shù)據(jù)隱私、數(shù)據(jù)異構(gòu)融合的問(wèn)題，傳統(tǒng)的機(jī)器學(xué)習(xí)方法不能有效地解決。而利用遷移學(xué)習(xí)建立定制化模型，，同時(shí)解決數(shù)據(jù)的異構(gòu)問(wèn)題，克服傳統(tǒng)AI技術(shù)的局限性。 （2）跨機(jī)構(gòu)的金融產(chǎn)品遷移 比如在金融領(lǐng)域中，各家銀行的風(fēng)控模型存在不同，但模型設(shè)計(jì)的目標(biāo)是一致的，起到風(fēng)險(xiǎn)防控、信用評(píng)級(jí)的作用。那么我們可以設(shè)計(jì)A銀行的信用評(píng)估模型通過(guò)遷移學(xué)習(xí)的方式運(yùn)用到B銀行，對(duì)個(gè)人或者企業(yè)的信用進(jìn)行評(píng)分評(píng)級(jí)。而這之間區(qū)別在于可能A、B銀行因?yàn)樗幍乩砦恢貌煌瑢?dǎo)致客戶群體分布不同，這時(shí)如果A、B銀行都使用同一套信用評(píng)估模型，必然會(huì)造成評(píng)估結(jié)果的不準(zhǔn)確。遷移學(xué)習(xí)很好的解決了這個(gè)問(wèn)題，通過(guò)借鑒A銀行模型中B銀行相似的部分，可以建立起屬于B銀行獨(dú)家的信用評(píng)估模型，給不同銀行提供了個(gè)性化模型的可能性。 通過(guò)遷移學(xué)習(xí)的方式，將企業(yè)成長(zhǎng)力模型遷移到了新的授信模型體系中。其中遷移主要體現(xiàn)在以下兩個(gè)方面： 1. 企業(yè)成長(zhǎng)力模型的遷移到調(diào)節(jié)項(xiàng)模型中。 2. “基礎(chǔ)+附加”思想的遷移。 通過(guò)遷移學(xué)習(xí)的方式，我們成功建立了B銀行的授信評(píng)估模型。整個(gè)模型的計(jì)算邏輯如下圖所示： 圖 4 模型計(jì)算邏輯 其中基礎(chǔ)額度模型是選取最重要的幾個(gè)指標(biāo)所建立的模型，而調(diào)節(jié)項(xiàng)模型是通過(guò)遷移學(xué)習(xí)的方式遷移了企業(yè)成長(zhǎng)力模型，再在企業(yè)成長(zhǎng)力模型的基礎(chǔ)上加以優(yōu)化調(diào)節(jié)，使得模型更符合B銀行的業(yè)務(wù)要求。其中調(diào)節(jié)優(yōu)化包括： 1. 增加更多企業(yè)成長(zhǎng)力模型并未涉及的特征，比如B銀行要求的新的企業(yè)能力指標(biāo)。 2. 子指標(biāo)得到父指標(biāo)的計(jì)算方式。 3. 針對(duì)B銀行給出的驗(yàn)證數(shù)據(jù)進(jìn)行各級(jí)指標(biāo)的權(quán)重調(diào)整，使最終模型更適合B銀行的業(yè)務(wù)對(duì)象。 圖 5 不同模型預(yù)測(cè)能力對(duì)比 6.結(jié)束語(yǔ) 遷移學(xué)習(xí)可以成為“小數(shù)據(jù)挑戰(zhàn)”的技術(shù)解決方案。利用這些模型從數(shù)據(jù)豐富的領(lǐng)域遷移到數(shù)據(jù)匱乏的領(lǐng)域，那么久有可能使這些數(shù)據(jù)匱乏的領(lǐng)域更快地邁向一個(gè)以信息和知識(shí)為基礎(chǔ)的社會(huì)。當(dāng)我們見(jiàn)證人類歷史最基本的人工智能革命之一時(shí)，遷移學(xué)習(xí)作為一個(gè)深入的研究領(lǐng)域脫穎而出，它激發(fā)了新的想法和思想，使之深入到智能的本質(zhì)。 在金融業(yè)務(wù)不斷開(kāi)拓創(chuàng)新時(shí)，從產(chǎn)品設(shè)計(jì)、開(kāi)發(fā)、測(cè)試整個(gè)流程中利用遷移學(xué)習(xí)，能夠?qū)崿F(xiàn)降本增效，控制風(fēng)險(xiǎn)，做到事半功倍。相信在未來(lái)不斷探索中更多的金融應(yīng)用場(chǎng)景會(huì)悄然而生。 參考文獻(xiàn) [1] 楊強(qiáng) 張宇 戴文淵 潘嘉林 著.《遷移學(xué)習(xí)》.機(jī)械工業(yè)出版社. 2020年 [2] 楊強(qiáng).《人工智能專家如何解決金融難題》.北大金融評(píng)論總第3期. 2020年 [3] 機(jī)器之心.《什么是遷移學(xué)習(xí)？遷移學(xué)習(xí)的場(chǎng)景與應(yīng)用》.知乎.2019年 作者：盛瀚 北京銀行 |
回復(fù)此樓» 猜你喜歡
材料工程085601調(diào)劑求老師收留
已經(jīng)有11人回復(fù)
-
化工學(xué)碩306求調(diào)劑
已經(jīng)有7人回復(fù)
-
308求調(diào)劑
已經(jīng)有10人回復(fù)
-
工科278分求調(diào)劑
已經(jīng)有3人回復(fù)
-
314求調(diào)劑
已經(jīng)有4人回復(fù)
-
283求調(diào)劑，材料、化工皆可
已經(jīng)有5人回復(fù)
-
NSFC申報(bào)書(shū)里申請(qǐng)人簡(jiǎn)歷中代表性論著還需要在申報(bào)書(shū)最后的附件里面再上傳一遍嗎
已經(jīng)有10人回復(fù)
-
【0856】化學(xué)工程（085602）313 分，本科學(xué)科評(píng)估A類院�；瘜W(xué)工程與工藝，誠(chéng)求調(diào)劑
已經(jīng)有4人回復(fù)
-
（081700）化學(xué)工程與技術(shù)-298分求調(diào)劑
已經(jīng)有9人回復(fù)
-
271求調(diào)劑
已經(jīng)有7人回復(fù)
» 本主題相關(guān)商家推薦: (我也要在這里推廣)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 edison_1 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
