ChatGPT的橫空出世萬眾矚目，但我們不應忘記在它背后默默無聞的天才。Ilya Sutskever是OpenAI的聯(lián)合創(chuàng)始人和首席科學家。正是在他的領導下，OpenAI在開發(fā)尖端技術(shù)和推動人工智能領域的發(fā)展方面取得了重大進展。

在這篇文章中，我們將探討二十年間，Sutskever是如何從一個年輕的研究人員一步步走到人工智能領域的領導人物之一的。無論你是人工智能愛好者，還是研究人員，或者僅僅是對這一領域的內(nèi)部運作感到好奇的人，這篇文章都會提供寶貴的觀點和信息。

本文遵循以下時間線：

【資料圖】

2003: Ilya Sutskever的拜師之旅

2011: 初識AGI

2012: 圖像識別的革命

2013: 將DNNresearch拍賣給谷歌

2014: 語言翻譯的革命

2015: 從谷歌到OpenAI：人工智能的新篇章

2018: GPT 1、2和3

2021: 開發(fā)DALL-E 1

2022年：向世界揭開ChatGPT的面紗

Ilya Sutskever?

OpenAI的聯(lián)合創(chuàng)始人和首席科學家，2005年畢業(yè)于多倫多大學，2012年獲得CS博士學位。2012年至今，他曾先后就職于斯坦福大學，DNNResearch，Google Brain，從事機器學習與深度學習的相關研究，并于2015年放棄谷歌的高薪職位，與Greg Brockman等人聯(lián)合創(chuàng)建了OpenAI，在OpenAI主導了GPT-1，2，3以及DALLE系列模型的研發(fā)。2022年，他入選英國皇家科學學會院士。他是人工智能領域的先驅(qū)，在塑造人工智能的當前格局方面發(fā)揮了重要作用，并在繼續(xù)推動機器學習的可能性的界限。他對人工智能的熱情讓他的開創(chuàng)性研究熠熠生輝，也由此塑造了深度學習和機器學習領域的發(fā)展歷程。

2003:對Ilya Sutskever的初印象

Sutskever：我不理解，Hinton：為什么不理解，Sutskever：人們訓練神經(jīng)網(wǎng)絡來解決問題，當人們想解決不同問題時，就得用另外的神經(jīng)網(wǎng)絡重新開始訓練。但我認為人們應該有一個能夠解決所有問題的神經(jīng)網(wǎng)絡。

在多倫多大學讀本科時，Sutskever想加入Geoffrey Hinton教授的深度學習實驗室。于是，他在某一天直接敲開了Hinton教授辦公室的門，詢問自己是否可以加入實驗室。教授讓他提前預約，但Sutskever不想再浪費時間，所以他立即問："就現(xiàn)在怎么樣？"

Hinton意識到Sutskever是一個敏銳的學生，于是給了他兩篇論文讓他閱讀。一周后，Sutskever回到教授辦公室，然后告訴教授他不理解。

“為什么不理解？”教授問。

Sutskever解釋說：“人們訓練神經(jīng)網(wǎng)絡來解決問題，當人們想解決不同問題時，就得用另外的神經(jīng)網(wǎng)絡重新開始訓練。但我認為人們應該有一個能夠解決所有問題的神經(jīng)網(wǎng)絡。"

這段話展示了Sutskever得出結(jié)論的獨特能力，而這種能力即使是有經(jīng)驗的研究人員也需要花費數(shù)年時間才能找到，Hinton于是向他發(fā)出邀請，希望他加入自己的實驗室。

2011: 初識AGI

Sutskever：我不認同這個想法（AGI）

Sutskever還在多倫多大學時，曾飛到倫敦去DeepMind找工作。在那里他見到了Demis Hassabis 和 Shane Legg（DeepMind的聯(lián)合創(chuàng)始人），他們正在建立AGI（Artificial General Intelligence，人工通用智能）。AGI是一種通用的人工智能，它能夠像人類一樣思考和推理，并完成與人類智能相關的各種任務，如理解自然語言，從經(jīng)驗中學習，做出決定，以及解決問題。

在當時，AGI并不是嚴肅的研究人員會談論的東西。Sutskever也認為他們已經(jīng)與現(xiàn)實脫節(jié)，所以他拒絕了這份工作，回到了大學，最終于2013年加入了谷歌。

2012: 圖像識別革命

ImageNet競賽中獲勝

Geoffrey Hinton慧眼獨具，在其他人都不相信的時候相信了深度學習。并且他堅信，在ImageNet競賽中獲得成功就會徹底解決這一爭論。

ImageNet競賽：斯坦福大學的實驗室每年都會舉辦ImageNet競賽。他們?yōu)閰①愓咛峁┝艘粋€由精心標記的照片組成的龐大數(shù)據(jù)庫，來自世界各地的研究人員都會來參加比賽，嘗試創(chuàng)建一個能夠識別最多的圖像的系統(tǒng)。

Hinton的兩個學生，伊利亞-蘇茨克沃（Ilya Sutskever）和亞歷克斯-克里切夫斯基（Alex Krizhevsky）參加了這個比賽。他們打破了傳統(tǒng)的手工設計方案，采用了深度神經(jīng)網(wǎng)絡，并突破了75%的準確率大關。因此他們贏得了ImageNet競賽，他們的系統(tǒng)后來被命名為AlexNet。

從那時起，圖像識別領域煥然一新。

后來，Sutskever、Krizhevsky和Hinton發(fā)表了一篇關于AlexNet的論文，這篇論文成為計算機科學領域被引用次數(shù)最多的論文之一，總共被其他研究人員引用了6萬多次。

2013: 將DNNresearch拍賣給谷歌

Sutskever&Krizhevsky：您值得更大比例的分紅。Hinton：你們分我的錢太多了。Sutskever&Krizhevsky：但我們已經(jīng)決定好了，讓您占大頭。Hinton：這體現(xiàn)了他們的人品。

Hinton與Sutskever，Krizhevsky一起，成立了一家名為DNNresearch的新公司。他們沒有任何產(chǎn)品，也沒有在未來打造任何產(chǎn)品的計劃。

Hinton問律師，如何讓他的新公司具有最大的價值，盡管目前只有三名員工，既沒有產(chǎn)品，也沒有底蘊。律師給他的選擇之一是設立一個拍賣會。有四家公司參與了收購：百度、谷歌、微軟和DeepMind（當時還是一家年輕的起步于倫敦的創(chuàng)業(yè)公司）。第一個退出的是DeepMind，其次是微軟，最后只剩下百度和谷歌在競爭。

到某天晚上接近午夜時分，拍賣價格高達4400萬美元，Hinton于是暫停了競標并且去睡了一覺。第二天，他宣布拍賣結(jié)束，并以4400萬美元將他的公司賣給了谷歌，他認為為他的研究找到合適的“家”更重要。在這一點上，Hinton和他的學生們一樣，把他們的想法置于經(jīng)濟利益之上。

平分收益的時候，Sutskever和Krizhevsky堅持認為Hinton應該得到更大的份額（40%），盡管Hinton建議他們不如先睡一覺。第二天，他們?nèi)匀粓猿诌@種分配方式。Hinton后來評論說：“這能體現(xiàn)他們的為人，而非我的”。

在這之后，Sutskever成為了谷歌大腦的研究科學家，他的想法產(chǎn)生了更大的變化，并開始與DeepMind創(chuàng)始人的想法逐漸一致。他開始相信，屬于AGI的未來就在眼前。當然，Sutskever本人也從不畏懼在面對新信息或經(jīng)驗時改變主意。畢竟相信AGI需要的是信仰之躍，正如謝爾蓋-萊文（Sergey Levine，Sutskever在谷歌的同事）對Sutskever的評價：“他是一個不害怕‘相信’的人?！?/strong>

2014: 語言翻譯的革命

Sutskever：正確的結(jié)論是，如果你有一個非常大的數(shù)據(jù)集和一個非常龐大的神經(jīng)網(wǎng)絡，那么取得成功是必然的。（性能最優(yōu)的翻譯器）

在收購了DNNResearch之后，谷歌聘請Sutskever為谷歌大腦的研究科學家。

在谷歌工作期間，Sutskever發(fā)明了一種神經(jīng)網(wǎng)絡的變體，能將英語翻譯成法語。他提出了 “序列到序列學習”（Sequence to Sequence Learning），它能捕捉到輸入的序列結(jié)構(gòu)（如英語的句子），并將其映射到同樣具有序列結(jié)構(gòu)的輸出（如法語的句子）。

他說，研究人員本不相信神經(jīng)網(wǎng)絡可以做翻譯，所以當它們真的能翻譯時，這就是一個很大的驚喜。他的發(fā)明擊敗了表現(xiàn)最好的翻譯器，為谷歌翻譯提供了重大升級。語言翻譯從此變得不一樣了。

2015: 從谷歌到OpenAI：人工智能的新篇章

Sam Altman和Greg Brockman將Sutskever和其他9名研究人員聚集在一起，嘗試是否還有可能與該領域最優(yōu)秀的人才組成一個研究實驗室。當討論到這個將成為OpenAI的實驗室時，Sutskever意識到他找到了一群志同道合的人，他們與他的信念和愿望相同。

Brockman向這10位研究人員發(fā)出了加入他的實驗室的邀請，并給他們?nèi)艿臅r間來決定。谷歌知道這件事后，向Sutskever提供了一筆可觀的金額來加入他們。被拒絕后，谷歌將他們的薪資提高到第一年近200萬美元，這是OpenAI要付給他的兩三倍。

但Sutskever還是愉快地放棄了谷歌數(shù)百萬美元的工作機會，最終成為非營利組織OpenAI的聯(lián)合創(chuàng)始人。

OpenAI的目標是利用人工智能造福全人類，以負責任的方式推進人工智能。

2018: 開發(fā)GPT 1, 2 & 3

Sutskever領導OpenAI發(fā)明了GPT-1，隨后發(fā)展到GPT-2、GPT-3和ChatGPT。

GPT（Generative Pre-trained Transformer）模型是一系列基于神經(jīng)網(wǎng)絡的語言模型。GPT模型的每一次更新?lián)Q代，都是自然語言處理領域的突破性進展。

GPT-1（2018年）：這是該系列的第一個模型，是在一個大規(guī)模的互聯(lián)網(wǎng)文本數(shù)據(jù)集上訓練的。它的關鍵創(chuàng)新之一是使用無監(jiān)督的預訓練，在這種情況下，模型學習根據(jù)前面的單詞的上下文來預測句子中的單詞。這使得該模型能夠?qū)W習語言結(jié)構(gòu)，并生成類似人類的文本。GPT-2（2019年）：在GPT-1的成功基礎上，它在一個更大的數(shù)據(jù)集上進行了訓練，產(chǎn)生了一個更強大的模型。GPT-2的主要進步之一是它能夠就廣泛的主題生成連貫和流暢的文本段落，這使它成為了無監(jiān)督語言理解和生成任務的關鍵角色。?GPT-3（2020年）：GPT-3在規(guī)模和性能上都是一個實質(zhì)性的飛躍。它是在一個大規(guī)模的數(shù)據(jù)集上訓練的，使用了1750億個參數(shù)，比以前的模型大得多。GPT-3在廣泛的語言任務上取得了最先進的性能，如問題回答、機器翻譯和總結(jié)，具有接近人類的能力。它還顯示了執(zhí)行簡單的編碼任務、編寫連貫的新聞文章、甚至生成詩歌的能力。GPT-4：預計很快就會出現(xiàn)，預計就在2023年。2021: 開發(fā)DALL-E 1

Sutskever還領導OpenAI發(fā)明了DALL-E 1，這是一個由AI驅(qū)動的圖像生成模型。它使用了與GPT模型類似的架構(gòu)和訓練過程，但被應用于圖像的生成，而非文本。

今天許多主要的圖像生成器--DALL-E 2、MidJourney--都歸功于DALL-E 1，因為它們基于相同的變換器架構(gòu)，并在類似的圖像數(shù)據(jù)集和相關文字說明上進行訓練。此外，DALL-E 2和MidJourney都是基于DALL-E 1的微調(diào)過程。

2022年：向世界揭開ChatGPT的面紗

2022年11月30日，Sutskever幫忙推出了ChatGPT，這引起了大眾的廣泛關注，并在短短5天內(nèi)就發(fā)展到100萬用戶。

ChatGPT的工作方式是在大量的文本數(shù)據(jù)集上預先訓練一個深度神經(jīng)網(wǎng)絡，然后在特定的任務上對其進行微調(diào)，如回答問題或生成文本。它是一個基于GPT-3語言模型的對話式人工智能系統(tǒng)。

理解對話的背景并產(chǎn)生適當?shù)姆磻荂hatGPT的主要功能之一。該機器人會記住你的對話線索，并根據(jù)以前的問題和答案作出后續(xù)回應。與其他聊天機器人不同的是，這些機器人通常僅限于預編程的反應，而ChatGPT可以在應用中產(chǎn)生反應，使其能夠進行更加動態(tài)和多樣化的對話。

Elon Musk是OpenAI的創(chuàng)始人之一，他說：“ChatGPT優(yōu)秀得可怕。我們離危險的強大人工智能不遠了”。

尾注

Ilya Sutskever對人工智能的熱情推動了他的突破性研究，改變了該領域的進程。他在深度學習和機器學習方面的工作對推進技術(shù)水平和塑造該領域的未來方向起到了重要作用。

我們也親身見證了Sutskever在人工智能領域工作的影響。他已經(jīng)改變了該領域的進程，并將繼續(xù)在這個方向努力。盡管多次面對物質(zhì)上的誘惑，Sutskever還是選擇了追求他的激情，專注于他的研究；他對工作的奉獻對任何研究人員來說都是堪稱典范。

如今我們已經(jīng)見證了Sutskever對我們這個世界的影響。很顯然，這僅僅是個開始。

關鍵詞： 人工智能 神經(jīng)網(wǎng)絡 研究人員 機器學習 圖像識別