国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

Ilya Sutskever:ChatGPT 的幕后天才

2023-10-23 04:15:24俞靈琦
華東科技 2023年9期
關鍵詞:神經(jīng)元神經(jīng)網(wǎng)絡實驗室

本刊記者/俞靈琦

正是在Ilya Sutskever 的領導下,OpenAI在開發(fā)尖端技術和推動人工智能領域的發(fā)展方面取得了重大進展。

ChatGPT,因其更高的智能程度、更寬泛的領域知識、更靈活的響應能力、更自然的對話語境使整個互聯(lián)網(wǎng)都受到極大的沖擊。可以說,ChatGPT 的成功不應僅僅被看作新一代聊天機器人的突破,而應該重視其對人工智能乃至整個信息產(chǎn)業(yè)帶來的革命。

近日,人工智能實驗室OpenAI 又丟下一顆“重磅炸彈”。據(jù)官方推特宣布,安卓版ChatGPT 已在美國、印度、孟加拉國和巴西提供下載,并計劃在近期推廣至更多國家。ChatGPT正在拓展渠道,獲得更多的用戶和更強的使用粘性,在引發(fā)人工智能領域引發(fā)新一輪科技競賽同時,也讓生成式AI 的浪潮在持續(xù)推高。

隨著ChatGPT 的橫空出世,我們不應忘記在它背后默默無聞的天才。Ilya Sutskever 是OpenAI 的聯(lián)合創(chuàng)始人和首席科學家。正是在他的領導下,OpenAI 在開發(fā)尖端技術和推動人工智能領域的發(fā)展方面取得了重大進展。

求知不息,前行不止

Ilya Sutskever 出生在俄羅斯,在以色列長大,16 歲時他的父母移居加拿大。Ilya Sutskever 的父母希望全家過上更好的生活,但移居美國通常比移居加拿大更復雜,而當你搬到加拿大時,多倫多通常是第一個去的地方。

“我的父母說我從小就對AI很感興趣。我也很受意識的激勵。我對它感到非常不安,我對可以幫助我更好地理解它的事物感到好奇?!盜lya Sutskever 談道,“因為我們搬到了加拿大,我立即能夠加入多倫多大學。我真的很想做機器學習,因為那似乎是人工智能最重要的方面,在當時是完全無法接近的?!?/p>

在這樣的熱情下,Ilya Sutskever 在多倫多大學讀本科期間,遇見了對于他而言在人工智能領域重要的導師——深度學習三巨頭之一的Geoffrey Hinton 教授。

Geoffrey Hinton,加拿大認知心理學家和計算機科學家,被譽為“人工智能教父”。他現(xiàn)任谷歌副總裁兼工程研究員,同時在多倫多大學教書育人,也是VectorInstitute首席科學顧問。2018 年因作為“深度學習領域的三大先驅(qū)之一”獲得圖靈獎,被彭博社選為2017 年改變?nèi)蛏虡I(yè)格局的50 人。

Ilya Sutskever 想加入Geoffrey Hinton 教授的深度學習實驗室。于是,他在某天直接敲開Geoffrey Hinton 教授辦公室的門,詢問自己是否可以加入實驗室。教授讓他提前預約,但Ilya Sutskever 不想再浪費時間,所以他立即問:就現(xiàn)在怎么樣?

Geoffrey Hinton 意識到Ilya Sutskever 是一個敏銳的學生,于是給他2 篇論文讓他閱讀。1 周后,Sutskever 回到教授辦公室,然后告訴教授他不理解。

“為什么不理解?”教授問。

Ilya Sutskever 解釋說:“人們訓練神經(jīng)網(wǎng)絡來解決問題,當人們想解決不同問題時,就得用另外的神經(jīng)網(wǎng)絡重新開始訓練。但我認為人們應該有一個能夠解決所有問題的神經(jīng)網(wǎng)絡?!?/p>

這段話展示了Ilya Sutskever 得出結(jié)論的獨特能力,而這種能力即使是有經(jīng)驗的研究人員也需要花費數(shù)年時間才能找到,Geoffrey Hinton 于是向他發(fā)出邀請,希望他加入自己的實驗室。這也開啟了Ilya Sutskever 的人工智能夢。

“多虧與Geoffrey Hinton 合作,我才有機會研究我們這個時代最重要的一些科學問題,并追求大多數(shù)科學家都非常不理解,結(jié)果卻是完全正確的那些想法?!盜lya Sutskever 表態(tài)道。

堅守初心,夢圓Open AI

“智力究竟是如何運作的呢?我們怎樣才能使計算機稍微智能一點呢?我有一個非常明確的意圖,即為AI 做出很小但真正的貢獻。所以,我能理解智力是如何運作的嗎?并為此做出貢獻?這是我最初的動機。”Ilya Sutskever 說道。

帶著這份初心,Ilya Sutskever 在人工智能道路上前行著,然而一開始卻并不順利。Ilya Sutskever 一直記得2000 年前后在Geoffrey Hinton 的實驗室工作的時光。他表示,當時還是“人工智能冬季”,有10個左右的學生在Geoffrey Hinton 的實驗室做研究,那時人工智能研究領域的工作和資金都很匱乏,而且來自行業(yè)的資助也越來越少。“我們是局外人,但我們覺得我們有一種罕見的洞察力,覺得我們與眾不同?!盜lya Sutskever 說道。

帶著這份信心,Ilya Sutskever 繼續(xù)保持著對于人工智能領域的探索。終于在2012 年,在Geoffrey Hinton 的指導下,Ilya Sutskever 和博士生同學Alex Krizhevsky 開發(fā)了AlexNet,它在2012 年ImageNet LSVRC-2012 的比賽中脫穎而出。

Ilya Sutskever 和Alex Krizhevsky 打破了傳統(tǒng)的手工設計方案,采用了深度神經(jīng)網(wǎng)絡,并突破了75%的準確率大關。因此他們贏得了ImageNet 競賽,從那時起,圖像識別領域煥然一新。

更重要的是,AlexNet 讓Ilya Sutskever 意識到深度學習可以解決任何模式識別問題——只要你有大量深度神經(jīng)網(wǎng)絡訓練的數(shù)據(jù)。

對于神經(jīng)網(wǎng)絡訓練,Ilya Sutskever曾談道:“我意識到,如果你在一個足夠大的數(shù)據(jù)集上訓練大型神經(jīng)網(wǎng)絡,該數(shù)據(jù)集指定了人們所做的一些復雜任務,比如視覺,那么你必然會成功。它的邏輯是不可簡化的;我們知道人腦可以解決這些任務,并且可以快速解決。而人腦只是一個神經(jīng)元速度較慢的神經(jīng)網(wǎng)絡。因此,我們只需要采用一個較小但相關的神經(jīng)網(wǎng)絡并在數(shù)據(jù)上對其進行訓練。計算機內(nèi)部最好的神經(jīng)網(wǎng)絡將與我們大腦中執(zhí)行此任務的神經(jīng)網(wǎng)絡有關?!?/p>

此后,帶著對于人工智能領域的新思路,Ilya Sutskever 進入谷歌不斷深耕積累。在谷歌的團隊,Ilya Sutskever 參與了谷歌用于大規(guī)模機器學習的開源框架TensorFlow 的開發(fā),提出的Seq2seq 給機器翻譯帶來了革命,也與DeepMind 的研究人員保持聯(lián)系,是AlphaGo 登上《自然》封面論文的作者之一。

2015 年7 月,Ilya Sutskever 參加了Y Combinator 總裁Sam Altman 舉辦的晚宴,在那里他邂逅了此后將改變他命運的人——Greg Brockman。據(jù)說當時,在場的每個人都同意一件事:一個致力于發(fā)展通用人工智能的組織必須是非營利組織,沒有任何競爭性激勵來淡化其使命,它還需要世界上最好的人工智能研究人員。

思想的交匯促使夢想種子加速生根發(fā)芽,在Greg Brockman 的邀請下,2015 年12 月,Ilya Sutskever 邁出了夢想開啟的那一步。Ilya Sutskever 和其他幾名研究人員聚集在一起,嘗試是否還有可能與該領域最優(yōu)秀的人才組成一個研究實驗室。當討論到這個將成為OpenAI 的實驗室時,Ilya Sutskever 意識到他找到了一群志同道合的人,他們與他的信念和愿望相同。

谷歌知道這件事后,向Ilya Sutskever提供了一筆可觀的金額來加入他們。被拒絕后,谷歌將他們的薪資提高到第一年近200萬美元,這是OpenAI 要付給他的兩三倍。但Sutskever 還是愉快地放棄了谷歌數(shù)百萬美元的工作機會,最終成為非營利組織OpenAI的聯(lián)合創(chuàng)始人。

這樣的抉擇印證了Ilya Sutskever 的憧憬:“有可能在我們的有生之年,我們將建立一個在每個有意義的維度上都具有認知能力的人工智能系統(tǒng)?!?/p>

“以最有可能造福人類的方式推進數(shù)字智能并使之成為一個整體”——匯聚著多位像Ilya Sutskever 這樣先驅(qū)者的夢想,Open AI 揚帆起航。

奔跑在人工智能的最前沿

2022 年12 月初,人工智能實驗室Open AI 發(fā)布了一款名為ChatGPT 的自然語言生成模型。

多語言撰寫充滿想象力的詩歌,編寫可運行的程序,快速生成論文摘要,自動制作數(shù)據(jù)表格,糾正文章中的語法和表達錯誤,把一周大事寫成新聞綜述……ChatGPT 不僅能理解很多人類問題和指令,流暢展開多輪對話,也在越來越多領域顯示出解決多種通用問題的能力。可以說,ChatGPT 不僅是新一代聊天機器人的突破,也將為信息產(chǎn)業(yè)帶來巨大變革。

據(jù)官方數(shù)據(jù)顯示,ChatGPT 的用戶數(shù)量在上線5 天后正式突破100 萬。除了暴漲的用戶數(shù)量,ChatGPT 也成為了新的流量密碼,截至發(fā)稿時間,無論是專業(yè)媒體還是社交媒體,都充斥著關于ChatGPT 的討論。查閱百度指數(shù)、微信指數(shù)等幾個國內(nèi)的主流熱點趨勢指數(shù)可知,在過去的兩周里,ChatGPT 的熱度一度超過Alpha GO 的峰值。

“AI 即將取代人類”這一議題也再次引發(fā)了廣泛的公共討論。而在這一系列的討論里,“AI 將取代大量人類工種”“谷歌即將迎來末路”是最為廣泛的觀點,AI 與人類一較高下的時代似乎正在來臨。

我們把時間線再退回到Ilya Sutskever剛進入Open AI 的時期,Ilya Sutskever 領導OpenAI 發(fā)明了GPT-1,隨后發(fā)展到GPT-2、GPT-3 和ChatGPT。GPT(Generative Pretrained Transformer)模型是一系列基于神經(jīng)網(wǎng)絡的語言模型。GPT 模型的每一次更新?lián)Q代,都是自然語言處理領域的突破性進展。

在Ilya Sutskever 的眼里,人腦是世界上最好的智能。人腦是由大量的神經(jīng)元組成的,有非常多的神經(jīng)元。神經(jīng)科學家已經(jīng)研究神經(jīng)元幾十年了,試圖理解它們是如何精確工作的。雖然生物神經(jīng)元的運作仍然神秘,但20 世紀40 年代最早的深度學習研究人員提出了一個非常大膽的猜想:計算機人工神經(jīng)網(wǎng)絡中的神經(jīng)元,有點類似于生物神經(jīng)元,這是一個假設。

“我們現(xiàn)在可以用這個假設來運行這些人工神經(jīng)元,它們要簡單得多,你可以用數(shù)學方法來研究它們。這是一個非常重要的突破。深度學習是反向傳播算法的發(fā)現(xiàn)所導致的,反向傳播算法是這些人工神經(jīng)網(wǎng)絡應該如何學習的數(shù)學方程。它為我們提供了一種使用大型計算機并在代碼中實現(xiàn)這種神經(jīng)網(wǎng)絡的方法?!盜lya Sutskever 說道。

在這基礎上,Ilya Sutskever 進一步闡述GPT 的原理:“GPT 這個大型語言模型的想法是,如果你有一個非常大的神經(jīng)網(wǎng)絡,我們訓練它們從文本的一堆單詞中猜測下一個單詞是什么。你訓練一個大的神經(jīng)網(wǎng)絡從文本中的前一個單詞猜測下一個單詞,你希望神經(jīng)網(wǎng)絡盡可能準確地猜測下一個單詞?,F(xiàn)在發(fā)生的事情是,我們需要回到最初的假設:也許生物神經(jīng)元和人造神經(jīng)元沒有什么不同。因此,如果你有一個像這樣的大型神經(jīng)網(wǎng)絡,可以很好地猜測下一個單詞,也許它與人們說話時所做的沒有什么不同?!?/p>

如今,ChatGPT 已經(jīng)來到了4.0。作為GPT 系列的最新一代產(chǎn)品,與ChatGPT3.0 相比,ChatGPT4.0 在性能和效果上都有了顯著提升,主要體現(xiàn)在它的技術架構(gòu)的創(chuàng)新與升級。據(jù)悉,GPT-4 在律師資格考試中可以擊敗90%的考生。在滿分1600 分的美國大學入學測驗SAT 拿到1300 分。更精準,能提供的事實性描述更多了,正確性也加強了,學會新能力,現(xiàn)在不但可以回應文字,也可以回應圖片。摘要能力直逼專業(yè)編輯。

此外,在Ilya Sutskever 的努力下,過去的數(shù)年里Open AI 取得了許多驚人的成就:他們創(chuàng)建了一個名為Universe 的軟件平臺,用于測量和訓練全球各地的人工智能系統(tǒng)。它旨在讓機器人學習不同的策略;他們創(chuàng)造了人工智能的游戲玩家,在復雜的多人競技游戲Dota2 中,他們有能力擊敗99.95%全球玩家;他們還建立了能完成日本相撲摔跤或者踢足球的虛擬機器人。

對于人工智能的前景和作用,Ilya Sutskever 認為:“任何時候社會上有復雜的情況,哪怕是在一個公司,哪怕是一個中等規(guī)模的公司,都已經(jīng)不是任何一個人所能理解的了。而且我認為,如果我們以正確的方式構(gòu)建AI 系統(tǒng),我認為AI 幾乎可以在任何情況下提供難以置信的幫助。”

猜你喜歡
神經(jīng)元神經(jīng)網(wǎng)絡實驗室
《從光子到神經(jīng)元》書評
自然雜志(2021年6期)2021-12-23 08:24:46
神經(jīng)網(wǎng)絡抑制無線通信干擾探究
電子制作(2019年19期)2019-11-23 08:42:00
電競實驗室
電子競技(2019年22期)2019-03-07 05:17:26
電競實驗室
電子競技(2019年21期)2019-02-24 06:55:52
電競實驗室
電子競技(2019年20期)2019-02-24 06:55:35
電競實驗室
電子競技(2019年19期)2019-01-16 05:36:09
躍動的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
基于神經(jīng)網(wǎng)絡的拉矯機控制模型建立
重型機械(2016年1期)2016-03-01 03:42:04
復數(shù)神經(jīng)網(wǎng)絡在基于WiFi的室內(nèi)LBS應用
基于二次型單神經(jīng)元PID的MPPT控制
電源技術(2015年5期)2015-08-22 11:18:38
嘉祥县| 巴塘县| 沈丘县| 九江县| 铁岭市| 乌拉特前旗| 肃宁县| 京山县| 工布江达县| 呼伦贝尔市| 德昌县| 景德镇市| 海丰县| 凤山市| 丰县| 多伦县| 奉贤区| 莒南县| 金寨县| 桐柏县| 濉溪县| 壶关县| 宁强县| 贵州省| 襄樊市| 磐石市| 呈贡县| 铅山县| 平湖市| 宁陕县| 隆安县| 巴彦淖尔市| 耿马| 顺昌县| 泸西县| 伊金霍洛旗| 临颍县| 宁乡县| 东明县| 齐齐哈尔市| 昌图县|