Pre AGI 時代的第一場大型輿論「鬧劇」。

馬斯克和「深度學習三巨頭」之一的 Bengio 等一千多位學界業界人士，聯名呼吁叫停 AI 大模型研究的新聞，刷屏網絡，掀起軒然大波。

GPT 的研究會被叫停嗎？在學界業界看來，AI 真的會對人類產生威脅嗎？這封聯名信是證據鑿鑿的警示還是徒有恐慌的噱頭？支持者、反對者紛紛表態，吵作一團。

在混亂中，我們發現，這份聯名信的真實性和有效性都存在問題。很多位列署名區的人們，連他們自己都不知道簽署了這封聯名信。

另一方面，聯名信本身的內容也值得商榷，呼吁人們重視 AI 安全性的問題當然沒錯，可叫停 AI 研究 6 個月，甚至呼吁政府介入，等待相關規則、共識的制定。這種天真且不切實際的做法，在科技發展的歷史上實屬少見。

與此同時，不少人發現，OpenAI 開放了一批 GPT-4 API 的接口申請，開發者們正興奮地想要將這轟動世界的技術成功應用在他們的產品中。Pre AGI 時代的序幕，已經緩緩拉開。

AI 會停下來嗎？AI 能停下來嗎？

又或者像網友所說的，你想要叫停福特 A 型車的量產嗎？

在福特 T 型車退出市場后，A 型車幫助福特重新奪回汽車銷量的頭把交椅。

截至發稿前，Founder Park 發現，聯名信簽名人數從 1125 減少為 1123 人。

注：極客公園記者凌梓郡對本文亦有貢獻。

01

聯名信說了什么？

在 Future of Life Institute（FLI）的官網上，有著公開信的全文內容，總結如下：

公開信呼吁所有人工智能實驗室，至少在 6 個月內立即暫停訓練比 GPT-4 更強大的人工智能系統研究包括當前正在訓練的 GPT-5。

這封信認為，具有人類競爭力的人工智能系統可能對社會和人類構成深刻的風險，因為這已經得到了廣泛的研究并得到了頂級人工智能實驗室的認可。

此外，該信還呼吁 AI 實驗室和獨立研究者們，利用這個暫停時間共同開發和實施一套共享的高級 AI 設計和開發安全協議，并由獨立外部專家進行嚴格審核和監督。這些協議應確保遵守這些協議的系統是安全的，而且必須有充分的理由證明這種信心，并隨著系統潛在影響的大小而增加。

02

發起方是誰？

Future of Life Institute：生命未來研究所創立于 2014 年 3 月，創始人為麻省理工學院宇宙學家馬克斯·泰格馬克，Skype 聯合創始人讓·塔林，哈佛大學博士生維多利亞·克拉科夫那（Viktoriya Krakovna），波士頓大學博士生、泰格馬克之妻美雅·赤塔-泰格馬克（Meia Chita-Tegmark）與加州大學圣克魯茲分校宇宙學家安東尼·阿吉雷。

官網上介紹的公司使命是：

保護生命的未來，某些技術的開發和使用對地球上的所有生命有著深遠的影響。目前，人工智能、生物技術和核技術就是這種情況。

如果管理得當，這些技術可以改變世界，使今天活著的人和所有尚未出生的人的生活大大改善。它們可以被用來治療和消除疾病，加強民主進程，以及緩解--甚至阻止--氣候變化。

如果管理不當，它們可能會起到相反的作用。它們可能產生災難性的事件，使人類屈服，甚至可能將我們推向滅絕的邊緣。

生命未來研究所的使命是引導變革性技術遠離極端、大規模的風險，并使之有益于生命。

03

誰簽署了聯名信？

截至北京時間 3 月 29 日下午 16 點，公開信簽名人數為 1125 人，我們整理了其中比較知名的一些學者和科技行業的從業人士等。

Yoshua Bengio：約書亞·本吉奧，加拿大計算機科學家，因其在人工神經網絡和深度學習方面的研究而知名。本希奧與杰弗里·辛頓和楊立昆一起獲得 2018 年的圖靈獎，以表彰他們在深度學習方面的貢獻。這三位也被稱為「圖靈三巨頭」。

Stuart Russell：加州大學伯克利分校人工智能統計中心創始人兼計算機科學專業教授，一直關注人工智能領域的發展。同時，他還是人工智能領域里標準教科書《人工智能：現代方法》的作者。

Elon Musk：埃隆·馬斯克，眾所周知，SpaceX、特斯拉和 Twitter 的 CEO，OpenAI 的前股東。

Steve Wozniak：史蒂夫·沃茲尼亞克，蘋果公司聯合創始人。

Yuval Noah Harari：尤瓦爾·赫拉利，耶路撒冷希伯來大學的歷史系教授，《人類簡史》三部曲作者。

Andrew Yang：楊安澤，前進黨創始人暨現任該黨共同黨主席，美國創業組織創始人、2020 年美國總統選舉民主黨初選候選人。

Jaan Tallinn：讓·塔林，Skype 聯合創始人，也是這封公開信的發起網站 Future of Life 的創始人之一。

Evan Sharp：伊文·夏普，Pinterest 聯合創始人。

Emad Mostaque：Stability AI 創始人，Stability AI 成立于 2019 年，目前已經是估值超過 10 億美元的獨角獸企業，旗下產品有 Stable Diffusion 等，Stable Diffusion 是近期熱門的文本生成圖片的應用。

John J Hopfield：約翰·約瑟夫·霍普菲爾德，美國科學家，1982 年發明了聯想神經網絡，現在通常稱為霍普菲爾德網絡。

Rachel Bronson：雷切爾·布朗森，《原子科學家公報》總裁兼首席執行官。《原子科學家公報》由知名物理學家阿爾伯特·愛因斯坦 (Albert Einstein) 和羅伯特·奧本海默（Robert Oppenheimer）等物理學家于 1945 年創立，負責管理「末日時鐘」的倒計時情況。

Max Tegmark：馬克斯·泰格馬克，宇宙學家，現為麻省理工學院教授、基礎問題研究所科學主任。生命未來研究所的創始人之一。

Victoria Krakovna：DeepMind 的研究科學家，也是生命未來研究所的創始人之一。DeepMind 是一家英國的人工智能公司，2014 年被 Google 收購，2016 年他們開發的 AlphaGo 打敗了李世石，引起不小的反響。

我們實測了提交簽名的流程，在提交了個人姓名（杜撰了一個）和郵箱后，會收到這樣的提示，暫時不確認后續的人工確認流程是怎樣的。

03

聯名信有哪些問題？

三巨頭的另外兩位

深度學習學界三巨頭的表態必然會引人關注，Yoshua Bengio 的名字赫然列在聯名者的第一位，那么另外兩位態度如何呢？

泰斗級的 Hinton 還沒有公開表態，但他對 OpenAI 的研究成果一直大加褒獎。

LeCun 的表態更加清晰。

有人在推特上轉發這封聯名信，@LeCun 說他和「深度學習三巨頭」的另一位 Benjio 都簽署了這封聯名信。

Lecun 很快轉發回應：「沒有。我沒有簽署這封信。我不同意他的前提。」

據行業觀察者猜測，LeCun 所說的前提，也許來源于兩方面。

一是所謂「失控的軍備競賽」，LeCun 作為 Meta AI 研究的門面，顯然是參與者之一，一個月前他還在推特上推廣 Meta 的大語言模型 LLaMA；

二是對于當下 LLM 的研究方向，LeCun 一直保持懷疑，在 ChatGPT 剛剛引起公眾關注的時候，他就表示其底層技術沒有了不起的創新，只是一款組合很好的產品而已。「它們有點像那些死記硬背地學習了材料但還沒有真正建立起潛在現實的深刻心智模型的學生。」

Sam Altman 的表態

在推特上，廣為流傳一張 OpenAI CEO Sam Altman 參與簽署的截圖。

但當我們現在去聯名人中搜索 Sam Altman 的名字時，已經找不到了。另外，截圖中有 typo，i 應該是大寫 I。

這也許意味著聯名信初期并沒有嚴格的信息核查機制，填報聯名的人并沒有確認真實身份。借用名人（甚至很多跟 AI 沒關系的名人）。

Sam Altman 近期的確討論過關于 AI 安全性的問題。在著名播客、YouTuber Lex Fridman 的訪談中，他表示 AI 的確存在偏見、人類失業等問題，但唯一的解法是 AI 不斷迭代，盡早學習，盡量避免「只有一次機會、必須做對」的情境。

這一話題的前提是，在訪談開頭，Sam Altman 表達了他對 GPT-4 的看法：

「未來當我們回頭看的時候，我們會認為 GPT-4 是一個非常早期的人工智能（AI），它的處理速度緩慢，有很多 Bug，很多事都做不太好。可是，早期的計算機也是這樣。它們需要幾十年時間的演進，但在當時仍然指明了一條道路，通往一些對我們的生活非常重要的東西。」

其他值得關注的署名者

毫無疑問，「暫停訓練比 GPT-4 更強大的 AI 系統」首先會影響的就是 OpenAI 接下來的技術進展。而這對部分署名者而言，并不是一件壞事。

比如馬斯克。

他正在計劃組建自己的 AI 研究實驗室，開發 ChatGPT 的替代品。過去幾個月，馬斯克對 OpenAI 相關信息狂轟亂炸，一會兒強調 AI 安全性的問題，一會兒又在酸微軟投資 100 億拿到了 OpenAI 的代碼庫，而他作為第一位投資者，什么都沒有得到。

而一個事實是，馬斯克當初退出 OpenAI，是因為特斯拉在 AI 領域的研究與當時還是開源非盈利組織的 OpenAI 的想法背道而馳。

「我仍然很困惑，一個我捐贈了 1 億美元的非營利組織是如何變成一個市值 300 億美元的營利性組織的。」

另一個位于前列的署名者是 Stability AI 的創始人 Emad Mostaque。

他在去年的采訪中曾表示，未來模型會實現在視覺和語言等不同模態之間的信息流通，到那時候，人們說話時就可以制作出精美的 PPT，這已經被微軟實現。Open AI 的發展速度也給他帶來了某種慌亂。ChatGPT 讓人工智能行業的競爭加劇，他曾給員工發短信:「你們都會在 2023 年死去。」

一直跟 LeCun 對戰的計算機科學家 Gary Marcus 也參與了簽名，但這次他的態度有所不同。

紐約大學教授 Gary Marcus（蓋瑞·馬庫斯）一直是深度學習和大預言模型的反對者，他認為依靠海量數據來喂食大模型雖然會繼續發展，但永遠無法達到通用 AI 所需要的能力。在他看來，目前的通用 AI 的研發是一條死路。

他在之前與 LeCun 的關于人工智能的爭論廣為人知，Marcus 在 2022 年公開表示「深度學習撞墻了」，引來了深度學習三巨頭中 Hinton 和 LeCun 的反駁。

不過這一次，他雖然簽名了，卻在自己的 Substack 上表示，他擔心的不是 LLM 變成真正的通用人工智能的風險，而是現在仍然不可靠但被廣泛部署的中等人工智能（New Bing 和 GPT-4）帶來的風險。

還有暢銷書作家，《人類簡史》《未來簡史》的作者尤瓦爾·赫拉利。

他一直在關注 AI 發展的臨界點何時到來。在 2021 年嘗試了 GPT-3 之后，就對 AI 智能的影響有所警醒，他曾在《人類簡史》出版十周年之際寫到，「很快，人工智能就能比我們更近了解我們自己。它是會繼續做我們手中的工具，還是我們會成為它的工具呢？」

幾天前，他剛剛在《紐約時報》發表文章，《你可以吃藍藥丸或紅藥丸，但是我們快沒有藍藥丸了》。

文章中討論了人工智能對人類的威脅，特別是 ChatGPT。他認為，ChatGPT 可能會被用來制造虛假信息、操縱人們的情感和行為、甚至取代人類的創造力和智慧。他呼吁人類采取措施，保護自己免受人工智能的侵害，同時利用它的優勢。他建議人類升級自己的教育、政治和倫理制度，以適應人工智能的世界，并學會掌控人工智能，而不是被它掌控。

聲明全文

以下為 ChatGPT 翻譯版本，經人工編輯初校。

人類智能競爭型的 AI 系統可能會對社會和人類構成深刻的風險，這已經得到廣泛的研究和頂級 AI 實驗室的承認。如阿西洛馬人工智能原則所述，先進的 AI 可能代表著地球生命歷史的深刻變革，應該通過相應的謹慎和資源規劃和管理。但是，即使最近幾個月 AI 實驗室陷入了一場失控的競賽，試圖開發和部署越來越強大的數字智能，甚至連他們的創造者都無法理解、預測或可靠地控制的智能，但我們并沒有看到此類規劃和管理的出現。

現代 AI 系統正在成為一般任務中具有人類競爭力的系統，我們必須問我們自己：我們是否應讓機器用宣傳和不實言論淹沒我們的信息渠道？我們是否應該自動化所有的工作，包括那些充實的工作？我們是否應該開發非人類的頭腦，最終比我們更多、更聰明，更過時、更能替代我們？我們是否應該冒失失去對我們文明的控制？這些決定不應該被委托給非民選的技術領導人。只有當我們確信它們的影響將是積極的，它們的風險將是可管理的時候，才應該開發強大的 AI 系統。這種信心必須得到很好的證明，并隨著一個系統潛在影響的大小而增加。OpenAI 最近在關于人工通用智能的聲明中指出，「在某個時刻，可能有必要在開始訓練未來的系統之前進行獨立審查，并對創建新模型所使用的計算速度進行限制」。我們同意。現在就是那個時候。

因此，我們呼吁所有 AI 實驗室立即暫停訓練比 GPT-4 更強大的 AI 系統，至少暫停 6 個月。暫停應該是公開和可驗證的，包括所有關鍵角色。如果不能迅速實施這樣的暫停，政府應該介入并實施停止令。

AI 實驗室和獨立專家應該利用這個暫停，共同開發和實施一套共享的安全協議，用獨立的外部專家嚴格審核和監督。這些協議應確保符合它們的系統是安全的，超越了合理懷疑的范圍。這并不意味著 AI 開發的總體暫停，而僅僅是從危險的競賽中暫停，邁向更精確、更安全、更可解釋、更透明、更強大、更可靠和更忠誠的現有先進系統。

與此同時，AI 開發者必須與決策者合作，大大加速健全 AI 治理體系的發展。這至少應包括：新的、有能力的針對 AI 的監管機構，對高度能力的 AI 系統和大量計算能力進行監視和跟蹤的機構；可以幫助區分真實和合成并追蹤模型泄漏的來源和水印系統；健全的審計和認證生態系統；對由 AI 造成的傷害負責的責任制；強有力的公共資金支持技術 AI 安全研究；以及處理對民主產生巨大經濟和政治破壞的機構。

人類可以享有 AI 帶來的繁榮未來。我們已經成功創造出強大的 AI 系統，現在我們可以收獲回報，把這些系統設計為真正有益于所有人的系統，并給社會一個適應的機會。社會已經在其他可能對社會產生災難性影響的技術上暫停了。在這里我們也能這樣做。讓我們享受長長的 AI 夏季，不要冒失地進入秋季。

極客一問

你認為有必要叫停 AI 研究嗎？