你的新 AI 金融大師，但代價是什么？

布隆伯格發(fā)布了一項史無前例的公告，可能會永遠改變我們對金融和投資方式的理解。

但為什么？好吧，這很簡單。

想一想世界上最大的金融機構之一在過去四十年中積累的所有財務數(shù)據(jù)，然后想象一個內置所有這些知識的對話式且易于訪問的聊天機器人。

那是 BloombergGPT。

BloombergGPT 代表了世界上最重要的部門金融與人類進步史上的根本性轉變之一生成人工智能之間的融合。

但 BloombergGPT 也可能帶來無法預料的后果，這些后果可能會嚴重影響您的投資，并將金融市場的整體非理性推向新的記錄。

不同的數(shù)據(jù)，不同的結果

Bloomberg 已決定進入看似未開發(fā)的金融 LLM 世界，即為金融任務訓練的 AI 模型，因為這些模型具有巨大的前景。

然而，BloombergGPT（不要因其名稱與 OpenAI 的產品系列混淆）是一種端到端的專有彭博解決方案。

換句話說，他們并沒有簡單地將他們的數(shù)據(jù)連接到 OpenAI 的 GPT-4 API 并根據(jù)他們的需要微調模型——即進一步訓練一個已經(jīng)預先訓練過的模型，比如 GPT-4。

恰恰相反，他們從頭開始創(chuàng)建了一個模型。

特別是，他們將其開發(fā)基于 BLOOM，這是一個由 Hugging Face 的聯(lián)合創(chuàng)始人領導的開源項目，它創(chuàng)建了一個大型語言模型 (LLM)，與 OpenAI 的 GPT 系列相比，任何人都可以訪問，同時大小非常相似。

但這并不是讓 BloombergGPT 真正與眾不同的原因。

成為您最好的財務朋友的 3630 億個理由

盡管身處當今競爭最激烈的行業(yè)之一，BloombergGPT 還是有一個獨特之處。

它是在歷史上最大的金融數(shù)據(jù)集 3630 億個令牌（一個令牌是一組字符或單詞）中訓練的模型。

這意味著這個模型可以準確地描述為 LLM，它更多地接觸了我們所見過的財務數(shù)據(jù)，這讓任何其他可能的比較都非常尷尬。

但這還不是全部。

為了最大限度地提高結果，他們采用了一種新的訓練方法，使用多樣化的數(shù)據(jù)集，其中大約一半是嚴格在領域內的，例如財務報告和新聞，另一半是公開的一般知識信息主要在 Internet 上可用。

根據(jù)執(zhí)行的評估，這使得該模型成為有史以來第一個在金融方面表現(xiàn)出色同時在其他領域也相當出色的 LLM，同時比 GPT-4 等最先進的模型小得多.

但這怎么可能呢？

不做大的 500 億個理由

Bloomberg 對該模型的特殊性持開放態(tài)度，從它“僅”500 億個參數(shù)開始。

自然地，人們傾向于思考：如果這些模型隨著規(guī)模的增長而變得更好，那么當我們擁有 1750 億參數(shù)的 GPT-3、5800 億的 Google Brains 的 PaLM 或巨大的 Megatron 等模型時，為什么只有 500 億參數(shù)- LM 達到瘋狂的 1 萬億？

事實上，參數(shù)的數(shù)量不是任意的，您需要考慮許多因素，例如數(shù)據(jù)集的大小。

如果你訓練的模型對于你的數(shù)據(jù)集來說太大了，你的模型就會過擬合。

也就是說，它會通過記憶來學習完全適應你的數(shù)據(jù)，使其不適用于訓練語料庫之外的數(shù)據(jù)。

相反，如果您的模型對于您的數(shù)據(jù)集來說太小，您的模型將欠擬合，這意味著它不會因為缺乏正確學習數(shù)據(jù)所需的大小而無法很好地進行預測。

出于這些原因，他們使用Hoffmann 等人關于訓練的理想模型大小的指導方針，以 500 億結算。

但令人驚訝的是，盡管它比其他模型小得多，但由于其獨特的訓練數(shù)據(jù)集，它在金融主題上的表現(xiàn)遠遠優(yōu)于其他模型。

總而言之，這里的一切聽起來都很棒，但布隆伯格實際上取得了什么成就？

偉大的計算器，更好的心理學家

BloombergGPT 的評估涉及多項財務任務。這些包括：

1. FPB：金融新聞句子的情感分類任務

2. FiQA SA：預測財經(jīng)新聞和微博頭條中特定方面的情緒。

3. 標題：確定黃金商品領域的新聞標題是否包含特定信息的二元分類任務。

4. NER：用于信用風險評估的金融數(shù)據(jù)命名實體識別任務。

命名實體識別涉及正確識別數(shù)據(jù)中的實體。

例如，對于“Twitter has open source its algorithm”這句話，機器應該能夠將 Twitter 標記為一個組織。

另一方面，對于“Twitter 發(fā)布其最新功能”這句話，Twitter 可以被標記為組織或產品，使其成為一項重要的練習。

5. ConvFinQA：一項任務，需要根據(jù)標準普爾 500 指數(shù)收益報告回答會話問題，報告在公共開發(fā)集上的精確匹配準確性。

不出所料，BloombergGPT 在五項任務（ConvFinQA、FiQA SA、FPB 和 Headline）中的四項（ConvFinQA、FiQA SA、FPB 和 Headline）中的所有模型（GPT-Neo X、OPT 66B 和 BLOOM 176B）中表現(xiàn)最好，并且在 NER 中排名第二，正如我們所見以下：

因此，我們很快就會看到 BloombergGPT 被用于分析市場情緒、解讀新聞標題、制作財務文件，甚至做出交易決策。

太棒了，但代價是什么？

把我們的錢給機器人

在 BloombergGPT 可能做出的所有貢獻中，我敢打賭，讓 Bloomberg 大賺一筆的將是情緒分析。

情緒機器

BloombergGPT 在五個內部特定方面的情緒分析任務上進行了評估，全部使用英語。

任務是：

1. 股票新聞情緒：預測新聞報道中表達的對公司的情緒。

2. 股票社交媒體情緒：預測與財務相關的社交媒體內容中表達的對公司的情緒。

3. Equity Transcript Sentiment：預測公司新聞發(fā)布會的成績單中表達的對公司的情緒。

4. ES News Sentiment：預測新聞報道中表達的關于公司環(huán)境和社會政策的情緒。

5. 國家新聞情緒：預測新聞報道中表達的對一個國家經(jīng)濟的情緒。

BloombergGPT 在這些情緒分析任務上的表現(xiàn)優(yōu)于所有其他模型，如下所示：

現(xiàn)在，我希望你想一想這可能帶來的影響。

讓情緒化的市場更加非理性

如果我們能夠計算出有多少投資決策是完全情緒化的決策，尤其是那些短期到期的決策，我們可能會遠遠超過一個舒適的價值。

事實上，像許多上市公司每天都遭受的情況，比如看到你的 10% 的價值被聊天機器人的錯誤陳述抹去，正如谷歌與巴德看到的那樣，表明金融市場是多么的不合理和荒謬。

然而，數(shù)億美元的資金是基于頭條新聞、有偏見的分析師預測和不明智的決策而轉移的。

例如，人們開始拋售他們在 Republic First Bancorp 的頭寸，將這家銀行的名字與陷入困境的 First Republic Bank 混淆（歇斯底里地，這導致這家銀行的股票價值每月下跌 30%，僅僅因為名字相似到另一家銀行）。

因此，如果這個工具被市場參與者普遍使用，會有多危險？

不受控制的決策和波動

想象一下，所有投資銀行的交易部門和其他強大的市場參與者都開始使用相同的工具來評估市場情緒，以提高日間交易的效率。

突然間，價值數(shù)十億美元的資金將取決于該工具從新聞頭條或財務報告中衡量情緒的程度，從而使公司和散戶投資者可以突然進行投資以尋找額外的一分錢。

自然地，如果大型持有者合并到相同的工具中，波動性將大大增加，因為大部分市場參與者將獲得相同的阿爾法并根據(jù)相同的有偏見的模型得出相同的結論，同時使那些無法利用這些技術的人裸泳被抓。

一個不平等和波動性更高的市場？

如果模型對某些公司產生特定的、無法解釋的偏見，迫使他們對他們產生負面情緒，從而使整個市場都反對他們，那會發(fā)生什么？

總而言之，我的觀點是，在一個已經(jīng)充斥著猖獗的投機和笨拙的決策的市場中，這些模型的極端便利性可以使它們成為決定整體市場走勢的相關因素。

例如，如果交易機器人沒有自動增強這些模型以做出自動交易決策，我會感到非常驚訝。

當然，也有人會提出相反的觀點，認為這些模型也將被用來更好地了解公司，以便根據(jù)他們擁有的大量知識做出更好的決策。

但是，市場對好消息或壞消息的反應速度極快，加上人類在壓力和長時間工作是常見趨勢的工作中必須適應自己并自動做出某些決定的自然趨勢，使我相信潛在的結果這些模型的負面影響可能遠大于正面影響。

最后一句話

BloombergGPT 只是 AI 創(chuàng)新的冰山一角，從中可以看出跟上這項技術的發(fā)展有多么困難。

但是，如果您訂閱我的時事通訊，每周只需 5 分鐘即可完成，因為您將以一種易于閱讀、易于理解的方式深入探討創(chuàng)新主題，為您提供有關 AI 的最新消息和有見地的創(chuàng)新和加密貨幣。