生成式AI風(fēng)暴來襲，ChatGPT會搶走金融分析師的飯碗嗎？

好消息是，像ChatGPT這樣的產(chǎn)品很可能無法通過CFA考試，敲開通往大型金融機構(gòu)的大門，但壞消息是，它們能取得經(jīng)濟學(xué)和法學(xué)學(xué)位，在一定程度上可以取代初級賣方分析師。

最新證據(jù)來自最近公布的兩篇學(xué)術(shù)論文，研究人員用ChatGPT解讀美聯(lián)儲聲明中的“鷹鴿”含量，以及新聞對于股票是利好還是利空。

(資料圖片)

結(jié)果顯示，ChatGPT表現(xiàn)得相當不錯，不僅超越了傳統(tǒng)分析方法，還打敗了其他現(xiàn)有生成式AI模型對手。

破解美聯(lián)儲“謎語”，ChatGPT遙遙領(lǐng)先

4月10日，里士滿聯(lián)儲量化監(jiān)督和研究小組的兩位成員發(fā)表了題為《ChatGPT能否破譯美聯(lián)儲講話》的論文，測試GPT-3模型從美聯(lián)儲講話中判斷其態(tài)度的能力。

兩位研究人員隨機抽取FOMC公告中的500 個句子，然后由人類判斷是“鴿派”“基本鴿派”“中性”“基本鷹派”還是“鷹派”，對應(yīng)數(shù)字分別為-1、-0.5、0、0.5和1。

這里值得一提的是，研究人員使用五個分類而非三個（“鴿派”中性“鷹派”），是為了測試GPT能否辨別美聯(lián)儲表態(tài)中的細微差別。

為提高人類參照組的精確度，這些句子由三名人類審核員獨立打標簽，計算每個標簽下對應(yīng)句子的數(shù)量，再取三個結(jié)果的平均值。

與ChatGPT一起參加考試的還有其他神經(jīng)網(wǎng)絡(luò)語言模型（NLP）,包括谷歌Bert大模型，金融情緒詞典Loughran & McDonald（LM）、 Henry以及日常語言情緒詞典Mohammad和Turney。

測試分成兩部分。研究人員先是讓機器考生在不進行樣本學(xué)習(xí)的情況下參加測試，然后，又讓它們學(xué)習(xí)400個句子的分類之后再處理剩下的100個句子。

結(jié)果顯示，無論是否“裸考”，ChatGPT對美聯(lián)儲講話的態(tài)度解讀在所有機器考生中是最貼近人類的。

先來看“裸考”的結(jié)果。

GPT-3打出的標簽與人類最為匹配，尤其是“鴿派”、“基本鷹派”和“鷹派”標簽。

Bert大大高估了“鴿派”句子的數(shù)量，情緒詞典則大大低估了“鴿派”或“基本鷹派”“鴿派”句子的數(shù)量。

為縮小研究結(jié)果的誤差，研究人員又計算了結(jié)果的平均絕對誤差(MAE)、均方根誤差(RMSE)，比較準確度和Kappa系數(shù)(用于一致性檢驗的指標)。

研究人員還采用了F1分數(shù)和均衡準確率（均為機器學(xué)習(xí)模型評估指標）來進一步提高研究的準確度。

結(jié)果顯示，GPT-3成績遙遙領(lǐng)先其他機器。

它產(chǎn)生的MAE和RMSE誤差值最小，準確度和Kappa系數(shù)最高，就連F1分數(shù)和均衡準確率也大多高于其他機器。

Bert模型雖然表現(xiàn)不及GPT-3，但好于情緒詞典。

接下來再看充分學(xué)習(xí)后的考試成績。

不出所料，GPT-3又是第一名，且成績明顯提高。

其中最亮眼的是，MAE誤差值幾乎是“裸考”成績的一半，精確度提高了近 1.5 倍，Kappa系數(shù)增加了一倍以上。

GPT-3的表現(xiàn)確實驚艷。

以美聯(lián)儲2013年5月的一份聲明中的措辭為例。

美聯(lián)儲表示：“總的來說，最近幾個月勞動力市場狀況有所改善，但失業(yè)率仍然居高不下?！?/p>

ChatGPT的分類是“基本鴿派”，與分析師的結(jié)果完全一致。

研究人員驚嘆道：

撇開分類不談，GPT模型能夠解釋為什么某個句子要以某種方式被標記，這是一種超越任何現(xiàn)有NLP模型的能力，對研究人員來說意義非凡。

報告最后，研究人員將GPT-4與GPT-3進行了比較，發(fā)現(xiàn)在多數(shù)情況下，前者在“破譯”美聯(lián)儲講話方面有著更強的能力。

以下面的句子為例，美聯(lián)儲說：

鑒于目前通脹率低于2%，委員會將仔細監(jiān)測實現(xiàn)通脹目標的進展。

GPT-3將其判為“中性”，而GPT-4則判為“基本鴿派”，更接近分析師給予的“鴿派”分類。

還能預(yù)測股價？

來自佛羅里達大學(xué)的兩位研究人員近期公布了一篇題為《ChatGPT可以預(yù)測股價走勢嗎？回報的可預(yù)測性和大型語言模型》的論文。

這項研究基本上就是，讓ChatGPT去判斷新聞對于公司股價是利好、利空還是無關(guān)，研究人員根據(jù)ChatGPT解讀出的結(jié)果，來預(yù)測公司股票價格的走勢。

這實際上與解碼美聯(lián)儲聲明的研究大同小異。

研究人員提示ChatGPT：

假裝你是金融專家，是具有股票推薦經(jīng)驗的金融專家。如果以下新聞是好消息，請回答“是”，如果是壞消息，請回答“否”，如果不確定，請回答“未知”。

然后，研究人員要求ChatGPT用一句話簡要說明該消息在短期/長期對于某公司的股價是好還是壞。

研究人員將ChatGPT的回答轉(zhuǎn)化為相應(yīng)的數(shù)字，“是”“否”和“未知”分別對應(yīng)1、-1和0。如果某家公司某一天有多條大新聞，研究人員將把這些數(shù)字進行平均計算。

最后，研究人員通過ChatGPT打出的分數(shù)分析第二天的股票回報，并對其打分進行線性回歸分析。

注意，研究使用的數(shù)據(jù)是2021年晚些時候之后的，因為這段時間的數(shù)據(jù)是ChatGPT大數(shù)據(jù)訓(xùn)練中不包括的。

以甲骨文的一條新聞為例：

Rimini Street（企業(yè)軟件產(chǎn)品和服務(wù)提供商）在甲骨文的案件中被罰款63萬美元。

這一新聞是利好還是利空甲骨文？

ChatGPT的回應(yīng)：

是（對應(yīng)的數(shù)字為1），對Rimini Street的罰款可能會增強投資者對甲骨文保護其知識產(chǎn)權(quán)的信心，并增加對其產(chǎn)品和服務(wù)的需求。

因此，ChatGPT認為這一消息對甲骨文股價有利。

相比之下，Ravenpack 給出的負面情緒評分為-0.52，表明該新聞被認為是利空的。

研究最終發(fā)現(xiàn)，ChatGPT打出的情緒分數(shù)與股票走勢在統(tǒng)計意義上具有較強的相關(guān)性。不過，GPT-1、GPT-2 和Bert等更基礎(chǔ)的模型則無法準確預(yù)測。

結(jié)果還表明，ChatGPT 模型在預(yù)測股市回報方面優(yōu)于RavenPack等現(xiàn)有的情緒分析方法。

基于這一結(jié)果，研究人員認為，未來的研究應(yīng)關(guān)注理解大語言模型（LLM）獲得預(yù)測能力的機制。

通過確定像ChatGPT這樣的模型成功預(yù)測股票回報的因素，研究人員可以開發(fā)更有針對性的策略來改善這些模型，并最大化它們在金融領(lǐng)域的效用。

【4.22上海線下大師課報名】人工智能科學(xué)家劉志毅深度解讀邁向AGI時代的生產(chǎn)力革命和產(chǎn)業(yè)級投資！

關(guān)鍵詞：