今天小編分享的科學經驗:阿裡達摩院:GPT-4替代年薪60萬的數據分析師只要幾千塊,論文已發,歡迎閱讀。
GPT-4 替代初級數據分析師的成本只有 0.71%,換成高級數據分析師則是 0.45% ……
你沒看錯,是百分之零點七一,不是百分之七十一。
按新加坡行情,年薪8.6 萬 -9 萬美元 ( 60-63 萬人民币)的高級數據分析師,換成 GPT-4 就只需要三四百美元(2000 多人民币)了。
這項結論來自阿裡達摩院與新加坡南洋理工大學的新論文,被網友評價為對 AI 和數據分析領網域感興趣的必讀論文。
具體來說,結論中高級分析師指在金融行業擁有多年工作經驗的數據分析師。
而 GPT-4 的表現,在大多數指标上能與一位 6 年工作經驗的人類相當,正确性低于人類,但復雜性和一致性指标高于人類。
在與另一位 5 年工作經驗的分析師對比中,GPT-4 在信息的正确性、圖表的美觀性、洞察的復雜性等方面輸給人類。
如果與 2 年工作經驗的初級分析師對比,GPT-4 在正确性上表現更好,而且能完成更多的工作。
但 GPT-4 完成所有類型的任務都要比人類快得多。
在假設每個月有 21 個工作日,每天 8 小時工作時間,按市場價支付工資的前提下,得出最終結論。
論文重點考察了 GPT-4 作為數據分析師的以下幾種能力:
生成 SQL 和 Python 代碼
執行代碼獲得數據和圖表
從數據和外部知識源中分析數據,得出結論
200 個樣本的實驗表明,對于繪制圖表任務,GPT-4 能夠理解指令含義,且對圖表類型有一定背景知識,從而繪制出正确的圖表。
圖表大部分清晰可見,沒有任何格式錯誤,圖示的美觀性指标滿分 3 分,GPT-4 平均得分 2.73。
但手工檢查還是能發現一些小錯誤,圖表準确性指标滿分 1 分,GPT-4 平均得分 0.78。
論文中特别說明他們的評估标準非常嚴格,只要 x 軸或 y 軸的任何數據或任何标籤有錯誤,都要扣分。
對于數據分析任務,GPT-4 在一致性和流暢性中平均得到滿分,驗證了生成流暢且語法正确的句子對 GPT-4 來說絕對不是問題。
有意思的是,到了數據分析這一步的準确性要比圖表信息的準确性高得多,說明盡管 GPT-4 畫了錯誤的圖表但分析出了正确的結論。
在案例分析中,研究團隊還總結出三條 GPT-4 與人類數據分析師的主要區别:
人類分析師可以用個人思想和情感來表達,比如在分析時寫 " 令人驚訝的是…… ";人類讀者容易從這樣的表述中理解數據是符合預期還是不正常的。
人類分析師傾向于結合背景知識得出結論,如寫到 " ……常見于…… ";GPT-4 通常只關注提取到的數據本身,允許 GPT-4 上網搜索實時在線信息可以改善這一點。
當提供見解或建議時,人類分析師傾向于保守,如聲明 " 假如數據沒有問題的話…… ";GPT-4 會以自信的語氣直接給出建議,不會提及假設。
另外團隊表示,由于預算有限,主要是雇一個來與 GPT-4 對比的高級分析師太貴了,人工評估和數據标注的數量相對較少。
在最後的結論則是:
實驗結果和分析表明,GPT-4 在數據分析上有與人類相當的性能,但是否可以取代數據分析師需要近一步研究才能得出結論。
論文:
https://arxiv.org/abs/2305.15038