2022年，AI內(nèi)容生成（AIGC）被Science雜志評選為2022年十大科學(xué)突破之一，這說明AIGC無論是在技術(shù)上還是在應(yīng)用上都極具潛力。以往，AIGC也會在某一領(lǐng)域現(xiàn)象級爆火，但最后總會歸于沉寂（如Stable Diffusion繪畫生成），其落地應(yīng)用及產(chǎn)生價值一直是產(chǎn)業(yè)界和投資界探尋的方向。ChatGPT的出現(xiàn)使得AIGC強化了內(nèi)容與生產(chǎn)力的連接，從此AIGC的應(yīng)用不再僅僅停留于對藝術(shù)類產(chǎn)品的表達(dá)和抽象，也能有對內(nèi)容的明確反饋和更類似于人類表達(dá)習(xí)慣的描述，從而把AIGC從玩具進(jìn)化為產(chǎn)品，邁出了AIGC大規(guī)模推廣應(yīng)用的重要一步。

那么，ChatGPT是什么，ChatGPT有哪些應(yīng)用，又有哪些局限性呢？

一、ChatGPT是什么

ChatGPT是OpenAI公司發(fā)布的一款A(yù)I對話機器人，一經(jīng)發(fā)布就爆火網(wǎng)絡(luò)，自發(fā)布之日起短短五天內(nèi)已積累100萬用戶，迅速沖上流量高峰。相較以往的對話機器人，ChatGPT能夠更好的應(yīng)對如個性化搜索任務(wù)、邏輯解析、寫作內(nèi)容以及輔助編程等自然語言（Nature Language Process，NLP）任務(wù)，并能夠?qū)崿F(xiàn)相對準(zhǔn)確、完整的多輪次對話。

當(dāng)然，對于一些開放式問題，如復(fù)雜邏輯推理、預(yù)測趨勢等，ChatGPT往往給出“邏輯正確的空話”，不能完全解決問題。但是瑕不掩瑜，ChatGPT的成功仍然是AI技術(shù)的一次重大突破，這意味著AIGC具備實用價值、能夠提升生產(chǎn)力，也意味著AI與現(xiàn)實世界的距離又近了一步。

那么，OpenAI是如何實現(xiàn)這個歷史級別的AI產(chǎn)品的呢？

二、ChatGPT的科技與狠活

ChatGPT與它的兄弟模型InstructGPT一樣，都是在GPT3.5大規(guī)模預(yù)研模型的基礎(chǔ)上進(jìn)化而來。GPT是一種生成式的預(yù)訓(xùn)練模型，最早由OpenAI團(tuán)隊于2018年發(fā)布，比近些年NLP領(lǐng)域大熱的Bert還要早上幾個月。在經(jīng)歷了數(shù)年時間的迭代，GPT系列模型有了突飛猛進(jìn)的發(fā)展。

這其中，GPT-1使用無監(jiān)督預(yù)訓(xùn)練與有監(jiān)督微調(diào)相結(jié)合的方式，GPT-2與GPT-3則都是純無監(jiān)督預(yù)訓(xùn)練的方式，相比GPT-2，GPT-3主要是在數(shù)據(jù)量、參數(shù)量方面實現(xiàn)數(shù)量級提升。GPT模型應(yīng)用于不同任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

那么，ChatGPT是如何基于GPT-3這樣的模型衍生出的呢？OpenAI并未公布ChatGPT的技術(shù)細(xì)節(jié)，從網(wǎng)絡(luò)公開信息和論文來看，ChatGPT應(yīng)用帶有人工標(biāo)注反饋的強化學(xué)習(xí)（Reinforcement Learning from Human Feedback，RLHF），使用GPT3.5大規(guī)模語言模型作為初始網(wǎng)絡(luò)結(jié)構(gòu)，使用收集數(shù)據(jù)增強的InstructGPT進(jìn)行模型訓(xùn)練，訓(xùn)練過程可以大致分為三個步驟：

1.監(jiān)督調(diào)優(yōu)預(yù)訓(xùn)練模型

在少量標(biāo)注數(shù)據(jù)上對預(yù)訓(xùn)練模型進(jìn)行調(diào)優(yōu)，輸出有監(jiān)督策略微調(diào)（Supervised Fine Tuning，SFT）模型。

該步驟可細(xì)分為三步：

（1）收集數(shù)據(jù)形成提示數(shù)據(jù)集（prompt dataset），內(nèi)含大量的提示文本用于介紹任務(wù)內(nèi)容，即提問題；

（2）有標(biāo)注員對提示列表進(jìn)行標(biāo)注，即回答問題；

（3）使用這個標(biāo)注過的prompt dataset微調(diào)預(yù)訓(xùn)練模型。

關(guān)于預(yù)訓(xùn)練模型的選擇，ChatGPT選擇了 GPT-3.5 系列中的預(yù)訓(xùn)練模型（text-davinci-003），而不是對原始 GPT-3 模型進(jìn)行調(diào)優(yōu)。

2.訓(xùn)練獎勵模型

標(biāo)注者們對相對大量的 SFT 模型輸出進(jìn)行投票，這就創(chuàng)建了一個由比較數(shù)據(jù)組成的新數(shù)據(jù)集。在此數(shù)據(jù)集上訓(xùn)練的新模型，被稱為獎勵模型（Reward Model，RM）。

該步驟也可細(xì)分為三步：

（1）使用SFT模型預(yù)測prompt dataset中的任務(wù)，每個prompt任務(wù)生成4到9個結(jié)果；

（2）標(biāo)注員對每個prompt的預(yù)測結(jié)果，按從好到壞順序進(jìn)行標(biāo)注；

（3）用標(biāo)注結(jié)果訓(xùn)練一個RM模型。

3.使用強化學(xué)習(xí)方法持續(xù)優(yōu)化模型

應(yīng)用強化學(xué)習(xí)中的近端策略優(yōu)化（Proximal Policy Optimization，PPO）技術(shù)，進(jìn)一步優(yōu)化獎勵模型以實現(xiàn)調(diào)優(yōu)SFT模型。

該步驟可細(xì)分為五步：

（1）收集數(shù)據(jù)形成新的prompt dataset；

（2）將PPO策略應(yīng)用于有監(jiān)督數(shù)據(jù)微調(diào)過的的預(yù)訓(xùn)練模型；

（3）通過模型預(yù)測新的prompt dataset，得到數(shù)個輸出；

（4）使用獎勵模型對數(shù)個輸出進(jìn)行打分，計算獎勵分值（reward）；

（5）使用reward對基于PPO策略的模型進(jìn)行迭代更新。

以上三個步驟中，步驟一只進(jìn)行一次，步驟二和步驟三持續(xù)重復(fù)進(jìn)行，直至最終形成一個成熟穩(wěn)定的模型。

ChatGPT模型構(gòu)建過程值得借鑒的有兩點：一是在強化學(xué)習(xí)中使用獎勵模型，訓(xùn)練過程更穩(wěn)定且更快收斂。在傳統(tǒng)NLP任務(wù)中，對話模型的設(shè)計一直是個難點，引入了強化學(xué)習(xí)后，雖然可以解決對話問題，但如何建模獎勵機制又成為了設(shè)計難題。ChatGPT采用訓(xùn)練獎勵模型并不斷迭代的方案，以一個提示詞和多個響應(yīng)值作為訓(xùn)練輸入，并輸出獎勵模型，實現(xiàn)了訓(xùn)練的收斂。

二是使用SFT策略微調(diào)模型，有效利用大模型能力，同時避免過擬合。GPT-3用對應(yīng)的SFT數(shù)據(jù)集訓(xùn)練16次完整數(shù)據(jù)集，每一次都是一個輸入對應(yīng)一個輸出，對比獎勵模型，給與獎勵或者懲罰，但是這樣訓(xùn)練的過擬合程度較高，甚至在第一次完整數(shù)據(jù)集訓(xùn)練后已經(jīng)存在過擬合現(xiàn)象。ChatGPT在GPT-3基礎(chǔ)上進(jìn)行了優(yōu)化，每個輸入對應(yīng)多個輸出，人工進(jìn)行輸出結(jié)果排序，這樣就能夠讓訓(xùn)練過程更接近人類思維模式，也有效避免了過擬合。

三、ChatGPT的局限性分析

當(dāng)然，就像前文提到的，ChatGPT也并非完美無缺，仍有一定的優(yōu)化空間，筆者將從技術(shù)角度嘗試進(jìn)行初步分析。

1.不可信性

對于AI對話生成模型而言，可解釋性很重要，尤其是在推理、反饋等場合更需要嚴(yán)謹(jǐn)可追溯的解答，但是ChatGPT并沒有針對問題來源做解釋說明，這會導(dǎo)致其答案在部分場景中不可信，在部分領(lǐng)域的應(yīng)用中受限。

2.誘導(dǎo)立場

可能是由于提示學(xué)習(xí)的原因，ChatGPT 在對話中對提問詞的內(nèi)容比較敏感，容易被提示詞誘導(dǎo)，若初始提示或問題存在歧義或者倫理、道德層面的瑕疵，則模型會按照當(dāng)前理解給出答案而不是反饋和糾正問題，這可能會導(dǎo)致ChatGPT強大的能力被用于一些非法、違規(guī)的場景，帶來不必要的損失。

3.信息誤判

ChatGPT的熱啟動雖然在大部分內(nèi)容生成中能夠給出大體上完整的答案，但是一部分回答會存在事實性錯誤，同時為了使得答案看起來更完整，ChatGPT會根據(jù)提示詞生成冗余的內(nèi)容用以修飾。在輔助決策的場景中，這種錯誤回答被淹沒在大量冗余修飾之中，更不容易被察覺，這導(dǎo)致的信息誤判也限制了ChatGPT應(yīng)用于類似場景。

4.迭代成本

ChatGPT雖然具備內(nèi)容生成能力，但是由于其本身是基于“大模型+人工標(biāo)注訓(xùn)練”的模式進(jìn)行內(nèi)容輸出，當(dāng)采納新的信息時，需要對大模型進(jìn)行重新訓(xùn)練，這將導(dǎo)致模型迭代訓(xùn)練成本過高，也間接導(dǎo)致ChatGPT對于新知識的學(xué)習(xí)更新存在一定時間區(qū)間的斷檔，這尤其限制了其在實時搜索領(lǐng)域的進(jìn)一步發(fā)展。

四、ChatGPT帶來的啟示

ChatGPT引起轟動的原因是因為人們驚訝于它遠(yuǎn)超前輩的泛用性和大幅度提升的回答問題的能力，但這背后的影響其實遠(yuǎn)遠(yuǎn)不止這些：

1.有可能帶來NLP研究范式的變革

ChatGPT迅速走紅的背后，可以說是GPT類自回歸類語言模型的一次翻身仗。NLP領(lǐng)域近些年來另一熱門的模型當(dāng)屬Bert。Bert與GPT都是基于Transformer思想產(chǎn)生的大型預(yù)訓(xùn)練模型，但二者之間存在不少差異，簡單來說，Bert是雙向語言模型，更多應(yīng)用于自然語言理解任務(wù)，而GPT則是自回歸語言模型（即從左到右單向語言模型），更多應(yīng)用于自然語言生成任務(wù)。

ChatGPT所表現(xiàn)出的強大能力有理由讓人相信，自回歸語言模型一樣能達(dá)到甚至趕超雙向語言模型的路線，甚至在未來統(tǒng)一理解、生成兩類任務(wù)的技術(shù)路線也未可知。

2.大型語言模型（Large Language Model， LLM）交互接口的革新

ChatGPT最突出的特點可以概括為：能力強大，善解人意。“能力強大”歸功于其依托的GPT3.5，巨量語料、算力的結(jié)晶使模型蘊含的知識幾乎覆蓋了各個領(lǐng)域。而“善解人意”則有可能要歸功于其訓(xùn)練過程中加入的人工標(biāo)注數(shù)據(jù)。這些人工標(biāo)注數(shù)據(jù)向GPT3.5注入了“人類偏好”知識，從而能夠理解人的命令，這是它“善解人意”的關(guān)鍵。

ChatGPT的最大貢獻(xiàn)在于它幾乎實現(xiàn)了理想的LLM交互接口，讓LLM適配人的習(xí)慣命令表達(dá)方式，而不是反過來讓人去適配LLM，這大大提升了LLM的易用性和用戶體驗，而這必將啟發(fā)后續(xù)的LLM模型，繼續(xù)在易用人機接口方面做進(jìn)一步的工作，讓LLM更聽話。

3. LLM技術(shù)體系將囊括NLP外更多領(lǐng)域

理想的LLM模型所能完成的任務(wù)，不應(yīng)局限于NLP領(lǐng)域，而應(yīng)該是領(lǐng)域無關(guān)的通用人工智能模型，它現(xiàn)在在某一兩個領(lǐng)域做得好，不代表只能做這些任務(wù)。ChatGPT的出現(xiàn)證明了通用人工智能（Artificial General Intelligence，AGI）是有可行性的。

ChatGPT除了能以流暢的對話形式解決各種NLP任務(wù)外，也具備強大的代碼能力，可以預(yù)見，之后越來越多的研究領(lǐng)域也會逐步納入LLM體系中，成為通用人工智能的一部分。這個方向方興未艾，未來可期。

五、ChatGPT的應(yīng)用展望

ChatGPT使用了當(dāng)下先進(jìn)的AI框架，具備較高的成熟度，是AI技術(shù)發(fā)展浪潮中產(chǎn)生的優(yōu)秀產(chǎn)品。但是正如前文分析，ChatGPT也有其自身的局限性。農(nóng)業(yè)銀行基于大數(shù)據(jù)體系、AI平臺所提供的“數(shù)據(jù)+AI”能力，結(jié)合ChatGPT的相關(guān)技術(shù)，同時設(shè)法規(guī)避ChatGPT的固有問題，逐步賦能場景，有著巨大的想象空間。

1.營銷自動化

綜合使用AIGC技術(shù)，結(jié)合現(xiàn)有的個性化推薦、實時計算能力以及AutoML等技術(shù)，可以解決線上線下協(xié)同營銷過程中的自動化斷點問題，實現(xiàn)營銷策略自動生成和迭代、自動AB實驗、渠道自動分流，并實現(xiàn)自動生成營銷話術(shù)、廣告頭圖等運營內(nèi)容，從而實現(xiàn)完整的自動化營銷閉環(huán)。

2.風(fēng)險識別

基于ChatGPT背后的GPT等LLM模型技術(shù)，可實現(xiàn)對關(guān)鍵要素提取、資料自動化審核、風(fēng)險點提示等風(fēng)控領(lǐng)域的業(yè)務(wù)流程，提升風(fēng)控相關(guān)業(yè)務(wù)的自動化水平。

3.個性化搜索引擎

以GPT生成式問答為主體，結(jié)合現(xiàn)有的NLP、搜索引擎、知識圖譜和個性化推薦等AI能力，綜合考慮用戶的提示詞標(biāo)注、知識結(jié)構(gòu)、用戶習(xí)慣等進(jìn)行應(yīng)對用戶對應(yīng)問題的內(nèi)容生成和展示，并可以給出索引URL，這樣既能解決現(xiàn)有檢索引擎的準(zhǔn)確性、個性化難題，又能彌補GPT的可信、更新問題，在技術(shù)上形成互補，在用戶使用過程中實現(xiàn)完整的、一致的搜索體驗。

4.增強知識圖譜

使用GPT生成技術(shù)，結(jié)合知識圖譜技術(shù)，可從當(dāng)前實體關(guān)系圖中生成擴展圖，在知識圖譜引擎原有的隱性集團(tuán)識別、深度鏈擴散、子圖篩選等能力基礎(chǔ)上，擴展出更高維度、更大范圍的隱性關(guān)系識別，能夠提升風(fēng)險識別、反欺詐的識別范圍和準(zhǔn)確程度。

5.內(nèi)容創(chuàng)作

基于ChatGPT技術(shù)，結(jié)合農(nóng)業(yè)銀行行內(nèi)語料進(jìn)行適應(yīng)性訓(xùn)練，可面向資訊、產(chǎn)品、廣告提供便捷且高質(zhì)量的內(nèi)容生成能力，既能提升內(nèi)容運營的效率，又能幫助用戶更快地獲取、理解和分析復(fù)雜的信息，從而進(jìn)一步提升用戶運營轉(zhuǎn)化率。

6.輔助編程

相對于Copilot，ChatGPT類似技術(shù)的迭代反饋能力更為強大，能夠通過提示、輔助、補充等方式生成部分代碼，能夠在簡單邏輯代碼實施中有效減少重復(fù)勞動，在復(fù)雜架構(gòu)設(shè)計中鋪墊微創(chuàng)新的基礎(chǔ)，如應(yīng)用得當(dāng)，會提升開發(fā)效率和交付質(zhì)量。

7.智能客服

AI生成的對話可以快速應(yīng)用于問題解答、營銷話術(shù)等，能夠提升問題解答的準(zhǔn)確程度、給出相對靠譜的回答，并能結(jié)合個性化推薦系統(tǒng)的應(yīng)用給出用戶的營銷線索，實現(xiàn)更標(biāo)準(zhǔn)、更貼心的用戶服務(wù)。

ChatGPT乘風(fēng)而來，農(nóng)業(yè)銀行在探索AI新技術(shù)、追逐AI新應(yīng)用的腳步也從未停歇。就在近期，農(nóng)業(yè)銀行正在探索基于生成式大模型，結(jié)合金融領(lǐng)域相關(guān)文本語料，通過AI平臺-NLP智能服務(wù)引擎提供特定業(yè)務(wù)場景下的文本生成、文本理解服務(wù)，近期該服務(wù)的alpha版本也即將在AI平臺的AI商店上線，面向種子用戶開放試用。

下一步，NLP智能服務(wù)引擎計劃收集更多的銀行業(yè)內(nèi)相關(guān)的語料數(shù)據(jù)，基于大模型不斷迭代優(yōu)化出更具專業(yè)特色、更符合場景需求的自然語言理解與自然語言生成模型，讓更多人乘上這輛急速前進(jìn)、不斷進(jìn)化的AI快車。

隨著AI技術(shù)的深入發(fā)展和應(yīng)用，定會不斷誕生類似于ChatGPT的爆款產(chǎn)品，這類產(chǎn)品成功的邏輯是伴隨人工智能技術(shù)的發(fā)展和創(chuàng)新，綁定具體場景應(yīng)用，以滿足用戶的認(rèn)知和期待。農(nóng)業(yè)銀行遵循這一規(guī)律，在AI技術(shù)創(chuàng)新、AI應(yīng)用創(chuàng)新方面不斷探索，以用帶建，螺旋上升，在數(shù)字化轉(zhuǎn)型的浪潮中，以數(shù)據(jù)為基礎(chǔ)要素，以AI為重要抓手，逐步賦能總分行場景應(yīng)用，讓大家了解AI，用上AI，用好AI，充分挖掘數(shù)據(jù)和AI的價值，讓數(shù)據(jù)和AI在銀行業(yè)務(wù)經(jīng)營管理活動中起到更加基礎(chǔ)和重要的作用。

返回列表