OpenAI是一家人工智能研究和部署公司,，使命是確保人工通用智能造福全人類,。OpenAI的使命是確保人工通用智能（AGI）——指的是在具有經(jīng)濟(jì)價(jià)值的工作中超越人類的高度自治系統(tǒng)——造福全人類,。OpenAI將試圖直接建設(shè)安全和有益的AGI，但如果工作幫助他人實(shí)現(xiàn)這一結(jié)果,，OpenAI也將認(rèn)為我們的使命已經(jīng)完成。OpenAI已經(jīng)訓(xùn)練了一個(gè)名為ChatGPT的模型,，它以對話的方式進(jìn)行交互,。對話形式使ChatGPT能夠回答后續(xù)問題，承認(rèn)錯(cuò)誤,，質(zhì)疑不正確的前提,，并拒絕不適當(dāng)?shù)恼埱蟆hatGPT是說明書,，它被訓(xùn)練成遵循提示中的指令并提供詳細(xì)的響應(yīng),。

ChatGPT有時(shí)會寫出聽起來合理但不正確或無意義的答案。解決這個(gè)問題是具有挑戰(zhàn)性的,，因?yàn)椋海?）在RL訓(xùn)練期間,，目前沒有真實(shí)的來源；（2）訓(xùn)練模型更加謹(jǐn)慎導(dǎo)致它拒絕它能夠正確回答的問題,；以及（3）監(jiān)督訓(xùn)練誤導(dǎo)模型,，因?yàn)槔硐氪鸢溉Q于模型知道什么，而不是人類示威者所知道的,。

ChatGPT對輸入措辭的調(diào)整或多次嘗試相同的提示很敏感,。例如，給定一個(gè)問題的一種措辭,，模型可以聲稱不知道答案,，但給定一個(gè)輕微的措辭，可以正確地回答,。理想情況下,，當(dāng)用戶提供一個(gè)模糊的查詢時(shí)，模型會問一些澄清性的問題,。相反,，我們當(dāng)前的模型通常猜測用戶的意圖,。

今天ChatGPT的研究發(fā)布是OpenAI的新一步迭代部署越來越安全和有用的人工智能系統(tǒng),。從早期模型的部署中吸取的許多經(jīng)驗(yàn)教訓(xùn)為此次發(fā)布的安全緩解措施提供了信息，包括通過使用人類反饋強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)的有害和不真實(shí)輸出的大幅減少,。