青青草免费线看线看|啊在车上停不下来了|国产少女免费观看电视剧|仑乱88MAV|精品老司机在线观看视频|国产一区二区三区高清免费视频|在线观看免费777av

  1. 首頁 > 生活百科 > >

微軟發(fā)布了DialogGPT AI對(duì)話模型

【微軟發(fā)布了DialogGPT AI對(duì)話模型】很多文章的報(bào)道都是由微觀而宏觀，今日小編講給大家?guī)淼年P(guān)于微軟公布了DialogGPT AI對(duì)話模型的資訊也不例外，希翼可以在一定的程度上開闊你們的視野！y有對(duì)微軟公布了DialogGPT AI對(duì)話模型這篇文章感興趣的小伙伴可以一起來看看
微軟公布了DialogGPT AI對(duì)話模型
微軟研究院的自然語言處理小組公布了對(duì)話生成預(yù)訓(xùn)練變壓器(DialoGPT) ， 這是一種用于自動(dòng)會(huì)話響應(yīng)生成的預(yù)訓(xùn)練深度學(xué)習(xí)自然語言處理(NLP)模型 。該模型接受了超過147百萬次對(duì)話的培訓(xùn)，并在若干基準(zhǔn)上取得了最新成果 。

微軟發(fā)布了DialogGPT AI對(duì)話模型


該小組在ar Xiv上發(fā)表的一篇論文中介紹了該系統(tǒng)的細(xì)節(jié) 。DialoGPT建立在GPT-2變壓器架構(gòu)上，并使用從Reddit注釋線程中刮來的數(shù)據(jù)集進(jìn)行培訓(xùn) 。該模型使用兩個(gè)測(cè)試數(shù)據(jù)集進(jìn)行評(píng)估，即Dialog系統(tǒng)技術(shù)挑戰(zhàn)(DST C-7)數(shù)據(jù)集和一個(gè)新的6k實(shí)例數(shù)據(jù)集 。對(duì)于這兩個(gè)數(shù)據(jù)集，該團(tuán)隊(duì)使用機(jī)器翻譯指標(biāo) ， 如BLEU和Meteor，以評(píng)估DialoGPT的性能，與微軟的個(gè)性聊天和“團(tuán)隊(duì)B”，DSTC-7的贏家 。在所有指標(biāo)上，DialoGPT優(yōu)于其他模型 。該小組還使用人類法官對(duì)DialoGPT的輸出進(jìn)行排名，以對(duì)抗真實(shí)的人類反應(yīng);法官們更喜歡DialoGPT的反應(yīng) ， 大約50%的時(shí)間 。
微軟發(fā)布了DialogGPT AI對(duì)話模型


變形金剛體系結(jié)構(gòu)已成為NLP任務(wù)的一種流行的深度學(xué)習(xí)模型..這些模型通常是預(yù)先訓(xùn)練的，使用無監(jiān)督學(xué)習(xí)，在大型數(shù)據(jù)集上 ， 如維基百科的內(nèi)容 。預(yù)培訓(xùn)同意 模型學(xué)習(xí)自然語言結(jié)構(gòu)，然后再對(duì)特定任務(wù)的數(shù)據(jù)集(如DSTC-7數(shù)據(jù)集)進(jìn)行微調(diào) 。即使沒有微調(diào)，大型預(yù)先訓(xùn)練的模型也能在NLP基準(zhǔn)上達(dá)到最先進(jìn)的結(jié)果..然而，DialoGPT團(tuán)隊(duì)指出，這些模型中的許多都是“以生成平淡、不具信息性的樣本而臭名昭著的 。”為了解決這一問題 ， 他們實(shí)現(xiàn)了最大限度的相互信息評(píng)分功能，重新對(duì)模型的輸出進(jìn)行排序，懲處“平淡”的輸出 。研究小組還使用強(qiáng)化學(xué)習(xí)來改進(jìn)模型的結(jié)果，但發(fā)現(xiàn)這通常會(huì)導(dǎo)致簡單地重復(fù)源句的反應(yīng) 。
預(yù)先訓(xùn)練的模型對(duì)于會(huì)話系統(tǒng)特殊有吸引力，因?yàn)槿狈Ω哔|(zhì)量的對(duì)話任務(wù)培訓(xùn)數(shù)據(jù)集 。不過，使用Reddit或Twitter等互聯(lián)網(wǎng)網(wǎng)站提供的自然對(duì)話信息會(huì)帶來風(fēng)險(xiǎn)，這種模式將暴露于攻擊性言論 ， 并且可以從中吸取教訓(xùn) 。微軟早些時(shí)候的實(shí)驗(yàn)聊天機(jī)器人Tay在與Twitter用戶交談后產(chǎn)生了“極其不恰當(dāng)和應(yīng)受責(zé)備”的輸出 。微軟的個(gè)性聊天云服務(wù)試圖通過使用一系列機(jī)器學(xué)習(xí)分類器在自動(dòng)生成響應(yīng)之前過濾掉攻擊性輸入來解決這個(gè)問題 。作為預(yù)防措施，DialoGPT團(tuán)隊(duì)選擇不釋放將模型輸出轉(zhuǎn)換為實(shí)際文本字符串的解碼器 。同樣 ， OpenA I最初由于擔(dān)心“技術(shù)的惡意應(yīng)用”而抑制了他們經(jīng)過充分訓(xùn)練的模型 。
微軟發(fā)布了DialogGPT AI對(duì)話模型


Reddit的一位用戶對(duì)解碼器進(jìn)行了逆向工程，并公布了使用該模型的一些結(jié)果，同時(shí)還公布了評(píng)論：
我想說，考慮到給出的信息很少，所有幾代人在語法上都是可以接受的 ， 而且令人印象深刻，大約五分之一的人看起來非常連貫，有時(shí)甚至非常諷刺(很像紅色) 。那些提出了一個(gè)明確界定的主題的人肯定更好地解決了問題 。
NLP研究員Julian Harris在推特上說：
在這些報(bào)告中，人們總是需要記住，“接近人類的表現(xiàn)”只是為了測(cè)試場(chǎng)景 。自動(dòng)生成響應(yīng)(NLG)仍然是一個(gè)非常新的領(lǐng)域，并且是高度不可預(yù)測(cè)的.因?yàn)檫@樣的深度學(xué)習(xí)生成的會(huì)話對(duì)話目前充其量是娛樂的 ， 最糟糕的是，一個(gè)可怕的，破壞品牌的用戶體驗(yàn) 。
DialoGPT代碼和經(jīng)過預(yù)先訓(xùn)練的模型可在GitHub上獲得 。

    猜你喜歡