您正在使用IE低版瀏覽器,為了您的雷鋒網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預覽,將在時失效
業界 正文
發私信給肖漫
發送

0

AI 怎么知道人類對話在說什么?微軟研究團隊告訴你

本文作者:肖漫 2019-10-23 17:10
導語:微軟研究團隊聲稱,在重寫質量和多輪響應生成方面,他們的實驗結果已經達到了最新基準。

語音播放文章內容

由深聲科技提供技術支持

近期,微軟研究團隊通過對上下文建模加以研究得出一種新的方法,這種方法能夠讓 AI 模型通過上下文的歷史記錄來改寫對話中的最后話語,那么,這是一種怎樣的研究方法呢?

KYLE WIGGERS 對此做了詳細的介紹,雷鋒網將其文章進行了不改變愿意的編譯,具體如下。

在一份預先出版的論文中,微軟研究團隊詳細地介紹了他們的工作——為開放領域的對話進行無監督的上下文重寫。他們聲稱,在重寫質量和多輪響應生成方面,他們的實驗結果已經達到了最新基準。

正如研究人員所解釋的那樣,對話上下文提出了句子建模中所沒有的挑戰,比如主題轉換、共同引用(像他、她、它、他們這種)、長期依賴。大多數系統解決這些問題的方法是在最后一段話中添加關鍵字,或者用 AI 模型學習數字表示,但這種方法往往會遇到障礙,比如無法選擇正確的關鍵詞、無法處理較長的上下文等。

這時候,就是微軟研究團隊的方法的用武之地了。它通過對語境信息的考量,重新制定了對話中的最后一句話;這么做是為了生成一個獨立的話語,既不存在相互參照,也不依賴過去對話的其它話語。

AI 怎么知道人類對話在說什么?微軟研究團隊告訴你

雷鋒網注:【 圖片來源:Microsoft  所有者:Microsoft  】

舉個例子,如果將“我討厭喝咖啡。- - 為什么?它挺好喝的啊。”轉化成“為什么會討厭喝咖啡呢?它挺好喝的啊。”,這就借用了“它”和“為什么”。其中,“它”指代的是對話中提到的咖啡,“為什么”則是“為什么討厭喝咖啡”的縮寫形式。

對此,研究人員設計了一個機器學習系統——上下文重寫網絡(雷鋒網按:context rewriting network, CRN),來實現端到端的流程自動化。這個系統是由一個序列到序列模型組成的,它能夠將固定長度的話語映射到固定長度的重寫句子上。并且,它還具有一個獨立的注意力機制,這個機制能夠通過最后話語中的不同單詞來幫助它從上下文中復制單詞。

那么,這個系統是如何被設計出來的呢?

首先,微軟研究團隊使用偽數據對模型進行了訓練,這些偽數據是通過提取上下文的關鍵字,將這些關鍵字插入到原始對話中的最后話語中來生成的。然后,為了讓最后的響應影響重寫過程,他們利用了強化學習去推動系統朝著目標前進。

AI 怎么知道人類對話在說什么?微軟研究團隊告訴你

雷鋒網(公眾號:雷鋒網)注:【 圖片來源:Microsoft  所有者:Microsoft  】

在一系列實驗中,該團隊評估了他們的方法在幾種重寫質量,多回合響應生成,多回合響應選擇以及基于端到端檢索的任務上的應用。他們注意到,由于他們的模型更傾向于從上下文中提取更多的單詞,因此該模型在強化學習后偶爾會變得不穩定,不過,這也顯著地提升了話語的多樣性。

微軟研究團隊認為,他們的工作朝著更易解釋和更易控制的上下文建模中邁進了一步。另外,該研究團隊還表示,他們的模型可以從嘈雜的語境中提取出重要的關鍵詞,然后將這些關鍵詞插入到最后的話語中,使其不僅變得易于控制和解釋,還有助于將信息直接傳遞到最后的話語中。

雷鋒網注:本文編譯自 KYLE WIGGERS 發表在 venturebeat 上的文章

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知

分享:
相關文章

文章點評:

表情
最新文章
請填寫申請人資料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經綁定,現在您可以設置密碼以方便用郵箱登錄
立即設置 以后再說
黑龙江福彩时时彩