，天眼查App顯示，3月17日，騰訊科技有限公司申請的“短文本對話方法、裝置、設(shè)備及存儲介質(zhì)”專利獲授權(quán)。

摘要顯示，該方法包括:獲取查詢文本；調(diào)用基于語言模型的短文本對話模型對查詢文本進(jìn)行預(yù)測，得到回復(fù)文本；基于語言模型的短文本對話模型中設(shè)置有混合注意力層，混合注意力層同時包括自注意力機(jī)制和用于監(jiān)督查詢文本的注意力機(jī)制；輸出回復(fù)文本。

該申請通過將S2S框架替換為基于語言模型的短文本對話模型，同時利用該模型中的混合注意力層對查詢文本的隱層表示進(jìn)行監(jiān)督，使得短文本對話模型既能捕獲長短距離依賴，也可以在預(yù)測時著重考慮查詢文本的信息，能夠生成語義上與查詢文本密切相關(guān)，同時形式上較為豐富的回復(fù)文本。