close
性能的大幅提升使得單個 DeBERTa 模型在 SuperGLUE 語言處理和理解上的宏觀平均得分首次超過瞭人類的表現（89.9 分 VS 89.8分），以相當大的優勢（90.3分對89.8分）超過瞭人類基線。
SuperGLUE 基準包括廣泛的自然語言理解任務，包括問題回答、自然語言推理。該模型也以 90.8 的宏觀平均分位居 GLUE 基準排名的前列。
DeBERTa 使用三種新穎的技術改進瞭之前最先進的PLM（例如BERT、RoBERTa、UniLM）：一個分離的註意力機制、一個增強的掩碼解碼器和一個用於微調的虛擬對抗訓練方法。
相比較由 110 億個參數組成的谷歌 T5 模型，擁有 15 億個參數的 DeBERTa 在訓練和維護上更加節能，而且更容易壓縮和部署到各種環境的應用中。
DeBERTa在SuperGLUE上超越人類的表現，標志著向通用AI邁進的重要裡程碑。盡管在SuperGLUE上取得瞭可喜的成績，但該模型絕不是達到NLU的人類級智能。
微軟將把這項技術整合到微軟圖靈自然語言表示模型的下一個版本中，用於Bing、Office、Dynamics和Azure認知服務等地方，通過自然語言為涉及人機、人與人交互的各種場景提供動力（如聊天機器人、推薦、答題、搜索、個人助理、客服自動化、內容生成等）。此外，微軟還將向公眾發佈15億參數的DeBERTa模型和源代碼。
全站熱搜
留言列表
