Browsing by Author "Wu, Jian-Lin"

Filter results by typing the first few letters
Now showing 1 - 1 of 1
  • No Thumbnail Available
    Item
    用於理解和比較變壓器模型的可視化分析系統
    (2022) 吳建霖; Wu, Jian-Lin
    近年來，自然語言處理(NLP)技術取得了長足的進步。基於轉換器的模型在 各種自然語言處理問題中表現良好。然而，一個自然語言任務可以由多個不同的模 型來完成，它們的架構略有不同，例如不同的層數和注意力頭。除了量化指標作為 選擇模型的依據外，很多用戶還考慮了理解模型語言的能力以及它所需要的計算資 源。然而，對兩個不同層數和注意力頭的基於transformer的模型進行比較和深入的 分析並不容易，因為它缺乏模型之間固有的一對一匹配。因此，當用戶為NLP 任務 訓練、選擇或改進模型時，比較具有不同架構的模型是一項至關重要且具有挑戰性 的任務。在本文中，我們提出了一個可視化分析系統來探索語言模型之間的差異， 並幫助用戶選擇模型或找出模型可以改進的地方。我們的系統支持兩個模型的比 較，用戶可以交互地探索不同模型下的特定層或頭部，並識別異同。使用我們的工 具，用戶不僅可以通過模型學習到哪些語言特徵，還可以深入分析兩個不同層數和 頭的基於轉換器的模型之間的細微差別。用戶的用例和反饋表明，我們的工具可以 幫助人們深入了解並促進模型比較任務。