Browsing by Author "吳建霖"

Filter results by typing the first few letters
Now showing 1 - 2 of 2
  • No Thumbnail Available
    Item
    用於理解和比較變壓器模型的可視化分析系統
    (2022) 吳建霖; Wu, Jian-Lin
    近年來，自然語言處理(NLP)技術取得了長足的進步。基於轉換器的模型在 各種自然語言處理問題中表現良好。然而，一個自然語言任務可以由多個不同的模 型來完成，它們的架構略有不同，例如不同的層數和注意力頭。除了量化指標作為 選擇模型的依據外，很多用戶還考慮了理解模型語言的能力以及它所需要的計算資 源。然而，對兩個不同層數和注意力頭的基於transformer的模型進行比較和深入的 分析並不容易，因為它缺乏模型之間固有的一對一匹配。因此，當用戶為NLP 任務 訓練、選擇或改進模型時，比較具有不同架構的模型是一項至關重要且具有挑戰性 的任務。在本文中，我們提出了一個可視化分析系統來探索語言模型之間的差異， 並幫助用戶選擇模型或找出模型可以改進的地方。我們的系統支持兩個模型的比 較，用戶可以交互地探索不同模型下的特定層或頭部，並識別異同。使用我們的工 具，用戶不僅可以通過模型學習到哪些語言特徵，還可以深入分析兩個不同層數和 頭的基於轉換器的模型之間的細微差別。用戶的用例和反饋表明，我們的工具可以 幫助人們深入了解並促進模型比較任務。
  • No Thumbnail Available
    Item
    疊代推進生成對抗網路用於陰影去除
    (2022) 吳建霖; Wu, Chien-Lin
    隨著科技的高速發展，深度學習在工業、軍事、民生科技處處都有大量的應用，現今運用在影像處理上的深度學習技術不斷進步，影像的去除如影像除霧、去反光、去陰影等都是電腦視覺領域中具挑戰性的任務。本論文研究目的為針對影像陰影去除提出了迭代推進生成對抗網路，首先我們輸入陰影圖藉由兩個生成器網路分別生成出無陰影的圖及殘差陰影圖，將兩者合成得到陰影圖，與輸入進行比對，最後將合成的圖再次輸入至網路重複上述步驟直到收斂，透過迭代推進的方式提升陰影移除的效果。此外為了使結果更加優異，我們的生成器網路加入了注意力機制，讓模型更專注於影子的部分，以及長短期記憶，使我們在長序列訓練過程中有更好的表現，最後是修復網路，以進一步改善生成的結果。我們與傳統方法以及近年來基於深度學習所提出的陰影去除方法比較，實驗結果表明本論文所提出的迭代推進方法有更優異的結果。