Browsing by Author "Yang, Ping"

Filter results by typing the first few letters
Now showing 1 - 1 of 1
  • No Thumbnail Available
    Item
    開放領域中文問答系統之建置與評估
    (2021) 楊平; Yang, Ping
    近年來隨著人工智慧技術日新月異，答案抽取式機器閱讀理解模型在 SQuAD 等資料集上已可超出人類的表現。而基於機器閱讀理解模型，加入了文章庫以及文件檢索器的問答系統架構，亦取得良好的成績。然而這樣子的資料集測試成效於實際應用上，可以達到什麼樣的效果是本研究好奇的問題。本研究主要進行了兩個任務，第一個為開發並比較不同的問答系統實作方式，以資料集自動化測試的方式評估何種實作方式的成效最好。第二個為將自動化測試表現最好的問答系統，交由受試者進行測試，並對實驗結果進行分析。最終得到的結果有四個。第一，本研究以中文維基百科做為文章庫；以Elasticsearch作為文件檢索器；以Bert-Base Chinese作為預訓練模型，並以DRCD資料集進行訓練的Sentence Pair Classification模型作為文件重排序器；以MacBERT-large作為預訓練模型，並以DRCD加上CMRC 2018資料集進行訓練的答案抽取式機器閱讀理解模型，作為文件閱讀器。此問答系統架構可以在Top 10取得本研究實驗的所有系統當中最好的成效，以DRCD Test set加上CMRC 2018 Dev set進行測試，得到的分數為F1 = 71.355，EM = 55.17。第二，本研究招募33位受試者，總計對系統進行了289道題目的測試，最終的成果為，在Top 10的時候有70.24%的問題能被系統回答，此分數介於自動化測試的F1與EM之間，代表自動化測試與使用者測試所得到的結果是相似的。第三，針對29.76%無法得到答案的問題進行分析，得到的結論是，大部分無法回答的原因是因為無法從文件庫中檢索正確的文章。第四，Top 1可回答的問題佔所有問題中的26.3%，而Top 2 ~ 10的佔比為43.94%。代表許多問題並非系統無法得出解答，而是排序位置不正確，若能建立更好的答案排序機制，將能大幅提升問答系統的實用性。