學位論文
Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73873
Browse
1 results
Search Results
Item 文字生成技術應用於學術論文寫作之評估─以人工智慧領域論文摘要為例(2022) 張悅倫; Chang, Yueh-Lun文字生成技術的應用在近年愈臻成熟，其對學術產出過程的影響更是不容小覷。為初步瞭解此技術對學術研究發表的影響，並探索人類與電腦能否辨別電腦生成或人類撰寫之學術文章，本研究運用既有的開放資源，以人工智慧領域之論文摘要為範圍，進行了「人類評估電腦生成摘要」及「摘要生成模型自動化評估」兩實驗。實驗一依據ACL Anthology和arXiv（cs.AI）語料，以語言模型GPT-2生成論文摘要，再就英文文法檢查工具Grammarly和受試者對其之評估情形進行分析。實驗二則藉由分類器，實測電腦能否辨別出電腦生成之摘要，再與受試者的評估結果進行比較。研究結論如下：1. 電腦能生成仿真度高的摘要，並在Grammarly的評估指標表現較人類撰寫摘要佳。2. 受試者對於電腦生成摘要之平均良窳度給分為3.617，而人類撰寫摘要則為3.622，顯示人類在不知道有電腦參與生成的前提下，無法明顯地辨別出一篇摘要為電腦生成或人類撰寫。3. 以SciBERT預測30篇摘要之Micro和Macro f1皆為0.93，較受試者的0.53及0.44高上許多，顯示電腦具辨別電腦生成摘要之能力。同時，由於在SciBERT預測錯誤的2篇摘要中，有1篇在人類預測中為正確，推論電腦與人類或許能在辨別上相互輔助。