Browsing by Author "Po-Hsi Chen"

Now showing 1 - 8 of 8

不同資料遺失樣態對於差異試題功能偵測效果之影響
(2013) 歐詠芝; Yung Chih Ou
本研究旨在探討不同遺失樣態下偵測差異試題功能（DIF）的影響，其中的遺失樣態是指不同的遺失機制與遺失比率。因此，以模擬研究的方式來探究四種遺失機制（MCAR遺失與三種不同形式的MAR遺失）與三種遺失比率（0%、10%、30 %）下，並操弄三種DIF試題比率（0%、10%、20%）與三種DIF程度（0、0.5、0.8），進一步討論兩種遺失值處理方式（有無進行單一插補）與四種DIF偵測方法（有無加入純化程序的Mantel-Haenszel statistic與Lord’s chi-square）對於DIF偵測效果（型一錯誤率與正確偵測率）的影響。研究結果顯示，遺失樣態對於DIF偵測效果有影響，但僅在以MH法進行DIF分析的情況下。經單一插補處理遺失值後，多數DIF試題的正確偵測率與型一誤判率會增加。無論是以MH法或Lord法作為DIF偵測方法，加入純化程序都能有效改善DIF偵測效果。
以國中基本學力測驗成績探討班級規模效應
(國立臺灣師大學研究發展處, 2009-06-??) 宋曜廷; 邱佳民; 劉欣宜; 曾芬蘭; 陳柏熹; Yao-Ting Sung; Jia-Min Chiou; Hsin-Yi Liu; Fen-Lan Tseng; Po-Hsi Chen
班級規模對教學歷程和學習成果的影響向來在教育政策和教學研究文獻中備受矚目，但臺灣目前探討班級大小和學生學習成就之關係的實徵研究十分有限。本文之研究目的有三：一、探究臺灣地區國民中學階段班級規模與學生學習成就的關聯；二、探討如果班級規模效應存在，學校的屬性（公私立）會不會影響此種效應的大小；三、探討如果班級規模效應存在，學校的所屬城鄉的都市化程度會不會影響此種效應的大小？本研究以參加2005年國中基本學力測驗的273,418 名應屆畢業國三學生為對象，透過線性階層模式（Hierarchical Linear Modeling, HLM）探討班級大小、學校屬性、學校所在地都市化程度等主要變項對於學生國中基測成績的影響。研究結果發現，臺灣地區的國中，班級規模愈大，成績顯著愈高，且此種現象在公立國中比私立國中明顯，此種現象在低都市化所在地的學校較中都市化和高都市化所在學校更為明顯。這些發現與歐美各國所發現的小班效應有明顯不同，本研究提出「成就排比模型」（achievement-sorting model）來解釋相關發現。
以情境式試題評量中學生能源素養
(國立臺灣師範大學, 2015-06-??) 陳冠利; 劉湘瑤; 陳柏熹; 黃書涵; Kuan-Li Chen; Shiang-Yao Liu; Po-Hsi Chen; Su-Han Huang
能源素養為知識、態度與行為組成的多面向架構，為瞭解學生能源素養的表現情形，本研究以先前發展的能源素養架構為基礎，對應各指標內涵設計六個情境式題組作為評量工具，以全國國、高中學生為施測對象，共取得2,066份有效樣本。結果顯示，學生的能源素養尚需加強，尤其是評估與判斷國際能源議題的素養指標能力，另從評量試題的文字作答分析發現，學生對溫室效應成因和生質能源等議題持有迷思概念。相關分析呈現知識與行為面向的關聯性較態度與行為的關聯性高。對節能減碳的看法和參加研習次數與素養表現有正相關；年級愈高的學生在素養的整體表現上愈好。本研究建議發展有效的能源課程及教學方式，作為能源教育推動策略之參考。
在認知診斷測量架構中的試題差異功能偵測效果探討
(2012) 洪素蘋; Su-Pin Hung
試題差異功能檢驗已被視為在測驗發展過程的重要程序。隨著認知診斷評量持續在實務與方法學研究方面受到關注，在認知診斷測量架構下的試題差異功能議題自然也莫可忽視。本研究涵蓋三大目的，首先，本研究提出以模式為基礎所進行的試題差異功能偵測方法以處理認知診斷評量架構下的補償與非補償性資料；其次，本研究聚焦於過去在認知診斷測量架構下的試題差異功能研究中所忽視的當測驗受到偏誤試題污染的相關議題。最後，本研究以更系統性的探討可能影響試題差異功能偵測方法成效的因素，並將這些可能的影響因素導入於模擬研究設計中。本研究以馬克夫鍊蒙地卡羅演算法分別針對兩個所提出的模式進行參數估計，並且比較參數回覆性效果，同時檢驗在不同測驗情境下，使用模式為基礎的試題差異功能偵測方法與非參數取向的MH以及LR等試題差異功能偵測方法的型一錯誤率以及統計檢定力。除此之外，本研究加入了淨化程序於MH以及LR等試題差異功能偵測方法之中，並探討加入試題淨化程序後對於試題差異功能偵測的效能能否提升。最後，本研究使用2007年國際數學與科學教育成就趨勢調查研究中四年級數學科評量為範例，說明如何運用所提出的試題差異功能偵測方法於實務情境中。研究結果發現，在參數回覆方面，本研究所提出的兩個模式為基礎的試題差異功能偵測方法其參數回覆性效果甚佳。而在不同試題差異功能偵測方法的比較方面，本研究發現在相同測驗情境下以模式為基礎的試題差異功能檢驗方法其型一錯誤率的控制以及統計檢定力均優於MH以及LR。再者，模擬研究結果發現，當處理認知診斷測量資料時，試題遭受污染而未加以進行淨化程序即進行試題差異功能偵測，將會影響偵測效果，並且得到錯誤的結論。隨著淨化程序的加入，可以幫助改善MH以及LR等試題差異功能偵測方法在特定情境下的型一錯誤率的控制以及統計檢定力。不過此兩種方法，即使加入淨化程序後，仍無助於解決當受試者平均能力分布差異很大時，所造成的第一類型錯誤率膨脹的問題。最後，本研究也發現相較於MH以及LR等試題差異功能偵測方法，本研究所提出的模式為基礎的試題差異功能偵測方法在試題差異功能偵測的結果解釋較為細緻，並且能藉由模式擴展找出可能造成試題差異功能原因的前瞻性。
大學生基本素養測驗的發展及信度效度分析
(國立臺灣師範大學, 2015-09-??) 陳柏熹; 黃馨瑩; 陳郁欣; 葉泰廷; 蘇少祖; Po-Hsi Chen; Hsin-Ying Huang; Yu-Hsin Chen; Tai-Ting Yeh; Shao-Tsu Su
本研究目的旨在發展大學生基本素養測驗並進行信度與效度評估。藉由分析國內大專院校的通識教育目標和核心素養，並參考ATC21S 提出的21世紀現代學生需具備的10 項基本素養，歸納出大學生基本素養測驗的九項素養，分別為：溝通合作、美感素養、科學思辨、資訊素養、終身學習、創新領導、問題解決、公民社會及生涯發展。測驗形式為線上多媒體情境式題型，每個題本均包含九項素養的內容，每項素養皆有二至三個題組。研究對象為全國大專校院一至四年級學生，研究樣本來自20 校10,958名大學生。由效度評估結果可知，大學生基本素養測驗的題組效果不大，可以忽略，並採用部分計分模式來估計，幾乎所有試題與模式都能適配，顯示建構效度良好。試題發展過程均歷經嚴謹修審題程序，取得良好專家效度證據。此外，不同性別和年級的學生在各素養的表現上差異不大，和過去的文獻相符合，具有良好的效標關聯效度。信度證據方面，各素養能力估計誤差約在 .20～ .60 logit 之間，單一題本的信度高於 .69，顯示本測驗題數雖少，但信度大致良好。整體而言，大學生基本素養測驗具良好的信度與效度。
大學生基本素養測驗的發展及信度效度分析
(國立臺灣師範大學, 2015-09-??) 陳柏熹; 黃馨瑩; 陳郁欣; 葉泰廷; 蘇少祖; Po-Hsi Chen; Hsin-Ying Huang; Yu-Hsin Chen; Tai-Ting Yeh; Shao-Tsu Su
本研究目的旨在發展大學生基本素養測驗並進行信度與效度評估。藉由分析國內大專院校的通識教育目標和核心素養，並參考ATC21S 提出的21世紀現代學生需具備的10 項基本素養，歸納出大學生基本素養測驗的九項素養，分別為：溝通合作、美感素養、科學思辨、資訊素養、終身學習、創新領導、問題解決、公民社會及生涯發展。測驗形式為線上多媒體情境式題型，每個題本均包含九項素養的內容，每項素養皆有二至三個題組。研究對象為全國大專校院一至四年級學生，研究樣本來自20 校10,958名大學生。由效度評估結果可知，大學生基本素養測驗的題組效果不大，可以忽略，並採用部分計分模式來估計，幾乎所有試題與模式都能適配，顯示建構效度良好。試題發展過程均歷經嚴謹修審題程序，取得良好專家效度證據。此外，不同性別和年級的學生在各素養的表現上差異不大，和過去的文獻相符合，具有良好的效標關聯效度。信度證據方面，各素養能力估計誤差約在 .20～ .60 logit 之間，單一題本的信度高於 .69，顯示本測驗題數雖少，但信度大致良好。整體而言，大學生基本素養測驗具良好的信度與效度。
局部試題依賴偵測方法之偵測效果比較
(2012) 陶君浩; Chun-Hao Tao
本研究旨在比較Rasch題組模式之題組效果估計、題組-殘差主成分分析及Q3指標等局部試題依賴偵測方法的偵測效果，包含兩個子研究。研究一為模擬研究，主要是操弄不同的題組效果高低及不同的題組內試題數，模擬了500名與1500名受測者在不同題組情境下的作答反應，再利用Rasch題組模式之題組效果估計、題組-殘差主成分分析及Q3指標分別對各個題組進行局部試題依賴的偵測，最後透過題組效果的參數回覆情形、題組-殘差主成分分析及Q3指標的偵測結果以及各偵測方法之偵測結果與題組效果真值的Spearman's ρ係數來瞭解各種局部試題依賴偵測方法之偵測效果的差異情形。而在研究二的實徵研究部分，研究者則是以93～98年國民中學基本學力測驗英文科的題組資料為例，進行上述三種局部試題依賴偵測方法之偵測結果的比較。主要發現如下：一、隨著受測者人數及題組內試題數的增加，題組效果參數的回覆情形會逐漸變好，即Rasch題組模式的題組效果估計會越來越準確；但在高題組效果時，其估計的精準度卻相對較差。二、不論是在何種情境之下，Q3指標的偵測效果均一致地優於其他兩個偵測方法的偵測效果。三、對於93～98年國民中學基本學力測驗英文科的題組而言，不同方法的偵測結果有差異，其中又Rasch題組模式之題組效果估計的偵測結果與其他兩者差異最大。四、根據Q3指標的偵測結果，93～98年國中基測英文科的題組大致沒有局部試題依賴的情形，僅93-2-3、93-2-5、93-2-6、94-1-8及97-2-3這幾個題組可能是存有局部試題依賴的問題。
電腦化適性職涯性向測驗編製研究
(國立臺灣師範大學教育心理學系, 2014-12-??) 鄭育文; 陳柏熹; 宋曜廷; 陳信豪; 蕭孟筳; Yu-Wen Cheng; Po-Hsi Chen; Yao-Ting Sung; Shin-Hau Chen; Meng-Ting Hsiao
一個好的職涯測驗可讓學生暸解自身之心理狀態，亦可作為生涯規畫與抉擇的工具，而國內現有之性向測驗大多為紙筆測驗，其題數較多且題目內容與真實職業情境差異較大，使其在施測及應用與解釋時有較大的限制。有鑑於此，本研究整合測驗、心理計量之適性化技術與多媒體技術，開創測驗內容、向度與題型，編制「電腦化適性職涯性向測驗－國中版」（CACAT-J），其包括八個分測驗，分別為語文、數學、空間、邏輯推理、科學推理、觀察、美感和創意。此測驗可同時測量學生多面向之潛能，以作為學生與教師在進行生涯輔導與科系媒合時之有效工具。本研究預試樣本人數為3463人，正式樣本為5820人。在IRT之樣本層次信度介於.69~.81；在效度方面，與國中基本學力測驗之相關係數介於.28~.67。綜合上述，本測驗具有良好之信度及效度。在常規建置方面，因屬電腦化測驗，可定期更新常模資料。透過測驗參照團體定期更新，以確保測驗分數的可比較性。CACAT-J所提供之測驗結果，學生能暸解其自身之優勢能力，將有助於學生探索與掌握自我，進而培養生涯決策與規劃能力。