SOLO 試題質量檢測的實證研究

潘 瑜 吳維寧 孫元平

一、相關概念

本研究涉及兩個基本概念：SOLO 理論和SOLO試題。SOLO 理論又稱為SOLO 分類法 （SOLO Taxonomy），它是一種基于問題解決的、等級描述式的目標分類理論。與傳統的目標分類理論相比，SOLO 具有三個重要特征：一是可用于開放性問題；二是量的評測與質的考查相結合；三是目標表述簡單清晰便于師生識讀。SOLO 的基本含義可以用下面的圖示來表征。

學生對于某一個具體問題的反應可以分為五個不同的結構水平[1]：

前結構水平（Prestructural）：學生基本上沒有形成對于問題的理解。

單點結構水平（Unistructural）：學生有了一點對于問題的理解，但只是略知一二。

多點結構水平（Multistructural）：學生對于問題有了更多的理解，但仍不全面。

關聯結構水平（Relational）：學生對于問題有了整體的把握并能獨立解決問題。

拓展抽象水平（Extended abstract）：學生不僅有了對于問題的整體把握，而且還能對于問題進行抽象概括，使之適用于新的問題情境。

其中，單點結構水平和多點結構水平主要表征學生學習的數量特征；關聯結構水平和拓展抽象水平側重表征學生學習的結構即質量特征。SOLO 評價的基本方法是： 將某種具有一定開放度的問題或學習任務呈現給學生，使其作出反應。根據學生對問題的不同反應，依據上述標準，判斷學生對于該問題的把握水平。在此基礎上，用某種符號對于學生的學習給予等級評定。如：前結構水平為P、單點結構為U、多點結構為M、關聯結構為R、拓展抽象水平為E 等等。SOLO 認為，學生的SOLO 水平并非一成不變，它隨著智力發展和學習情境的變化而變化。

應該說，SOLO 理論起初是建立在開放性問題基礎之上的，后來，SOLO 理論的創立者比格斯又將它運用于封閉性問題的研究，使之適用于更加廣泛的學科領域和問題情境，SOLO 試題由此應運而生。

所謂SOLO 試題，就是將原始的開放性問題改編成符合SOLO 的四個層次（單點結構、多點結構、關聯結構和拓展抽象結構）的四個小題，也就是說，每一個小題對應一個SOLO 層次，四個小題的難度由低到高排列。這樣的四個小題就構成一道SOLO試題。SOLO 試題可以方便地運用于各學科問題的評測，所以其運用領域迅速擴展，研究文獻迅速增加， 我國個別省份甚至將SOLO 理論應用于高考命題和評卷， 但針對SOLO 試題質量評價標準的研究還非常欠缺， 截止目前還沒有看到SOLO 試題質量評價的實證研究報告。基于以上事實，筆者設計并實施了一項小型的SOLO 試題質量檢測的實證研究。

二、研究設計

（一）樣本流程

本研究的樣本包括學生樣本和試題樣本。學生樣本又分為評測樣本和訪談樣本。 試題樣本作為評測工具稍后介紹。 學生樣本是來自武漢市某高級中學高三年級的兩個班的學生，共107 人，其中（1）班54 人，（2）班53 人。兩個班共回收有效試卷105 份。該中學的生源質量在武漢市屬于中上等水平。 訪談樣本包含于評測樣本之中， 共11 人，其中，男生5 人，女生6 人。 若按照成績對訪談對象進行劃分，則高分段有3 人，中等成績者6 人，低分段2 人。 學生評測樣本的選取主要采用方便抽樣的方法，同時考慮到學校代表性的因素。訪談樣本的選取方法則是尋找評測結果出現異常的學生代表。評測時長為40 分鐘，做2 道試題；訪談時長為每人10 分鐘，根據各人在評測中出現的具體問題提問。評測和訪談的時機背景如下：實施時間為12 月份，高三學生已全部結束高中新課程，但卻未集體組織復習高考原題； 由于該校在武漢市排名中上， 所以理論上可保證五個層次均有學生可以達到；兩個班入學均實行平行分班原則，兩個班學生的成績相當； 評測未提前告知學生此次評測目的，學生均以嚴肅認真的態度參考，評測過程極少出現蒙混敷衍的現象。整個研究分為四個階段：準備評測工具、具體實施評測、統計分析數據、實施個別訪談。

（二）評測工具

本項目研究的評測工具也是SOLO 試題樣本，一道是計算題，另一道為實驗題。 兩道題分別選自2016 年高考全國卷I[理綜]和2014 年江蘇卷[物理]，并按照SOLO 試題的標準分別增加了一個相對容易的小問題（又稱亞題），增加的亞題（1）對應于SOLO 的單點結構水平，（2）、（3）、（4）亞題（即高考原題中的三個小問題）分別對應于SOLO 的多點結構、關聯結構和拓展抽象結構水平。 兩道SOLO 試題的層次劃分標準如下：

表1 計算題的SOLO 層次劃分標準[2]

表2 實驗題的SOLO 層次劃分標準[3]

（三）檢測方法[4]

關于SOLO 試題質量的檢測方法，比格斯認為可以采用格特曼量表分析法 （Guttman’s scalogram analysis）。量表是一種心理測量工具，格特曼量表則是一種具有累積特征的態度量表。它包含一組陳述，這些陳述都是關于某人對于某個對象所持態度的描述。格特曼量表有兩個主要特征：其一，它的各個陳述都是按照肯定程度逐步加強的順序排列的；其二，應試者對于任何一個陳述的贊同，都意味著對每一個肯定程度較低的陳述的贊同。如前所述，SOLO 試題的評分結果有五個層次：前結構、單點結構、多點結構、關聯結構、拓展抽象結構。其中的每一個層次都包含了前一個層次的內容，因此一個完整的SOLO試題在結構上具有格特曼量表的特征，因而它在結構上與格特曼量表同構。

格特曼的思想可以用來考查SOLO 試題的質量。對于一道編制質量良好的SOLO 試題來說，如果學生的反應正常，那么他們在各個水平上的反應樣式應該具有如下特征：

表3 SOLO 試題允許的反應樣式

其中， 反應樣式一至反應樣式五分別對應于SOLO 的前結構、單點結構、多點結構、關聯結構和拓展抽象結構。格特曼將具有上述特征的反應樣式稱為“允許的反應樣式”。 在數學上，可以用五個矢量來代表上述五種不同反應：[0，0，0，0]，[1，0，0，0]，[1，1，0，0]，[1，1，1，0]，[1，1，1，1]， 其中，0 代表錯誤的回答，1 代表正確的回答。 第一個矢量代表前結構，第二個矢量代表單點結構，第三個矢量代表多點結構，第四個矢量代表關聯結構，第五個矢量代表拓展抽象結構。 實踐中可能看到這樣的情形：學生的反應并非如預期的反應樣式，也就是說可能出現“非允許的反應樣式”，如[1，0，1，0]。格特曼認為，這是一種測量誤差， 這種誤差可能由兩個因素構成：其一，試題的編制有問題。 例如：代表關聯結構亞題的難度低于代表多點結構亞題的難度；其二，學生的反應有問題。例如：由于心理、身體或者環境因素造成學生反應錯誤等等。對于可能由于學生自身原因造成的測量誤差，可以將與他的反應樣式最為接近的“允許的反應樣式”作為該生的反應樣式的測試結果。例如：與上面提到的“非允許的反應樣式”[1，0，1，0] 最為接近的 “允許的反應樣式”是[1，1，1，0]，則可以將[1，1，1，0]作為該生的反應樣式的測試結構。但如果“非允許的反應樣式”出現率很高，就不大可能是個別學生的反應失常造成的了，這時， 試題本身的質量就應當成為重點考察的目標。那么怎樣判定試題是否存在問題呢？格特曼在二十世紀四十年代提出了一個判定量表測量誤差度的指標，他稱之為“復現性系數”（coefficient of reproducibility）：

其中，總反應次數等于量表的陳述個數乘以應試人數。 對于SOLO 試題來說，總反應次數應等于該題的反應樣式數目（一般為五種）乘以應試學生人數。而總誤差次數則是試題測試中“非允許反應樣式”出現的總次數。 上式中rep 系數取值在0、1之間，其中取1 表示量表質量很完美，取0 則表示量表質量很糟糕。 一般認為，格特曼量表的rep 系數的取值應該在0.90 以上，而托格森（Torgerson）則發現多數研究者都將完美格特曼量表的rep 系數值定在0.95 以上[5]。如果是大規模的測試，rep 系數的分析可以借助專門的計算機程序去完成；如果測試樣本不是很大，則rep 系數的分析可以通過人工來完成。

復現性系數的計算方法舉例如下：假設有100名學生參與某道SOLO 試題的質量檢測，若其中出現“非允許的反應樣式”共有30 次，則此題的復現性系數為：

三、研究結果

筆者對學生的反應樣式進行歸類統計，得到12種反應樣式，包括5 種允許的反應樣式和7 種非允許的反應樣式。如表4 所示。

以上是兩種題型分別對不同班級的所有學生出現的反應類型的統計結果，共出現5 種“允許反應樣式”和7 種“非允許反應樣式”①理論上說，還應當存在其它非允許的反應樣式，但在實際測量中，只看到（包括通過歸并方式最終得到）以上7 種反應樣式。，統計其相應人數百分比如上。需要說明的是，經過數據整理和個別訪談，對某些數據作了若干調整，具體內容及原因如下：①將題Ⅰ中的非允許的 [0，1，0，0] 樣式歸類[1，1，0，0]樣式，原因是105 人中僅有1 人出現該非允許樣式，并通過訪談了解屬于學生自身原因——解法正確而代入計算錯誤；②將題Ⅱ中的[0，1，0，0]樣式歸類到[1，1，0，0]樣式，[0，1，1，1]樣式歸類到[1，1，1，1]樣式，原因同上且只有1 份特例；③將題Ⅱ中的[0，0，0，1]樣式歸類到[1，1，0，1]樣式，原因是僅有1 名學生出現此情況，且通過答卷和訪談了解到，該生出現力的標注不完整等細節錯誤，屬于學生自身因素造成的測量誤差。

表5 兩道SOLO 試題的復現性系數

說明：表5 中左側第一列序號代表測驗的兩種題型； 第一行rep 表示不同班級的復現性系數，如rep1表示一班的復現性系數；rep2表示二班的復現性系數。表示兩個班級的平均復現性系數。

表5 中的復現性系數系根據表4 中反應樣式的相關數據，依據復現性系數公式計算而得。從表5 中可以看到，計算題Ⅰ在兩個班級測得的復現性系數和綜合均在0.98 以上，上文已提及當rep≥0.95時，量表可算作完美格特曼量表，即該試題為一道高質量的SOLO 試題；而實驗題Ⅱ所測得的三種復現性系數rep 均在0.9 以下。

四、結論與討論

本次研究的目的是判斷SOLO 試題質量的格特曼量表分析法的合理性與可行性， 從評測結果來看，答案大體是肯定的。這需要從兩道試題分別進行分析。

從計算題的評測結果來看，兩個班的平均復現性系數高于0.98，表明該題是一個非常好的格特曼量表。由于該題改編于高考題，一般來講，高考題的信度與效度等各項測量學指標都是非常好或者比較好的，也就是說，試題本身沒有問題。而從學生方面來看，因為計算題都是學生高度重視的考試內容，他們都會竭盡全力地投入，因而由于學生粗心、隨意等因素造成的測量誤差相對較小。歸結起來說，測量的誤差不大。因而可以說，良好的反應樣式分布和較高的復現性系數表明， 被測試題是一個質量較高的SOLO 試題，同時，采用格特曼量表法判斷SOLO 試題的質量也是合理可行的。

再從實驗題的評測結果來看，兩個班的復現性系數都未達到0.9，似乎表明該實驗題不是一道好的SOLO 題，但情況沒有這么簡單，在此必須充分考慮測量誤差的問題。如上所述，測量誤差主要來自兩個方面：一是試題本身，二是學生因素。先從試題本身來說，試題改寫自高考題，雖然有所變動，但只是增加了第一小題，且內容相對簡單，一般不會對被試產生太大影響。所以試題的主體部分依然是高考題，其各項測量學指標不會太差。但學生方面對測量結果的負面影響較大：首先是時間分配的問題。在評測現場可以看到，學生對實驗的重視程度不夠，花在實驗題上的時間太少，加上實驗題的題干較長，用于思考的時間明顯不足。其次是內容熟悉程度的問題。學校還未開始組織對實驗部分的系統復習，學生對于實驗部分較為陌生也是引起測量誤差的重要原因。所以隨意答題的現象是存在的。

由此可以想見，如果給予足夠的時間并排除不必要的干擾，實驗題的測量誤差一定會減少，復現性系數定會有所提高。所以格特曼量表分析的方法對于實驗題也應該是適用的。當然，若要得到十分肯定的結論，還需要用進一步的實證研究來證實。最后需要說明的是，在像高考這類選拔性的考試中，SOLO試題的基本構架是可以采用的，但不必保留其中的單點結構，因為單點結構的題往往過于簡單。而其質量評判方法，仍然可以采用格特曼量表分析法，不過展示其允許的反應樣式的幾個矢量可以相應地調整為[0，0，0]，[1，0，0]，[1，1，0]和[1，1，1]，反映其合格標準的復現性系數的臨界值也需要重新測定。

附錄 評測工具（試卷樣本）

題Ⅰ（計算題）如圖，一輕彈簧原長為2R，其一端固定在傾角為37°的固定直軌道AC 的底端A 處，另一端位于直軌道上B 處，彈簧處于自然狀態，直軌道與一半徑為5R/6 的光滑圓弧軌道相切于C 點，AC=7R，A、B、C、D 均在同一豎直面內。質量為m 的小物塊P 自C 點由靜止開始下滑，最低到達E 點（未畫出），隨后P 沿軌道被彈回，最高點到達F 點，AF=4R，已知P 與直軌道間的動摩擦因數μ=1/4，重力加速度大小為g。

（取sin37°=3/5，cos37°=4/5）

（1）求物塊P 在下滑過程中受到的摩擦力。

（2）求P 第一次運動到B 點時速度的大小。

（3）求P 運動到E 點時彈簧的彈性勢能。

（4）改變物塊P 的質量，將P 推至E 點，從靜止開始釋放。已知P 自圓弧軌道的最高點D 處水平飛出后，恰好通過G 點。G 點在C 點左下方，與C 點水平相距7R/2、豎直相距R，求P 運動到D 點時速度的大小和改變后P 的質量。

題Ⅱ（實驗題）小明通過實驗驗證力的平行四邊形定則。

圖1

圖2

圖3

圖4

（1）如圖1 所示，實驗前小明想試試已有的橡皮筋彈性如何。將所選橡皮筋的中點固定于結點O，沿圖示方向將橡皮筋的兩端拉至圖中P1、P2位置處，請用圖示法在圖中作出結點O 所受的合力。

（2）實驗記錄紙如圖2 所示，O 點為橡皮筋被拉伸后伸長到的位置，兩彈簧測力計共同作用時，拉力F1和F2的方向分別過P1和P2點，一個彈簧測力計拉橡皮筋時，拉力F3的方向過P3點。三個力的大小分別為：F1=3.30 N、F2=3.85 N 和F3=4.25 N。請根據圖中給出的標度作圖求出F1和F2的合力。

（3）仔細分析實驗，小明懷疑實驗中的橡皮筋被多次拉伸后彈性發生了變化，影響實驗結果。他用彈簧測力計先后兩次將橡皮筋拉伸到相同長度，發現讀數不相同，于是進一步探究了拉伸過程對橡皮筋彈性的影響。

實驗裝置如圖3 所示，將一張白紙固定在豎直放置的木板上，橡皮筋的上端固定于O 點，下端N掛一重物。用與白紙平行的水平力緩慢地移動N，在白紙上記錄下N 的軌跡。重復上述過程，再次記錄下N 的軌跡。

兩次實驗記錄的軌跡如圖4 所示。過O 點作一條直線與軌跡交于a、b 兩點，則實驗中橡皮筋分別被拉伸到a 和b 時所受拉力Fa、Fb 的大小關系為____________。

（4）根據（3）中的實驗，小明得出的實驗結論是什么？請從小明探究的實驗結論的基礎上提出“驗證力的平行四邊形實驗”中，優化實驗的最佳改進方案。