翻譯 Translate

2016年1月21日 星期四

醋味的期末分析之二

數據出來
最有趣的,就是如何解讀
而更吸引人的
就是找到答案!
找到答案,就能證明與澄清真相!

長期以來
我始終抱持的相信但必須懷疑的態度
我相信數位學習是必然的方向

始終懷疑甚麼樣的作法或方式
才能真的能帶給學生幫助
否則
只是一場舌燦蓮花的大戲!

因此每一個學期
我都會有一次的回顧、分析與省思
但這次更特別的
從顏老師兩年的翻轉課堂到我一年半的真實田野數據
加上有"取樣本"的關係
讓我不僅有更多的數據、也有更多的體驗
與看得到數位對於學生人格特質的比對!

一、MOOC(均一平台)對於學生數學程度的影響
仍然先強調,我不是專長於統計量化的研究
我只能用我基本的統計概念去進行比對
這次多半也是總分轉排序的方式進行
因此
使用MOOC對於小學高年級數學的影響
我在前文提到,數據用的是
1.均一平台的使用總點數,並且平均成每學期的均數
2.對照六次期中大考成績的總平均
3.用比序排名去比對,不用分數去比較,因為每次考試有難有易,比序應該可以減少影響。

很有趣的
光用色塊就可以看出端倪
光看到中間那排成績排序三區塊
幾乎跟第一排使用狀況是接近的
當然
也有特殊的狀況
這必須列入變異的解釋
也就特殊的離散!
第一排是均一的使用程度,色塊分別是前10-粉紅、中10-黃色、後10-藍色
第二排是成績排序,色塊一樣是前10-粉紅、中10-黃色、後10-藍色
第三排式將將前者減去後者,粉紅色為"-3<均一排序-成績排序<3",越接近0越有關連性

大致上用色塊就可以看到使用越高,程度越好,有趨向一致性
另外,而相差在6名之內,個人覺得屬於具備高度關聯性的比率是68%
也就是利用MOOC翻轉學習的第一個假設
"使用就會變好、不用就會變差"的可能性有68%

這裡有個問題:
是學生本來好的學生就會用、不好的就懶得用?
還是
用了均一學生變好、懶得用也就變不好?
有點像「雞生蛋還是蛋生雞?
那雞婆一點
就接著下面的比對吧!

二、MOOC與進、退步的比對
MOOC會不會好學生變更好、中等變優、落後爬起來?
或者反之
又或者對於不同狀況有不同的影響???
當然
我的假設是期待
融入MOOC是對孩子有幫助
反之
孩子不配合的就無法幫到忙

我利用四年級的成績排序來比對
並且用色塊來標示
出現第四排
可以看到並不是程度好的就成績好
而是因為更進步
相對而言
很明顯的比較沒有配合運作的孩子
自然而然在排序上也比較容易退步

一樣用分數轉比序方式來比對
粉紅色是「進步」、黃色是「退步」、白色是「不變」
非常有趣的是
前10名進步比率60%、退步20%、不變20%
中10名進步比率40%、退步50%、不變10%
後10名進步比率11%、退步56%、不變33%
如果
我又把"進步的名次當成積分",透過加總來看前、中、後進退步的總和
也就是看那些區段會因為使用「均一平台」而有顯著進步的狀況
結果是
前10名進步退步加總後可以得到10分
中10名進步退步加總後可以得到9分
後10名進步退步加總後可以得到-19分
因此
整體來說
對於較優程度學生,多數高度運用平台,並且不斷自我提升,並不是本身優,而是優又搭配所以更優!
對於中等程度學生,多數中度運用平台,使用後也能有所提升或保持,幫助不少!
但對於較弱程度學生,多數低度運用平台,相對而言多數退步或保持,本身就不配合,那就"不進則退"了~~~

因此推論
學生成績表現高低
並不只是因為本身程度高低
也與使用狀況有明顯的相關性
相對而言
成績好也願意投入者,更有進步的成效!!!

但是如果由導師本人仔細看表內與真實學生狀況
「最前端的學生」其實前兩位成績與使用均一並沒有高度關聯
「最後端的學生」因為幾乎不用、成績也不理想、也因此排名變化不大
前者是因為本身程度太好,事實上均一影響也不大
後者是因為家庭支持度低、家庭問題、管教不易導致3C亂用
所以也對平台的使用度低
這是最後末端的學生
男生幾乎都有3C誤用紀錄
常常開著均一又開「分頁」......
這是最標準的使用不當現象
女生多半是數學邏輯理解上比較弱、文科卻超級強的反差現象

反而是在中上到中區間的孩子
有高關聯並有進步
因此,使用度高,對於中上到中的孩子效用較為顯著。
對於極端的優與弱的兩側孩子
MOOC翻轉學習影響就小很多!!!

這是上中~中中左右的孩子
很明顯的班排序多數是進步與保持水準
而其中退步的兩個也在2名之內~其實真的不大~
比較特別的-6退步的女生
是作文六級分的孩子喔!
更特別的是她自己覺得數學變得很好
而且平時作業表現得真的不錯
只是考試容易出錯
這又是一個問題?!

再者~
在中段學生中~有一個今年才轉入的學生~
因此在使用MOOC與適應上需要更久的時間
因此
如果扣除她,整個中段學生的積分也會到達18分!!!

但這是單指成績~而且是大考成績~
沒有列入平常成績
四年級的排序是"總成績"
是平常50%+大考50%~
因此比對起來比較"不對稱"
而且
因為高年級數學難度高很多
因此許多成績會受到影響

換句話說
當到高年級,難度提高時
保持水平已經是......進步了!!!有跟上!!!
更別說有的只是進退1~2名
因此
可以說全班有60%的孩子都在超越與進步學習中!!!
但很可惜的
4成的孩子相對於全班是排序
是平均退後4名
沒有高度配合甚是有差!!!
不過
這有個小問題
有人進步~就會有人變成退步~
所以這裡看進退步的原因是
主要是看看與使用均一教育平台有沒有關聯性
答案是的確有關係!!!
少用真的會成為落後的因素


另一個有趣的現象是
有人是不相信自己退步的!!!
甚至不少人認為自己數學是有進步!!!
這又是一個有趣的問題
考試歸考試
但平時表現、作業、小考等等
的確有的孩子表現很好
那為什麼呢?

對此我又趕緊做了個調查
與過去經驗相比較
就在於
翻轉學習對於學習動機提升的意義
原比成績
在孩子成長得自我感受度更加重要
也就是
對於數學如果保持一定的自信
MOOC翻轉學習模式的學習意義
遠比單看成績更有價值!!!

也就是我常說的
翻轉學習
孩子喜歡上課就贏一大半!!!

學生對於"數學自信與喜歡課堂的感受"
前10高覺得變更好的有80%、不變20%
中10覺得變更好的一樣是80%、不變20%
後10變更好的有78%、不變22%
幾乎一致
全班覺得自己對數學更好的整體比率是85%、沒變化15%
對於MOOC翻轉學習的課堂
喜歡的是88%、普通12%、討厭是0

所以整體從成績與對數學的學習興趣來看
與我們過去的經驗非常符合!!!
一般來說
MOOC翻轉學習模式對於成績的幫助

前1/3學生會有立即效果
中1/3學生會有高度效果
後1/3學生會需要更長時間進行
但我們老師往往總會以後端學生的改變為主要目標
希望拉起低成就的學生
但往往耗時耗力
因此操之過急、以成績為重的老師會很快失去信心!!!

但如果以"重建學習信心"來看
日積月累的耕耘
則是能普遍地重新建立起來!!!
最感動的就是"最後一位"孩子
填寫問卷的結果是這樣

翻轉課堂的活動
"最後一位孩子"都很喜歡
但很明顯的
對自學性高的均一教育平台比較沒興趣
因此
遊戲性質高的PA對他來說
是更可以吸引他學習的平台
可見獎勵與有趣的課程是吸引這群後半段孩子最重要的動力

個人認為這非常重要!!!
因為只要保持興趣與自信
就有逐漸起色的可能
如同我常說的~~~前段看成績拉抬~後段看信心重建!!!
甚至
前段看均一自學~後段用PA補救的差異化教學思維也似乎可見

三、"好學生"取樣之特質!
此時,搞了老半天~終於!!!
使用率高、有進步、成績與使用率具高度關聯的"MOOC好學生"樣本就出現了
總共有八位孩子
(當然其他孩子都可以另外發展其他刻度的樣本,但先不討論....講不完!!!)
基本上可以分為兩大類
1.技術型:
主要特質是喜歡使用技能、解題,企圖心高、不斷挑戰、成績思維重、較老實、內向、人際關係友善。作文都普通。
2.自學型:
主要特質是使用技能、影片均高、偏向自主學習、企圖心高、自我肯定、成績維持高度、部分具備外放、好發表。邏輯、推證、思考發散有高程度,普遍作文強。

這有點像之前做質性歸納時的概念分析
當然
就詮釋學上是滿主觀的
但對學生來說
相處三個學期的老師角度
也算深入的客觀


四、變異問題
以下可能造成離散很大的狀況
因此在"量尺"的邏輯運算時,可能要考量這些"參數"。
1.使用率最高:
使用率最高者從中段進步到前段,進步5名,效果很好。但是因為使用率第1,班排第8
所以變成排名差是-7。
2.使用率低但成績優異:
均一排名低落但成績優異者,多半是因為家庭反對數為使用,依然具備"好學生"特質。
3.與老師自學作業相當者:
本班均一使用率最符合中間值的孩子是排17名,因為這個孩子個性耿直、說一就一,但也不會多做,因此多半遵守老師作業,不會多弄。因此老師自學規劃的份量與均一點數數量最吻合的應該是這位「17名」同學。因此,17名之前的同學,都是屬於額外自主學習分量多的。
4.努力但資質真的不行:
17名之前,但成績落在後段學生的有幾位女同學。實際上非常的努力,但屬於"文科超強,數理邏輯弱"的樣態,但具備"好學生"特質。


五、其他有趣的
1.臨界值的兩個學生:
在前段到中段,中段到後段臨界的兩個女孩子
居然排名差都是0,也就是均一排名與成績排名一模一樣
分別代表了"高度使用高度成就"、"低度使用低度成就"
而且前者進步,後者退步
所以以此類推
數位平台融入學習
相信不論哪一科或哪一個平台,融入得宜,學生配合
的確都能有很好的幫助

2.均一與PA的感受度:
本班長期蹲點使用"均一"與"PAGAMO"
那孩子的感覺呢???
首先,認為均一與PA兩個對於學習比較有幫助
有73%認為是均一
有26%是PA但是......如果問到喜歡均一還是PA?均一是40%PA是60%這......呵呵~
孩子心頭知道自學要看均一~但又喜歡PA的遊戲化題目~
這些都是希望均一跟PA越來越接近的意見
滿有趣的
3.對於MOOC+翻轉學習的感覺
在家數位自學基礎程度,然後上課進行討論、遊戲去進階學習~
這樣的模式
百分百沒有人不喜歡"翻轉學習"
更有趣的
居然會讓85%的孩子自己感覺數學變好~
當中包含不少實際成績不一定變好的孩子~
只是
不知道是不是也是"學習者的霍桑效應"???
讓自己感覺因為我在翻轉學習的班級中
所以我數學也跟著變好的感覺
不過
如果真是這樣
建立自信心、勇敢嘗試解題、不怕錯誤
不也是很好的事情嗎?



4.對於老師上課
有54%希望保持,8%沒意見
也就是六下持續下去的有62%
至於另外的27%建議是希望"更有趣"......
當然
也有超級自愛型的11%希望上課多加練習題庫
所以
既然是這樣
老師就要更努力的
把題庫轉成有趣的題目與活動
讓608的孩子繼續保持數學的動力囉!!!持續翻轉學習!!!
呵呵~~~

總結:
我仍然是比較希望做出
某種數學學習歷程→對應出某種學習者需求與特質→反饋學習建議、策略→補強、補救、自學→再迴圈不斷下去
這樣的量尺與刻度
不過
我也知道很困難
所以這次先利用每次期末的反省與觀察
順便搭配"好學生"專案的討論
先進行一次刻度的尋找
當然
後續的討論就非常值得研究了
畢竟
如果可以將這樣的刻度
轉化成數位運算的量尺
那真的是踏出第一步了!!!
或許
"教育版的杯麵"真的會在某一天出現啊!!!

老師呢???~~~呵呵~~~

2016年1月19日 星期二

醋味的期末分析之一


說真的
看到這種畫面
自己都會想~我到底腦袋在想甚麼?......

三年多前看到均一教育平台與其他的數位平台時
就覺得這真的才是可以擺脫傳統資訊融入聲光色玩一下就沒後文的窠臼
更別說後面數據帶來的可能性與發展性
這兩年又開始大數據+機器人
加上自己是質性研究出來的
事實上~有一派作法的確是將質化概念給量化統計
進行概念濃縮與脈絡追尋
去年就一直想
如果
數位平台的運算法則擺脫平均、標差等等
而是可以分析使用者、回饋使用者
那......以往數據提供老師進行分析的人工歷程
將有可能取代!!!

問題是
甚麼樣的歷程、數據,會對應到甚麼樣的學習狀態
因此
這把"量尺"非常非常非常的特別!!!
上面的刻度必須具備相當的代表性
一旦使用者產生數據,就要能運算出使用者相對的狀況
並提供建議與回饋
難在......人有太多樣貌了!!!

光是Google臉孔辨識~
不知道跑過幾百萬張臉孔才得以歸納出運算法則~
但想想
幾百萬張~也是從第一張開始!
那麼或許這種"教育的杯麵機器人"有天真能出現!!!

很多人總是好奇
到底資訊融入教學帶給學生的效益有多大?
還是耍花槍???
因此
每一年我大概都會回頭看看班上成績與MOOC融入的比對狀況
不過
那是很單向的~~~
但這次很特別的是在均一教育平台夥伴的聯繫下
就不妨來試著做出一個"最粗糙"的原始刻度~~~
夥伴說~代號叫做"好學生"
也就是使用均一並且成長的孩子中,具備甚麼樣的特質!
相對而言~讓這樣的對應歷程產生演算方法
或許就有機會產生某種數位量尺出來

在這樣的需求下
我所思考的過程是
1.樣本是使用高度使用均一教育平台,才能有數位的關連性
2.樣本必須與真實成就對照,了解使用的影響
3.觀察並提出質化研究常提到的"變異量",以利運算法則的參數去排除或增加

說真的只能很粗糙的嘗試
所以先說說關連性的部分

均一教育平台上能夠呈現學生使用狀況最明顯的就是"點數"
因為如果考量到看影片、作技能等等
這樣操作的變因太多
"點數"的計算就包含了這些變因
我不是統計或量化專家
我需要更簡化!
因此
我將點數先化成"排名順序"
可以知道最高到最低的順序

接下來將五上到最近總共六次的數學期中考成績進行平均
平時成績不計算的原因是
常常為了補分數而拉高~失準!
所以~最真實的~就是一戰決生死的大考~
六次也夠接近學生真實程度的狀況
但數字需要更簡化~因此一樣化成"排名"
再將前者進行比對
也就是先成立兩個假設:
1.用數位平台可以幫助成績,所以兩個排序應該接近,用得越多、成績顯著,越少反之
2.前項成立時,前三分之一的學生就可以說是"好學生"的樣本

但是這樣比對數字還不夠精簡
因此,邏輯上如果排名接近,那麼使用均一的排名減去成績排名,應該該要趨近於0
這樣數字更好辨識
所以我把兩者相減~產生一個"排名差"
然後把"成績排序"當成固定排序原則,對照出排名差
並且加上色塊~更好辨識~

結果~光是看色塊~大致上假設是成立的!

問題來了~
是因為學生優秀所以運用均一比較OK???
還是用了均一所以學生變優秀???
所以
自己找麻煩~又想知道其中多少人是進步?~多少人是退步?~

於是
上校務網站找到四年級最後的數學總成績~~~
因為已經結算~
導致沒有任何的評量成績
而且,當時各班導師打成績的寬鬆並不一致
用這個好嗎???

還好當註冊組很久~
經驗上這個總成績有價值!
因為編班時是採計這個成績
因此我們班的孩子,就是從這個成績計算在內的排名出來
而且這樣的排序還是T分數出來
已經去掉各班老師打成績的差異度
所以~依照邏輯倒推回去
這個原始成績一樣可以顯現出S型編班排名序

假如我這樣想沒錯
就可以和現在成績的排名進行比對
就可以知道
1.進退步狀況
2.相連到與均一使用的關連性
3.最後~找到所謂的真正用的好有進步的"好學生"樣本

更雞婆的
我又把各種徽章的數也順便帶看
因為每一種徽章的獲得
未來可能可以歸納出孩子取技能、影片、數量、時間等等的對應狀況
反正先帶著看
無差!
當然
又在更更雞婆的
加上幾個參數
因為有家裡反對的、3C亂用的、文強數弱等問題
因此也表列上去
最後花了一個晚上來試著分析
想想~就是為了找到一個"好學生的樣本"!!!
呵呵~
不過還滿過癮的!!!

我不知道這樣做到底對不對
不過依照質性研究對於樣本的訴求~理論性抽樣~
依照理論發展去找到脈絡樣本
應該是合理的~
或許
又是一場量皮質骨的胡亂分析~~~
呵呵~~~
至於找到甚麼
明天找學生補充資料
再來說更有趣的數據~~~~