| 查看: 23295 | 回復(fù): 64 | |||||
| 【有獎(jiǎng)交流】積極回復(fù)本帖子,參與交流,就有機(jī)會(huì)分得作者 mikexu1992 的 44 個(gè)金幣 ,回帖就立即獲得 1 個(gè)金幣,每人有 1 次機(jī)會(huì) | |||||
[交流]
[重發(fā)](獨(dú)家詳細(xì)版)博士后基金評(píng)分方式及其公平性探討——小組分加權(quán),系數(shù)即命運(yùn)?
|
|||||
|
2021/7/8 更新:昨天聽朋友說基金會(huì)領(lǐng)導(dǎo)在基金申請(qǐng)培訓(xùn)時(shí)再次提到了我的帖子,可惜我又沒在現(xiàn)場聽到。感謝官方的認(rèn)可。 這兩批次的基金申請(qǐng)培訓(xùn)時(shí),領(lǐng)導(dǎo)都有建議博士后們感興趣的可以來看我的帖子。但是,發(fā)現(xiàn)小木蟲居然在6月中旬左右到7月初的某一天刪除了我的帖子。 咨詢區(qū)長表示沒有違規(guī)內(nèi)容,于是我在今天重新發(fā)布。希望能收到論壇關(guān)于刪帖的解釋。 -----------我是分割線----------- 2021/1/6 更新:聽說今天基金會(huì)領(lǐng)導(dǎo)在基金申請(qǐng)培訓(xùn)時(shí)提到了我的帖子,算是認(rèn)可了其中的內(nèi)容。 雖然不在現(xiàn)場,也算是達(dá)到了初衷,犧牲前轟轟烈烈了一把吧。 -----------我也是分割線----------- 2020/10/28 更新:目前了解到的最高的加權(quán)系數(shù)>2,所以只要原始分50多就能按100多的最終分?jǐn)?shù)進(jìn)行排名哦 基準(zhǔn)組哭了,100分都不中啊![]() 這一大組中甚至出現(xiàn)了分?jǐn)?shù)高20分排名反而低70名的情況,是我了解到的最夸張的一組。 而目前看到的最低的加權(quán)系數(shù)在0.7不到,也就是這一小組的博士后即使原始分滿分,大致也按70不到的最終分?jǐn)?shù)進(jìn)行排名。 并且,那個(gè)大組看人數(shù)應(yīng)該就兩個(gè)小組,所以同大組的一個(gè)小組加權(quán)系數(shù)<0.7,另一個(gè)小組的加權(quán)系數(shù)是1,系數(shù)小于0.7的那一小組恐怕全軍覆沒了。 -----------太長不看版分割線----------- 太長不看版:大組拆小組,小組分加權(quán),系數(shù)即命運(yùn)? 可悲的是,當(dāng)你以為自己不中是寫本子能力實(shí)力問題時(shí),也許只是因?yàn)橄禂?shù)運(yùn)氣;當(dāng)你以為自己中了是努力修本子終于得到認(rèn)可,或許還是因?yàn)橄禂?shù)運(yùn)氣。 而且,其實(shí)即使在同一個(gè)大組,也有相當(dāng)一部分沒中的本子原始分是比中了的本子原始分要高的。 -----------原文分割線----------- 68批博士后基金結(jié)果已出,又是小木蟲幾家歡喜幾家愁的時(shí)刻。 我這一次是第三次申請(qǐng),10月13日已經(jīng)通過自己的技術(shù)手段知悉沒中,果然結(jié)果一樣。 其實(shí)本來是不想發(fā)這個(gè)帖子的。因?yàn)槭紫劝l(fā)帖有風(fēng)險(xiǎn),其次今年既然已經(jīng)公示,就不會(huì)更改了,而我可能是最后一次申請(qǐng),今后如何或許和我無關(guān)了。 但是,我覺得自己作為一個(gè)讀書人,實(shí)在不應(yīng)被培養(yǎng)為一個(gè)事不關(guān)己高高掛起的人。 本人在67批的時(shí)候曾經(jīng)攻破了博士后基金的評(píng)分方法,知曉了很多中了基金的和沒中基金的人的分?jǐn)?shù)。 同時(shí),我及時(shí)地反饋給了官方,上一批和這一批都曾在名單公示前聯(lián)系博士后基金委,與官方討論技術(shù)漏洞和評(píng)分方式公平性,但都沒在公示前收到回復(fù)。 在這里,我想告訴諸位,博士后基金的真實(shí)評(píng)分方式是怎樣的。我說的不是保密信息,因?yàn)楣俜皆ㄟ^電話公開給許多發(fā)現(xiàn)自己和同事分?jǐn)?shù)排名不對(duì)應(yīng)的人。 而有趣的是,除開他們,世人都認(rèn)為博士后基金面上資助因?yàn)殡p盲,是非常公平并且能反映博士后的真正實(shí)力的。那諸位請(qǐng)閱后再談。 由于一些方向的人數(shù)太多,無法按整個(gè)大組送到評(píng)審老師處,于是官方會(huì)把本子以隨機(jī)的方式分為若干小組。 這里明確兩個(gè)定義,同二級(jí)學(xué)科的為一個(gè)大組,一個(gè)大組按人數(shù)多少會(huì)分為若干個(gè)小組,設(shè)某個(gè)大組分成的小組共有n個(gè)。 由于不同小組的評(píng)審老師不同,官方出于公平性考慮,在把不同小組的分?jǐn)?shù)匯總至大組時(shí),引入了加權(quán)系數(shù)的概念。 加權(quán)系數(shù)的算法大致是這樣的,即會(huì)以小組1為基準(zhǔn),其中有兩份對(duì)照本子會(huì)被送到小組2~n,由不同的評(píng)審小組老師評(píng)分。 這樣就獲得了小組1與小組2~n中兩份對(duì)照本子的分?jǐn)?shù),可通過某種算法(可能是均分相除),以正比例函數(shù)的方式,把小組2~n的分?jǐn)?shù)歸化為小組1的標(biāo)準(zhǔn)。 這里再明確三個(gè)定義,每個(gè)小組評(píng)審老師給出的分?jǐn)?shù)是原始分,正比例函數(shù)的比例系數(shù)為加權(quán)系數(shù),原始分乘以加權(quán)系數(shù)是最終分?jǐn)?shù)。 排名是各個(gè)小組的本子匯總到大組,按最終分?jǐn)?shù)排名的。 其實(shí),也不排除是以一次函數(shù)的方式計(jì)算加權(quán)系數(shù),但也就是多個(gè)截距(y=ax 變 y=ax+b),并不會(huì)有太本質(zhì)上的區(qū)別。 是的,官方是為了公平性,出發(fā)點(diǎn)完全是值得肯定的。整個(gè)方法是由出色的顧問專家學(xué)者提供的,真的是很棒的方法。似乎沒什么不妥。 說完了背景,我們來說實(shí)際情況吧。 67批的時(shí)候,和我在一個(gè)大組且?guī)缀跬值模ǚ植畈坏?.1)朋友,最后是大組前三(我們組120人左右),而我線外。 同樣67批的時(shí)候,某個(gè)大組原始分超過90分、88分的人不中,而80出頭的朋友中了。 為何會(huì)出現(xiàn)這樣的情況?諸位博士后朋友們肯定猜到了。是的,加權(quán)系數(shù)。 67批時(shí)我的加權(quán)系數(shù)是0.99,和我同分的朋友是1.08;今年我的加權(quán)系數(shù)是1.01,我知道有個(gè)同大組的小組加權(quán)系數(shù)是1.09。 試問,滿分100左右的如何和滿分110左右的相比?這也是為何從上一批開始,我就持有一種觀點(diǎn),就是加權(quán)系數(shù)決定命運(yùn)。 理想和現(xiàn)實(shí)總是有差距的,方法雖好,但施行起來似乎…… 接下來說說為何我認(rèn)為加權(quán)系數(shù)可能會(huì)有問題,以及產(chǎn)生這種問題的原因。 已知存在1.10左右的加權(quán)系數(shù),那么假設(shè)一個(gè)小組第一名的分?jǐn)?shù)是90,最終分?jǐn)?shù)為90*1.1=99,而這個(gè)小組的79分將會(huì)有79*1.1=86.9的最終分?jǐn)?shù)。 我相信每個(gè)小組的評(píng)審老師都是認(rèn)真負(fù)責(zé)的,最后各自給出的分?jǐn)?shù)將會(huì)接近于正態(tài)分布,且每個(gè)人給的最高分可能在90出頭,均值可能在79上下。 設(shè)上線分?jǐn)?shù)為86.9左右,另一個(gè)小組加權(quán)系數(shù)為1,某人的分?jǐn)?shù)為86.5,此人也許是該小組的前三或前五(從這兩批的情況看,這些取值都是合理的)。 看,高加權(quán)系數(shù)小組的中位水平的本子是可以反超另一個(gè)小組的前三到五。 合理推測,最后中了的本子,絕大多數(shù),也許至少一半都在那些高加權(quán)系數(shù)的小組中,而低加權(quán)系數(shù)的小組中即使前三,也未必能中。 出現(xiàn)這樣情況的原因還是在于不同評(píng)審老師在面對(duì)同一個(gè)本子時(shí)打分有差異,這本是很正常的事。 也就是說,如果每個(gè)小組大約是3個(gè)評(píng)審老師,前面說的對(duì)照本子會(huì)遇到3*n個(gè)評(píng)委,而其他本子只有3個(gè)評(píng)委。 這兩份對(duì)照本子在不同小組的3個(gè)評(píng)審老師手下得到的分?jǐn)?shù)的差異決定了加權(quán)系數(shù)。 但我敢說,這兩份對(duì)照本子在各個(gè)小組的均分離開3n個(gè)評(píng)委給出的總均分都是有差異的。 所以,這其實(shí)是一種把不同評(píng)審老師對(duì)兩份對(duì)照本子的喜好程度的不同還有水平位次的不同強(qiáng)行拉平的方法。 再說個(gè)事情。67批和68批,官方公開的都是加權(quán)前的原始分,所以67批時(shí),曾有個(gè)熱門帖子,就是很多人發(fā)現(xiàn)自己同一大組的分?jǐn)?shù)和排名不對(duì)應(yīng)。 可以這樣說,官方是問心無愧的,這是一種標(biāo)準(zhǔn)的算法,并不是一些蟲友懷疑的人為操作,所以官方敢于公開原始分,當(dāng)有人質(zhì)疑不對(duì)應(yīng)就會(huì)解釋原因。 但是,官方為何直接公開原始分呢,大家想過沒有。原因似乎是這樣的,加權(quán)后,部分人的總分可能超過100,三項(xiàng)分?jǐn)?shù)可能超過30、60、10。 如果公開比評(píng)分標(biāo)準(zhǔn)中的分?jǐn)?shù)上限還高的分?jǐn)?shù),尤其不排除這些人可能本子還沒中,那么引起的問題和質(zhì)疑將是更大的。 事實(shí)上這也說明,現(xiàn)行的加權(quán)系數(shù)算法在某些情況下是會(huì)產(chǎn)生問題的。 例如68批,了解到某一小組的加權(quán)系數(shù)超過了2,那么這一小組的最高分可以接近200,基準(zhǔn)組即使?jié)M分100也無法超過加權(quán)系數(shù)為2的小組的50分…… 而且已知,這一小組里有幾位最終分?jǐn)?shù)超過100的博士后也沒有中,因?yàn)樗麄兊脑挤衷?0左右,本來在自己小組也是很靠后的,若公開100多不中…… 相信大家都認(rèn)同,世界上沒有絕對(duì)的公平。也許我是那種運(yùn)氣很不好的人,所以67批和68批都死于加權(quán)系數(shù)。 羨慕那些有實(shí)力也有運(yùn)氣的博士后朋友。尤其獲得一等資助的博士后們,他們真的是既有拿到小組第一的實(shí)力,又有被分到最高加權(quán)系數(shù)小組的運(yùn)氣。 我也確定,官方設(shè)立這種加權(quán)算法的初衷一定是為了解決很多年前不設(shè)加權(quán)系數(shù)時(shí)產(chǎn)生的某些問題。 由于官方并沒有回復(fù)我的反饋,我也沒有機(jī)會(huì)和官方溝通,我并不知道多年前不設(shè)加權(quán)系數(shù)時(shí)會(huì)產(chǎn)生什么問題。 但是可以猜想,會(huì)不會(huì)是中的本子都分散在特定的幾個(gè)單位,例如那些雙一流大學(xué)了?這確實(shí)會(huì)有問題,不過這不正是說明這些單位本來也強(qiáng)嗎。 最后想說,本人雖然有激動(dòng)過,但在從頭闡述我所知所想時(shí),心態(tài)是愈發(fā)平靜的,也站在博士后和官方兩方換位思考了。 我很希望這個(gè)帖子能解決很多蟲友對(duì)于博后基金的疑問,也很希望官方能夠讓評(píng)分體系越來越科學(xué)。 這次公布的依然是原始分,所以可能還會(huì)有很多博士后和同事比較后發(fā)現(xiàn)排名和分?jǐn)?shù)不對(duì)應(yīng),那么這個(gè)帖子也算是替官方作了解釋。 我盡到了自己的義務(wù),例如我在第一次發(fā)現(xiàn)技術(shù)漏洞后就和官方溝通過,也多次試圖和官方聯(lián)系交流,現(xiàn)在又把這些非涉密的信息分享給蟲友們。 可能不會(huì)再申請(qǐng)博士后基金面上資助了,那么就讓我的最后一次犧牲顯得轟轟烈烈一些吧。 希望學(xué)術(shù)圈和科研界的未來是美好的。 以上。 某位三申博后基金三掛的博士后 2020/10/27 [ last edited by mikexu1992 on 2021-7-9 at 19:57 ] 2022/1/5 更新:今天基金申請(qǐng)培訓(xùn)時(shí)博管處領(lǐng)導(dǎo)又提了我的帖子,很感謝老師的認(rèn)可。 我個(gè)人已經(jīng)決定離開學(xué)術(shù)圈了,親們珍重。 [ Last edited by mikexu1992 on 2022-1-5 at 20:34 ] |
基金相關(guān) | 帖子專輯 |
» 搶金幣啦!回帖就可以得到:
+1/78
+1/38
+1/37
+2/36
+1/34
+1/30
+1/29
+1/13
+1/9
+1/8
+1/7
+1/7
+1/7
+1/4
+1/4
+1/2
+1/1
+1/1
+1/1
+1/1
| 發(fā)人深省的帖子!由于對(duì)現(xiàn)行的分?jǐn)?shù)計(jì)算過程并不了解,以下純屬個(gè)人偏見。分組不隨機(jī)或過小都會(huì)降低組間的公平性。申請(qǐng)書隨機(jī)分組的前提下,減少組數(shù)并按組均分上會(huì)或資助數(shù)量能保證評(píng)審的公正性,如果非得各組混合排序,可以預(yù)先進(jìn)行組內(nèi)分?jǐn)?shù)歸一化統(tǒng)一各組的分?jǐn)?shù)范圍(例如0~100、60~100等)。為減少函評(píng)時(shí)的二次分組,鑒于評(píng)審過程采用結(jié)構(gòu)化評(píng)分,可以增加每位專家評(píng)閱的申請(qǐng)書數(shù)量,同時(shí)減少每位專家評(píng)判的指標(biāo)數(shù)量,例如,每位專家只對(duì)更多申請(qǐng)書的某1或2個(gè)方面(例如創(chuàng)新性、可行性等)進(jìn)行評(píng)分。另外,增加評(píng)判同一指標(biāo)的專家數(shù)量,分析同組所有申請(qǐng)書的同一指標(biāo)得分及排序在所有專家之間的差異性,剔除明顯差異于其他專家的評(píng)判結(jié)果后(類似于剔除離群值;應(yīng)該有統(tǒng)計(jì)學(xué)方法可以實(shí)現(xiàn)),再進(jìn)行后續(xù)的結(jié)構(gòu)化分?jǐn)?shù)計(jì)算,同時(shí)根據(jù)這個(gè)差異性系數(shù)量化各位專家的“大眾化程度”或“離群程度”。 |
祝福樓主。如果我是評(píng)審老師,讀完樓主的貼子,我都想優(yōu)先資助你立項(xiàng)解決一下目前博后基金評(píng)價(jià)體系的一些弊病了。樓主不但寫作有條理,而且理由充分,數(shù)據(jù)詳實(shí)(雖未披露來源,但是就給人一種可信度很高的感覺)。從樓主這篇文章的框架來看,應(yīng)該是受到過極好的科研訓(xùn)練,且自身科研能力極強(qiáng)的。特別遺憾,獲悉樓主已經(jīng)決定離開xsq,祝樓主好運(yùn),期待樓主在業(yè)界做出亮眼的成績,相信你一定能做出令人刮目相看的成績。 |
|
寫的完在好有什么用?總分是固定的,專家確實(shí)是認(rèn)可你給90多分,但是乘以系數(shù)0.7后也就60多分了。系數(shù)對(duì)排名高的,評(píng)分高的很不公平? 發(fā)自小木蟲Android客戶端 |
|
那有大佬能解答二級(jí)學(xué)科全軍覆沒的情況嗎?71批已知的一個(gè)二級(jí)學(xué)科沒有一個(gè)人獲得資助,這又是為什么呢,求解惑 發(fā)自小木蟲IOS客戶端 |
|
寫的很棒。現(xiàn)在等于就是需要把標(biāo)準(zhǔn)本子送的人足夠多來讓系數(shù)更準(zhǔn)確了吧。 發(fā)自小木蟲IOS客戶端 |
禁蟲 (文學(xué)泰斗)
|
本帖內(nèi)容被屏蔽 |
|
所以現(xiàn)在中了就不會(huì)出現(xiàn)分?jǐn)?shù),是因?yàn)檫@個(gè)嗎? 發(fā)自小木蟲Android客戶端 |
送紅花一朵| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 環(huán)境調(diào)劑 +8 | chenhanheng 2026-03-02 | 8/400 |
|
|---|---|---|---|---|
|
[考研] 306求調(diào)劑 +7 | 張張張張oo 2026-03-03 | 7/350 |
|
|
[考研] 化工專碩調(diào)劑 +4 | 利好利好. 2026-03-03 | 7/350 |
|
|
[考研]
085600 英一數(shù)二272求調(diào)劑
5+6
|
vida_a 2026-03-01 | 44/2200 |
|
|
[考研] 290求調(diào)劑 +9 | ErMiao1020 2026-03-02 | 9/450 |
|
|
[考研] 成績276,專業(yè)代碼0856求調(diào)劑 +7 | 小陳朵 2026-03-03 | 7/350 |
|
|
[考研] 0805總分292,求調(diào)劑 +12 | 幻想之殤 2026-03-01 | 12/600 |
|
|
[考研] 環(huán)境調(diào)劑 +5 | 柒槿levana 2026-03-01 | 5/250 |
|
|
[考研] 一志愿華中科技大學(xué),化學(xué)專業(yè)344分,求調(diào)劑 +6 | 邢xing1 2026-03-02 | 6/300 |
|
|
[考研] 一志愿天津大學(xué)085600 319分 材料與化工 金屬方向 求調(diào)劑 +4 | 青科11 2026-03-02 | 4/200 |
|
|
[考研] 化工270求調(diào)劑 +10 | 什么名字qwq 2026-03-02 | 10/500 |
|
|
[考研] 材料類考研調(diào)劑 +6 | gemmgemm 2026-03-01 | 7/350 |
|
|
[考研] 0857調(diào)劑 +6 | 一ll半 2026-02-28 | 8/400 |
|
|
[考研] 求調(diào)劑院校 +6 | 云朵452 2026-03-02 | 8/400 |
|
|
[考研] 材料085601調(diào)劑 +5 | 多多子. 2026-03-02 | 5/250 |
|
|
[考研] 一志愿東北大學(xué)材料專碩328,求調(diào)劑 +3 | shs1083 2026-03-02 | 3/150 |
|
|
[考研] 0856化工專碩求調(diào)劑 +15 | 董boxing 2026-03-01 | 15/750 |
|
|
[考研] 299求調(diào)劑 +3 | Y墨明棋妙Y 2026-02-28 | 5/250 |
|
|
[考研] 291分工科求調(diào)劑 +9 | science餓餓 2026-03-01 | 10/500 |
|
|
[考研] 313求調(diào)劑 +3 | 水流年lc 2026-02-28 | 3/150 |
|