國家衛生研究院電子報

國家衛生研究院電子報第 707期 2017-08-04

知識產權
舊金山科研評估宣言（DORA）
納「科學內容」於科研評估的建言
San Francisco Declaration on Research Assessment
Putting science into the assessment of research

楔子
對計畫補助單位、學術研究機構或相關團體而言，當前亟需一個經大幅改良、能正確評估科學研究產出的方式。為解決這個問題， 2012年12月16日於美國舊金山舉行的ASCB年會上，一群學術期刊的編輯及出版商特別聚在一起，尋求解決之道。會後，與會人士共同制定並發表18條重要建言，亦即「舊金山科研評估宣言（Declaration on Research Assessment, DORA）」。之後ASCB亦設立一個公開網站，邀請關心此議題的科學家及各學門領域之機構團體，透過簽署個人或所屬機構名稱來表達對該宣言的支持。

科研評估（Research assessment）
科學研究的產出是多面向的，它可以是經由發表研究論文來闡述一項新的知識、新的數據、新試劑、新的程式軟體；或是產出一項專利；或是培養出一位受過高度專業訓練的年輕科學家。 因此，計畫出資單位、僱用科學家的機構以及科學家本身，都會有一種渴望或是需要，來評估科學研究產出的價值與影響力，當今，即須有一些精確且明智的方法，來達到科研評估的目的。

期刊影響係數（Impact factor, IF）
期刊影響係數（以下簡稱期刊IF）經常用來評比個人或學術機構的科學研究產出之主要指標。然而，當初湯森路透公司（Thomson Reuters）所計算出的期刊IF，只是為了提供圖書館人員訂購雜誌時的一種參考依據，並非為衡量科學研究品質而設。因此，值得注意的是，多方評論已認為以期刊IF作為科研評估依據是有缺失的。例如：(1) 期刊間的引用次數分佈具高度偏差性（skewed）^[1–3]； (2)學科領域具個別特異性，有些領域評論性文章（review）多、有些領域原發性論文（primary research paper）多，但是計算期刊IF時並未考量這些因素 ^[1,4] ； (3)一份期刊IF的高低可透過該期刊之編輯政策予以操控、玩弄 ^[5] ；(4)計算期刊IF的數據既不透明，使用者也向來不知 ^[4,6,7] 。

DORA精神
以下，將提出一些改進研究成果評估的建議。雖然研究論文以外的其它科研產出將會日益受到重視，不過同儕審查（peer review） 的研究論文將還是科研評估的大宗，因此，建議仍以同儕審查研究論文為主要對象，但是這些建議仍然可以擴充到並且應重視其它科學產出項目，例如建立新的資料庫等。

本宣言提供建議的對象包括計畫補助單位、學術研究機構、期刊出版商、提供期刊計量指標組織，以及研究人員本身。

貫穿各項建議中的主要宗旨包括下面幾點：

• 取消以使用包括期刊IF在內的各種期刊計量值作為研究計畫的通過與否、研究人員的聘任與升遷之考量標準
  
• 需根據研究本身評估學術價值，而非以發表在高IF期刊為評量準則
  
• 善加利用雲端出版的網路空間優勢，例如放寬對文章字數、圖片與參考文獻篇數等不必要之限制，並且發展新穎且可衡量文章重要性和影響力的新指標

值得強調的是，目前已有許多計畫補助單位、學術研究機構、期刊出版商和研究人員本身，願意採用改善的方式進行科研評估。這些行動已為將來創立一個可為多數利益關係人接受、更為細緻、更具實質意義的科研評估系統帶來動能，並奠定良好基石。

「舊金山科研評估宣言」之簽署者支持在科學研究評估中遵守以下建議：

整體建議（General recommendation）
1. 不以期刊計量指標（例如期刊IF）評估一篇論文研究品質、 一位科學家的研究貢獻度、或是作為聘任、升等及審核計畫是否通過之依據。

對補助單位的建議（For funding agencies）
2. 審查計畫是否具科研產值時，須立下明確的規定。而規定中尤應強調發表論文的科學內涵，遠比論文發表於高知名度或高IF期刊更為重要，尤其在評量剛起步的年輕學者之計畫時，更須注意。
3. 科研評估中，須一併考量除研究論文外，尚包括其它科學研究產出的貢獻度與影響力（例如資料庫或電腦程式之建立）。另外，並考慮擴大衡量範圍，例如納入對政策建言、實踐面具影響力之質性衡量指標。

對研究機構的建議（For institutions）
4. 面對人員聘任、終身職核定及升等之各項考核時，須立下明確的規定。而規定中尤應強調發表論文的科學內涵比該論文發表在期刊IF多高或期刊之知名度更為重要。在評量剛起步的年輕學者時，此點更須注意。
5. 科研評估中，須一併考量除研究論文外，其他科學研究產出的貢獻度與影響力（例如資料庫或電腦程式之建立）。另外，並考慮更廣泛性之衡量方式，例如納入政策建言、實踐面具影響力的質性衡量指標。

對期刊出版商的建議（For publishers）
6. 宜大量降低以期刊IF作為促銷手法，理想上是能夠停止強調期刊IF這件事。真的要用的話，應一併參考更多的期刊度量指標，例如5年的影響係數、EigenFactor ^[8] 、SCImago ^[9] 、h-index，以及期刊出版商對每篇稿件的編輯與發表之平均處理時間等。因為，這些指標對一份期刊在該領域之表現能力，提供更多的資訊。
7. 請提供多項針對每篇文章本身的計量指標，以扭轉目前僅以文章刊載期刊之IF作為文章好壞之風氣，亦即建議須根據每篇文章的科學內容作個別評估。
8. 鼓勵投稿人須遵循該期刊所設下之作者規範，尤其對每個作者對該論文之具體貢獻需忠實述及。
9. 無論是開放獲取（open-access）型、還是傳統訂閱型期刊，請刪除所有對研究型文章中、重複引用參考文獻之次數限制。另外在參考文獻方面，請根據「創用CC授權條款」^[10] 。
10. 刪除或放寬對研究性文章（research articles）中參考文獻數量的限制，並且在適當的情況下，盡量要求引用原始文獻而非評論性文獻（reviews），以便正確彰顯原發現研究團隊該有之科學貢獻（credit）。

對提供期刊計量指標組織的建議（For organizations that supply metrics）
11. 對於如何獲得計量指標的資料來源及計算方法，必須公開透明。
12. 在可容許的情況下，須允許購買方具有取得各期刊之各項數據，且買方得擁有自行運算之權利。雙方之合約（license）應屬無限量次數制。
13. 請務必瞭解，對期刊計量指標的任何不當操縱是無法被這個領域所容忍的；所以，提供期刊計量指標時，宜同時載明哪些屬於不正當的操縱行為，以及貴公司將採取什麼措施來對付這些行為。
14. 須將各類文章的不同屬性列入考量，好比評論性文章（reviews）與研究性文章 （research articles）被引用次數將會大相逕庭。並且須考量不同領域間，各自的引用指標該如何洽當地被比較、統合使用。

針對研究人員之建議（For researchers）
15. 在參與計畫審查、人員聘用、終身職或升等考評等各項委員會中，於做決定時，須根據科學內容進行評估，而非發表論文之期刊計量值。
16. 多數情況下，儘可能引用某項發現的初次發表文獻，而非引用評論文章（reviews）。唯有如此，才能正確保留原發現人之科研貢獻。
17. 在個人履歷或推薦聲明中（supporting statements），試著使用多項文章計量指標作為個別文章或其它科研產出之評估依據 ^[11] 。
18. 面對不當利用期刊IF作為科研評估標準之情況時，應勇於提出質疑；同時，應鼓吹且力行「以科學研究本身的價值和影響力」作為科研評估之依據。

參考文獻

1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union (https://goo.gl/W6btwN) OR [arxive 2009 https://goo.gl/pUYnPt]
   
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
   
3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
   
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
   
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291.
   
6. Rossner, M., Van Epps, H., and Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
   
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
   
8. http://www.eigenfactor.org/
   
9. http://www.scimagojr.com/
   
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
    
11. http://altmetrics.org/tools/

《文：癌症研究所林素芳副研究員翻譯；圖：舊金山科研評估宣言標誌》