Hindawi / 博客 / 博客文章

开放科学

同行评审的艺术与科学

意见|研究人员同行评审
同行评审质量

bet310云博体育2.0版本 同行评审是一种可行的过滤器吗?同行评审是在文化和技术如此不同的时候最初实施的流程吗?


同行评审的艺术与科学

任何阅读,搜索或挖掘学术文献的人都希望确保他们访问的信息可靠—在存在分歧(并适当讨论)的地方,“事实”可以被信任或至少被标记为有争议的。同行评议尽管是一个相对较新的术语(1970年代),但已被视为保证可靠性的保证人,即使这不是提出该术语的人的初衷(Moxham等人,2018, Fyfe等人,2019年)。

但是,在过去的十年中,公众对该过程的可靠性的信任度一直在迅速下降。引起关注的不仅是越来越多的作者,编辑,审稿人和出版商进行全面欺诈和操纵的清单(例如,如Retraction Watch所详述),而且学术界本身正在采取的方向(尤其是在生物医学领域,例如Jones和Wilsdon) ,2018)。

研究对某些人变得非常不可靠,以至于目前的情况被称为可再现性危机。

无论您是否认为这是合理的,要解决的更大问题是同行评议是否可行(这是一种在文化和技术如此不同的情况下最初制定的流程),以提供可靠的筛选条件。而且,如果是这样,我们怎么知道它正在工作?

因此,本周重点关注同行评审的主题很可能是“同行评审的质量是什么”。任何在杂志幕后工作的人都知道,以世界上最好的意愿,同行评审会受到打击或错过。当它起作用时,将是令人兴奋的,并且是巨大的回报。我受到了作者,编辑和审稿人之间时间,思想,专业知识和建设性对话的惊人投入的启发,在这里,您最终确信结论得到了充分的支持,并且论文对这一领域做出了真正的贡献。研究人员关心他们的工作质量及其对学科的贡献。但是我也看到了几乎所有可能的渎职行为,无论是无意识还是蓄意的。而且,无论他们的期刊或平台有多高选择性,无论是订阅还是公开访问,都没有出版商或编辑者能够讲述类似的故事。

我还不知道,包括我自己在内的任何人都将完全放弃同行评审。对我来说,您的同事和其他专家对您的工作的健全性,兴趣或影响的反馈具有内在的价值。

同行评审中的诚信

bet310云博体育2.0版本 然而,问题在于同行评议基本上是密闭的。我们所有人都认为知道质量是什么,但是正如本周同行评审的许多帖子所揭示的那样,质量对不同的人来说意味着不同的事情。

而且,对于那些评价大学和资助机构研究人员的人来说,“高质量”,“高影响力”和“卓越”是几乎可以互换使用的词。但是所有这些术语都是滑溜溜的,模棱两可的-是修辞学的一部分,用于表示某种价值,而没有指明该价值是什么以及对谁(Moore et al。,2017)。

这种言辞也已成为出版物的位置和地点的代名词,而不是产出本身的内在质量或优点。基于引用(h指数)或期刊(影响因素)和大学的研究人员排名(例如,高等教育的世界大学排名)已成为常态。如果您在正确的位置完成工作或在正确的地点发布工作,则将视您的工作质量以及可能的职业发展而定。这就形成了一种过度竞争的文化,在这种文化中,只有极少数人可以获胜,而行为不同的人则处于不利地位。骚扰和霸凌的说明越来越多,而研究环境与我们社会中的多样性或研究的全球性几乎没有关系,都证明了这一点。这种恶性循环对学术文化,实践和学术成果以及出版业的不良影响正正推动着寻找替代方法评估研究,研究人员和机构的努力,以期使奖学金及其交流更加负责。并且值得信赖(例如DORACOKI )。

那么,如果这不是我们所说的质量,那是什么?努菲尔德生物伦理委员会于2014年发布了一份关于研究伦理与文化的报告。在该项目的一部分中,他们进行了一项调查,研究人员和其他学术上的利益相关者用来描述高质量的五个最常用词是严格,准确的,原始,诚实和透明,其中最经常被引用为严格(Joynson and Leyser,2015)。

如果您以这些属性为起点,那么它们可以在多大程度上应用于同行评审?尽管有关同行评审的研究有所增加(例如, 同行评审大会的重点),但我们尚不知道。关于同行评议有效性的证据仍大部分是轶事(如上述我的观点),或者是基于意见调查或出版商进行的实验,这些出版商通常没有经过严格设计,并且无法获得独立审查的数据。我们也没有证据表明同行评审实际上可以改善文章,更不用说确保文章具有任何可靠性。

bet310云博体育2.0版本 但是,《纳菲尔德报告》的确表明,对调查参与者而言,质量与流程的完整性一样重要,与任何产出的影响一样重要。如果我们将此标准应用于同行评审,则需要研究出版商,机构(包括资助者),博学的学会,学院和权威研究人员的流程,实践和职责(例如,他们提供给他们的培训或建模中的PI)他们的学生),以及作者,编辑和审稿人的学生。它还应包括对同行评审是否按照我们认为的去做以及是否以道德和包容性进行的评估。

进行同行评审

bet310云博体育2.0版本 在称为学术交流的学科中,同行评审只是另一种方法。像其他研究方法一样,我们需要知道所涉及的内容,并探索何时有效以及何时无效。我们需要对其进行测试。我们还需要将该研究以及相关的政策,实践和数据开放供独立分析和重用。我们需要分享失败并庆祝成功,以便其他人可以接受有效的方法,抛弃无效的方法。这只不过是我们目前对研究人员本身的要求。

bet310云博体育2.0版本 《 Nuffield报告》将透明性作为质量的一个方面,但我并不是在争论同行评审的所有内容都应该公开。完全透明并不是天生的好,它既不能代表真相,也不能替代问责制。正如Ananny和Crawford在2016年所描述的那样,透明度是有局限性的,需要敏感和明智地将其应用到更开放的研究文化的发展中,包括同行评审的文化。

例如,如果透明显示出患者身份或濒危物种的位置,则可能是有害的。但是,如果它限制了诚实的对话,也可能是有害的。如果审稿人认为由于担心遭到报复而对批评不诚实,那么揭露同行审稿人的身份就代表了这样一种紧张感。这些恐惧-无论是感知的还是真实的-以及引起这种恐惧的学术文化都必须加以解决,因为我们开始真正探索在现有工具和技术的情况下在同行评审中什么是可行的,什么是可行的。

bet310云博体育2.0版本 如果同行评审完全可行,那么它至少应该发现研究中的任何基本缺陷或偏见。这些批评应该客观地提出并且是无可争议的。然而,大多数同行评审都是主观的-它既是一门艺术又是一门科学-依靠人类的互动,洞察力,经验和专业知识以及围绕同行评审目的的共同价值观。因此,发挥作用的政治以及对价值和基本人际关系的理解,在它们所起作用的背景下,也是要探索的重要变量。

Nuffield的报告还列举了调查中出现的其他四个质量要素:协作,多学科性,开放性和创造力。同行评议是学术研究的一个领域,在此领域,艺术,社会科学和人文学科之间的协作和集体专长可以创造性地与物理,生物医学和生命科学领域的学科相结合,以促进严谨和创新。我的直觉是,各学科之间的相似之处远胜于不同之处(例如,对复制性的需求不仅适用于生物医学[Peels and Bouter,2018; Peels 2019])。

bet310云博体育2.0版本 但是,我们尚未确定有效的同行评审的模样。

幸运的是,人们越来越需要对研究进行研究,例如在斯坦福大学元研究与创新中心进行的研究 。还有一些项目,例如由欧盟资助的PeerE ,一直在研究同行评审的效率,透明度和问责制。该项目的一部分包括与出版商合作以共享同行评议的数据(Squazzoni等人2017)。重要的是,该协议包括有关被拒绝和被接受论文的同行评审的信息,这是迄今为止迄今为止有关同行评审研究的主要内容。这项合作的结果表明,在负面评论的基础上,更有名望的作者不太可能被编辑拒绝(Bravo等,2019),但是如果同行评审报告的身份不正确,那么发表同行评审报告不会显着影响审稿人的行为。揭示(Bravo et al.2018)。 TRANSPOSE (Ross-Hellauer et al。,2018)和FAIRsharing是旨在使发布者关于开放式同行评审或数据共享的政策更加透明的其他举措。

在欣达维,我们已开始使我们的政策透明化(例如通过FairSharing和Transpose项目);我们所有已发表的研究论文均包含数据可用性声明;我们鼓励作者发表预印本,并使其独立的结构化方法可通过protocols.io等平台进行审查。作为一家公司,我们正在为提交和同行评审过程构建社区驱动的软件,该软件是完全开源的,使我们系统的用户能够从共享的知识和专业知识中受益。

我们将继续研究如何以使作者受益并为整个研究界增加价值的方式进一步改进同行评审过程。注意将来的公告。

参考文献

Ananny,Mike和Kate Crawford。 “无所不知:透明理想的局限性及其在算法责任制中的应用”。新媒体与社会,2016年12月13日,1461444816676645.https //doi.org/10.1177/1461444816676645。

Bravo,Giangiacomo,Francisco Grimaldo,EmiliaLópez-Iñesta,Bahar Mehmani和Flaminio Squazzoni。 “发表同行评审报告对五种学术期刊中裁判行为的影响”。自然通讯10号。 1(2019年1月18日):1–8。 https://doi.org/10.1038/s41467-018-08250-2

Bravo,Giangiacomo,Mike Farjam,Francisco Grimaldo Moreno,Aliaksandr Birukou和Flaminio Squazzoni。 “隐藏的连接:网络对四种计算机科学期刊中编辑决策的影响”。信息学报12号。 1(2018年2月1日):101-12。 https://doi.org/10.1016/j.joi.2017.12.002

bet310云博体育2.0版本 Fyfe,Aileen,Flaminio Squazzoni,Didier Torny和Pierpaolo Dondio。 “在皇家学会期刊上管理同行评审的增长,1865-1965年”。科学,技术与人类价值》,2019年7月15日,0162243919862868.https //doi.org/10.1177/0162243919862868。

琼斯,理查德和詹姆斯·威斯顿。 “生物医学泡沫:为什么英国的研究和创新需要更大的优先次序,政治,地方和人民多样性”。内斯塔,2018年7月.https: //www.nesta.org.uk/report/biomedical-bubble/。

bet310云博体育2.0版本 Joynson,Catherine和Ottoline Leyser。 “科研文化”。 F1000研究4(2015年3月13日)。 https://doi.org/10.12688/f1000research.6163.1

bet310云博体育2.0版本 摩尔,塞缪尔,卡梅隆·尼隆,马丁·保罗·夏娃,丹尼尔·保罗·奥唐奈和达米安·帕丁森。 ““卓越的我们”:大学研究与卓越的迷恋”。 Palgrave Communications 3(2017年1月19日):16105. https://doi.org/10.1057/palcomms.2016.105

Moxham,Noah和Aileen Fyfe。 “皇家学会和同行评议史前研究,1665年至1965年”。 《历史杂志》 61,第。 4(2018年12月):863-89。 https://doi.org/10.1017/S0018246X17000334

Peels,Rik和Lex Bouter。 “人文学科复制的可能性和可取性”。 Palgrave Communications 4,编号 1(2018年8月7日):1-4。 https://doi.org/10.1057/s41599-018-0149-x

皮克斯,里克。 “人文科学中的可复制性和复制性”。研究诚信和同行评审4,第。 1(2019年1月9日):2. https://doi.org/10.1186/s41073-018-0060-4

bet310云博体育2.0版本 Ross-Hellauer,Tony,Samantha Hindl,Gary McDowell和Jessica Polka。 “来宾职位:帮助将期刊政策公开化”。 《学术厨房》(博客),2018年11月1日.https: //scholarlykitchen.sspnet.org/2018/11/01/guest-post-help-transpose-bring-journal-policies-into-the-open/。

Squazzoni,Flaminio,Francisco Grimaldo和AnaMarušić。 “出版:期刊可以共享同行评审数据”。自然546号 7658(2017年6月):352–352。 https://doi.org/10.1038/546352a


bet310云博体育2.0版本 这篇博客文章是由Hindawi团队创建的。 它是根据 知识共享署名许可(CC-BY) 分发的 插图是由Hindawi制作,也是CC-BY。

bet310云博体育2.0版本 我们致力于尽快安全地共享与COVID-19相关的发现。任何提交COVID-19论文的作者都应通过help@hindawi.com通知我们,以确保他们的研究得到快速跟踪并尽快在预印服务器上提供。对于与COVID-19相关的已接受文章,我们将提供无限的出版费用豁免。