Transformer 模型凭标题与摘要预测论文影响指标 在 100 万篇文章上完成评估
11 月 14 日发表于《科学报告》的一项研究测试了 Transformer 模型仅凭论文标题与摘要预测论文影响指标的能力。研究作者为 Cameron C. Young 与 Marc D. Succi，预测目标有三项：年均被引次数、Altmetric Score 与美国国立卫生研究院 iCite 的相对引用比（RCR）。
研究以 BioBERT 为代表性基准模型，最终在 100 万篇普通科学与医学文章上完成评估。在医学数据集上，BioBERT 预测年均被引的 F1 为 0.494、准确率为 0.504、MCC 为 0.382；预测 Altmetric Score 的 F1 为 0.468、MCC 为 0.354；预测 iCite RCR 的 F1 为 0.516、MCC 为 0.405。
结果显示，模型对影响最高与最低五分位的论文区分表现最好，对中间五分位的预测较弱。
Transformer Models Predict Paper Impact Metrics From Titles and Abstracts, Evaluated Across One Million Articles
A study published November 14 in Scientific Reports tested whether Transformer models can predict paper impact metrics from titles and abstracts alone. The authors, Cameron C. Young and Marc D. Succi, targeted three metrics: citations per year, Altmetric Score, and the relative citation ratio (RCR) from the U.S. National Institutes of Health iCite system.
Using BioBERT as the representative baseline model, the final evaluation covered one million general science and medical articles. On the medical dataset, BioBERT reached an F1 of 0.494, accuracy of 0.504, and MCC of 0.382 for citations per year; an F1 of 0.468 and MCC of 0.354 for Altmetric Score; and an F1 of 0.516 and MCC of 0.405 for iCite RCR.
The models performed best at distinguishing papers in the highest and lowest impact quintiles, and were weaker on the middle quintiles.
来源：《科学报告》
发布：GSM·美国（发布链接）
图片来源：图：Transformer 模型的整体架构示意图，左侧为编码器、右侧为解码器。来源：Daniel Voigt Godoy (dvgodoy)，Wikimedia Commons，CC BY 4.0。 / Photo: Diagram of the overall Transformer model architecture, encoder on the left and decoder on the right. Source: Daniel Voigt Godoy (dvgodoy), Wikimedia Commons, CC BY 4.0.
GSM Global · 本篇英文版 English edition of this story
