導(dǎo)語：科技期刊論文質(zhì)量評(píng)價(jià)方法一文來源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

科研論文質(zhì)量一方面是作者學(xué)術(shù)思想與成果的綜合體現(xiàn)，另一方面也彰顯著載體期刊的學(xué)術(shù)特征與價(jià)值；而對(duì)于科研論文評(píng)價(jià)素來是科研管理的一項(xiàng)重要任務(wù)。多年來，對(duì)于論文質(zhì)量評(píng)價(jià)方法的研究在科研管理以及情報(bào)學(xué)領(lǐng)域均有著一定的成果，但多基于現(xiàn)有機(jī)制的方法學(xué)優(yōu)化，或?qū)δ骋粚I(yè)學(xué)科論文開展評(píng)價(jià)指標(biāo)的針對(duì)性研究，亦或是對(duì)于某學(xué)段研究生論文評(píng)價(jià)體系的構(gòu)建[1-2]。方法本身大多通過對(duì)論文內(nèi)容建立評(píng)價(jià)模型或按照論文間的引證關(guān)系判斷論文質(zhì)量。評(píng)價(jià)本身包括了對(duì)評(píng)價(jià)對(duì)象各方面進(jìn)行的量化與非量化測(cè)量，其價(jià)值內(nèi)涵主要體現(xiàn)在標(biāo)準(zhǔn)確立、情景決定、手段設(shè)計(jì)以及結(jié)果利用的4個(gè)基本步驟中。設(shè)立科學(xué)、標(biāo)準(zhǔn)的評(píng)價(jià)體系，并圍繞評(píng)價(jià)結(jié)果進(jìn)一步深化質(zhì)量管理，對(duì)于科研質(zhì)量的提升以及期刊學(xué)術(shù)水平的帶動(dòng)有著積極作用。針對(duì)科研論文質(zhì)量評(píng)價(jià)在某種程度上關(guān)系著期刊的學(xué)術(shù)影響力與發(fā)展的續(xù)航力。基于此，本文旨在從科技論文編輯的角度切入，綜合分析并整合各評(píng)價(jià)方法特點(diǎn)及優(yōu)勢(shì)，并著重介紹刊前定量評(píng)價(jià)方法的研究?jī)?nèi)容及意義，以期為優(yōu)化論文質(zhì)量評(píng)價(jià)機(jī)制、提升論文評(píng)價(jià)的信效度水平提供參考。

1當(dāng)前主要的評(píng)價(jià)方法及缺陷

針對(duì)論文質(zhì)量的評(píng)價(jià)方法多種多樣，多依賴于文獻(xiàn)計(jì)量學(xué)指標(biāo)或?qū)＜业亩ㄐ栽u(píng)價(jià)。總體上，分析方式方面可大致分為定性與定量2種；同時(shí)也可按照前后的不同時(shí)間節(jié)點(diǎn)進(jìn)行質(zhì)量評(píng)估。對(duì)于科技論文質(zhì)量的刊前評(píng)價(jià)方法，長(zhǎng)期以來形成了以定性為主的同行評(píng)議模式。同行評(píng)議法制度始創(chuàng)于1752年的英國(guó)皇家學(xué)會(huì)資助的刊物PhilosophicalTransaction，并主要以單盲、雙盲和公開評(píng)審3種形式存在。隨著時(shí)間的推移，該法已廣泛應(yīng)用于對(duì)專利申請(qǐng)的審查，并具有易于操作、結(jié)論直觀明確等優(yōu)勢(shì)[3]。但由于評(píng)價(jià)結(jié)果以文字表達(dá)為主，從而容易帶來主觀性強(qiáng)、缺少量化指標(biāo)等缺點(diǎn)，同時(shí)也存在著過程歷時(shí)長(zhǎng)、工作量大等問題。近年來，有關(guān)評(píng)審意見公正性的爭(zhēng)議愈演愈烈，評(píng)審過程中人為干擾因素的效應(yīng)更容易通過同行定性為主的評(píng)議方法所放大。同時(shí)，評(píng)價(jià)結(jié)論模糊、不能做到對(duì)論文水平的準(zhǔn)確定位，不利于將不同水平論文拉開檔次[4]。對(duì)于后定量評(píng)價(jià)方法的研究一直是科研管理工作的熱點(diǎn)。其中，基于單一被引指標(biāo)及多項(xiàng)文獻(xiàn)計(jì)量學(xué)指標(biāo)綜合的引文分析法均得到了較廣泛的認(rèn)同及使用[5]。尤其是后者通過對(duì)各印證指標(biāo)采用線性加權(quán)求和的方法，建立綜合評(píng)價(jià)的數(shù)學(xué)模型，可以更為客觀和全面地反映出論文的學(xué)術(shù)價(jià)值與應(yīng)用程度。有研究人員建議將引用頻次、網(wǎng)頁點(diǎn)擊量、下載量以及引用率等文獻(xiàn)利用數(shù)據(jù)共同引入對(duì)論文的評(píng)判中，從而形成論文本身利用價(jià)值更為客觀的評(píng)估[6]。引文分析法的理論基礎(chǔ)是文獻(xiàn)被引用，即被引用是以其質(zhì)量為基礎(chǔ)。該方法雖然對(duì)科技期刊、論文、著者等各種分析對(duì)象的引用或被引用現(xiàn)象均可進(jìn)行分析，但對(duì)于不同時(shí)間段發(fā)表的文獻(xiàn)難以統(tǒng)一衡量，且未將引用質(zhì)量的因素納入考慮，因此也難免存在偏倚。雖然已有研究通過對(duì)論文-引文矩陣的推導(dǎo)，計(jì)算“歷時(shí)影響因子”以消除對(duì)不同發(fā)表時(shí)間的論文引用報(bào)告中影響因子的偏倚[7]。但同時(shí)存在的包括學(xué)科間差異、引用質(zhì)量等不同因素仍然影響著該方法對(duì)論文的評(píng)價(jià)質(zhì)量。此外，h指數(shù)與Pagerank指數(shù)近年來也被認(rèn)為是論文質(zhì)量評(píng)價(jià)較為可靠的定量指標(biāo)[8]。但該指標(biāo)更適用于對(duì)個(gè)體研究人員績(jī)效的評(píng)估。且進(jìn)一步在對(duì)比兩者適應(yīng)范圍時(shí)，Senanayake等[9]發(fā)現(xiàn)對(duì)于在大型組織從事研究而發(fā)表了影響力較低論文的人員使用h指數(shù)評(píng)價(jià)較好；而對(duì)于研究成果較少、針對(duì)交叉學(xué)科研究或就職于規(guī)模較小的研究團(tuán)隊(duì)人員評(píng)價(jià)使用Pagerank指數(shù)方法更為有效。利用Altmetric評(píng)價(jià)系統(tǒng)了解論文關(guān)注度的方法也逐漸受到關(guān)注，并已應(yīng)用于pubmed數(shù)據(jù)庫(kù)的相關(guān)文獻(xiàn)檢索功能中。該法側(cè)重于單篇論文或相關(guān)研究者的社會(huì)影響分析，通過對(duì)論文在不同社會(huì)化媒體中引用次數(shù)的統(tǒng)計(jì)評(píng)價(jià)其影響力水平，具有高靈活性、高關(guān)注度以及高社會(huì)認(rèn)同度等優(yōu)點(diǎn)。但該法當(dāng)前只對(duì)英文文獻(xiàn)具有指示作用，且結(jié)論的得出易在關(guān)注度和爭(zhēng)議性之間混淆。此外，不同專業(yè)研究以及原文獻(xiàn)在網(wǎng)絡(luò)中的轉(zhuǎn)移也會(huì)對(duì)分析結(jié)果產(chǎn)生顯著的影響。刊后的定性評(píng)價(jià)主要是按照論文載體的學(xué)術(shù)層次或間接通過文獻(xiàn)計(jì)量學(xué)方法判斷論文在引證關(guān)系圖中的位置、被引次數(shù)的分布規(guī)律等方式定性判斷論文質(zhì)量。該法在操作上簡(jiǎn)單易行，已成為當(dāng)前科研評(píng)價(jià)與管理的重要手段[10]。這其中一個(gè)重要的方法即是通過掌握論文載體期刊的影響因子（核心分區(qū)）或數(shù)據(jù)庫(kù)收錄情況，從而間接評(píng)價(jià)論文自身價(jià)值質(zhì)量。但顯然，通過納入期刊影響因子等級(jí)區(qū)域以及相應(yīng)的收錄權(quán)重賦值，暴露了“以刊代文”評(píng)價(jià)方法所存在的固有問題[11]。而當(dāng)前出版行業(yè)所熱議的“優(yōu)秀論文不問出處”即從一個(gè)方面反映出“以刊代文”評(píng)價(jià)方法的局限性與不合理性[12]。因此，客觀上核心期刊對(duì)論文質(zhì)量評(píng)價(jià)具有一定作用，但其間不存在絕對(duì)意義上的一一對(duì)應(yīng)關(guān)系，通過核心期刊衡量論文質(zhì)量具有局限性。

2刊前定量評(píng)價(jià)方法的構(gòu)建思路

上述3種方法均以在科研評(píng)價(jià)管理中得到不同程度的認(rèn)同與應(yīng)用，而將定量評(píng)價(jià)方法引入審稿階段的論文評(píng)價(jià)方法則鮮有報(bào)道。在宏觀評(píng)價(jià)的方法學(xué)運(yùn)用方面，有研究基于知識(shí)庫(kù)對(duì)論文質(zhì)量進(jìn)行評(píng)價(jià)，使用測(cè)試語料，分別從格式、一致性、邏輯性以及參考文獻(xiàn)的近期率等方面進(jìn)行智能審核，旨在提高編輯部對(duì)于稿件初篩的工作效率[13]。作為編輯工作主要的環(huán)節(jié)之一，審稿的基本任務(wù)是按照出版方針和原則對(duì)稿件進(jìn)行評(píng)價(jià)和選擇，以促進(jìn)優(yōu)秀作品的出版以及防止低劣作品流入社會(huì)。審稿工作的開展主要從內(nèi)容質(zhì)量以及形式質(zhì)量2部分進(jìn)行。其中對(duì)于科技論文的審稿工作，內(nèi)容審定主要從科學(xué)性、創(chuàng)新性、知識(shí)性等方面進(jìn)行，而對(duì)于形式質(zhì)量的辨別則要通過結(jié)構(gòu)架構(gòu)、行文格式以及表述形式等方面開展。論文刊前質(zhì)量定量評(píng)價(jià)方法建立的關(guān)鍵在于對(duì)于評(píng)價(jià)指標(biāo)的選取以及權(quán)重系數(shù)的配比，從而搭建起多維度、多層級(jí)的系統(tǒng)評(píng)價(jià)體系。在指標(biāo)選擇上需保證科學(xué)性與客觀性、系統(tǒng)性與全面性以及可測(cè)性與可操作性的兼顧，同時(shí)通過權(quán)重系數(shù)反映各指標(biāo)間的內(nèi)涵關(guān)聯(lián)[14]。為保證指標(biāo)納入的準(zhǔn)確性與全面性，對(duì)于評(píng)價(jià)指標(biāo)的遴選往往基于文獻(xiàn)調(diào)研或結(jié)合專家咨詢法進(jìn)行。有研究較為全面地將論文評(píng)估指標(biāo)分為了內(nèi)在指標(biāo)、外部指標(biāo)以及統(tǒng)計(jì)指標(biāo)3個(gè)方面。內(nèi)在指標(biāo)指論文本身的質(zhì)量，包括創(chuàng)新性、科學(xué)性、實(shí)用性、語言的準(zhǔn)確性、要素的完整性以及規(guī)范性等；外部指標(biāo)是指論文的外部特征，包括論文類型、基金資助情況、發(fā)表期刊、收錄的檢索機(jī)構(gòu)等；統(tǒng)計(jì)指標(biāo)指后的影響和反應(yīng)，包括被引情況以及下載瀏覽數(shù)量[14]。作為專家意見信息的主要獲取手段，德爾菲又名專家意見法或?qū)＜液冋{(diào)查法，是采用背對(duì)背的通信方式征詢專家小組成員的預(yù)測(cè)意見，經(jīng)過幾輪征詢，使專家小組的預(yù)測(cè)意見趨于集中，最后得出具有較高準(zhǔn)確率的集體預(yù)測(cè)結(jié)論[15]。在論文質(zhì)量評(píng)價(jià)體現(xiàn)的建立過程中，各因子的權(quán)重賦值主要通過征求專家意見的方法獲得，這就要求研究人員對(duì)德爾菲法中多層迭代法進(jìn)行數(shù)據(jù)信息的收斂和歸納。在多指標(biāo)綜合評(píng)價(jià)中，為了對(duì)被評(píng)價(jià)事物做出一項(xiàng)全面合理的整體性評(píng)價(jià)，需要把該事物的各方面指標(biāo)綜合在一起，形成一個(gè)綜合性指標(biāo)。由于事物本身發(fā)展的不平衡性以及評(píng)價(jià)目標(biāo)值的側(cè)重點(diǎn)有所不同，不同指標(biāo)在綜合評(píng)價(jià)值形成的過程中需要進(jìn)行加權(quán)處理。目前關(guān)于評(píng)價(jià)指標(biāo)權(quán)系數(shù)的確定方法眾多，根據(jù)計(jì)算權(quán)系數(shù)時(shí)原始數(shù)據(jù)來源以及計(jì)算過程的不同可大致分為主觀賦權(quán)法、客觀賦權(quán)法以及主客觀綜合集成賦權(quán)法。AHP法是將與決策總是有關(guān)的元素分解成目標(biāo)、準(zhǔn)則、方案等層次，在此基礎(chǔ)之上進(jìn)行定性和定量分析的決策方法。該法主要步驟包括建立層次結(jié)構(gòu)模型、構(gòu)造判斷（成對(duì)比較）矩陣、層次單排序及一致性檢驗(yàn)和計(jì)算組合權(quán)重和組合一致性檢驗(yàn)[16]。首先建立層次結(jié)構(gòu)圖如下。最高層為目標(biāo)層（O）：?jiǎn)栴}決策的目標(biāo)或理想結(jié)果，只有一個(gè)元素；中間層為準(zhǔn)則層（C）：包括為實(shí)現(xiàn)目標(biāo)所涉及的中間環(huán)節(jié)各因素，每一因素為一準(zhǔn)則，當(dāng)準(zhǔn)則多于9個(gè)時(shí)可分為若干個(gè)子層；最低層為方案層（P）：方案層是為實(shí)現(xiàn)目標(biāo)而供選擇的各種措施，即為決策方案。比較n個(gè)因素C1,C2,…,Cn對(duì)上一層（如目標(biāo)層）O的影響程度，即要確定它在O中所占的比重。對(duì)任意兩個(gè)因素Ci和Cj，用aij表示Ci和Cj對(duì)O的影響程度之比，按1～9的比例標(biāo)度來度量aij(i,j=1,2,…,n)。于是，可得到兩兩成對(duì)比較矩陣A=(aij)n×n，又稱為判斷矩陣，顯然,因此，又稱判斷矩陣為正互反矩陣。比例標(biāo)度的確定：aij取1~9的9個(gè)等級(jí)，aji取aij的倒數(shù),1~9標(biāo)度確定如下：aij=1，元素i與元素j對(duì)上一層次因素的重要性相同；aij=3，元素i比元素j略重要；aij=5，元素i比元素j重要；aij=7，元素i比元素j重要得多；aij=9，元素i比元素i的極其重要；aij=2n，n=1,2,3,4…元素i與j的重要性介于aij=2n-1與aij=2n+1之間；，n=1,2,…9當(dāng)且僅當(dāng)aij=n。由正互反矩陣的性質(zhì)可知，只要確定A的上（或下）三角的個(gè)元素即可。在特殊情況下，如果判斷矩陣A的元素具有傳遞性，即滿足aikakj=aij(i,j,k=1,2,…,n)。該法是直接利用各項(xiàng)指標(biāo)所包含的信息，通過計(jì)算得到指標(biāo)的權(quán)重，是一種客觀賦權(quán)的方法。在評(píng)價(jià)指標(biāo)體系中，取值差異越大的指標(biāo)更能反映被評(píng)價(jià)單位的差距。由于評(píng)價(jià)指標(biāo)體系中各項(xiàng)指標(biāo)的量綱不同，不宜直接比較其差別程度。為消除各項(xiàng)評(píng)價(jià)指標(biāo)量綱不同的影響，需要用各項(xiàng)指標(biāo)的變異系數(shù)來衡量各項(xiàng)指標(biāo)取值的差異程度。各項(xiàng)指標(biāo)的變異系數(shù)公式如下：式中：Vi是第i項(xiàng)指標(biāo)的變異系數(shù)、也稱為標(biāo)準(zhǔn)差系數(shù)；是第i項(xiàng)指標(biāo)的標(biāo)準(zhǔn)差；是第i項(xiàng)指標(biāo)的平均數(shù)。各項(xiàng)指標(biāo)的權(quán)重為：采用系統(tǒng)性的指標(biāo)分析體系，對(duì)論文質(zhì)量進(jìn)行多維度評(píng)價(jià)，從而有效克服單指標(biāo)評(píng)價(jià)的片面性，使評(píng)價(jià)結(jié)果更加符合客觀實(shí)際；但同時(shí)，這也帶來了如何匯總和處理不同性質(zhì)評(píng)價(jià)指標(biāo)統(tǒng)計(jì)數(shù)據(jù)的難題。在形成模型的過程中可主要采用以下2種方法。多元回歸分析旨在研究多個(gè)變量之間關(guān)系。該法雖然是一種較為通用的方法，但大多只用于少因素、線性的定量資料，對(duì)于多因素以及非線性的資料則難以處理。因此，考慮到論文質(zhì)量評(píng)價(jià)因素間復(fù)雜的內(nèi)在關(guān)系以及不確定性，利用簡(jiǎn)單的多元回歸的方法確定評(píng)價(jià)模型難以建立準(zhǔn)確的評(píng)估體系。考慮到回歸方法的弊端與不足，作為一個(gè)發(fā)展變化的評(píng)價(jià)系統(tǒng)，關(guān)聯(lián)度分析實(shí)質(zhì)上是動(dòng)態(tài)過程發(fā)展態(tài)勢(shì)的量化分析。模糊綜合評(píng)價(jià)法是一種基于模糊數(shù)學(xué)的綜合評(píng)標(biāo)方法。該法根據(jù)模糊數(shù)學(xué)的隸屬度理論把定性評(píng)價(jià)轉(zhuǎn)化為定量評(píng)價(jià)，即用模糊數(shù)學(xué)對(duì)受到多種因素制約的事物或?qū)ο笞龀鲆粋€(gè)總體的評(píng)價(jià)。論文質(zhì)量定量評(píng)價(jià)方法的準(zhǔn)確性難以把握，因此可根據(jù)模糊數(shù)學(xué)理論建立一套綜合評(píng)價(jià)數(shù)學(xué)模式，并借助計(jì)算機(jī)完成復(fù)雜的數(shù)學(xué)運(yùn)算，從而將其轉(zhuǎn)化為一項(xiàng)包含多層次和多目標(biāo)的綜合評(píng)價(jià)問題。呂志軍等[17]在將學(xué)術(shù)論文以論文選題、文獻(xiàn)綜述、工作基礎(chǔ)、科研水平、創(chuàng)新成果以及重要意義等6個(gè)部分設(shè)立為準(zhǔn)則層，以論文的水平評(píng)價(jià)作為總目標(biāo)層，進(jìn)而構(gòu)建評(píng)價(jià)指標(biāo)集、評(píng)語集和指標(biāo)權(quán)重集，得出隸屬度評(píng)判矩陣，最終獲得模糊綜合評(píng)判的結(jié)論。

3刊前定量評(píng)價(jià)方法的問題及研究展望

對(duì)于論文質(zhì)量的刊前定量評(píng)價(jià)是科研管理人員工作的重點(diǎn)，也同樣是期刊編審工作的基礎(chǔ)。就期刊而言，同行評(píng)議的方法一直以來成為投稿論文質(zhì)量判定的主要標(biāo)準(zhǔn)；而其定性結(jié)論所存在的固有不足也為稿件最終的取舍造成一定困難。相比而言，定量評(píng)價(jià)方法的運(yùn)用可在一定程度上彌補(bǔ)單一同行評(píng)議方法的局限性，而稿件質(zhì)量的綜合判斷提供更為充實(shí)的依據(jù)。然而，對(duì)于定量評(píng)價(jià)方法的設(shè)立，具體到各因素權(quán)重系數(shù)的確定方面，各種方法均存在一定的適用范圍以及局限性。在明確并利用現(xiàn)有方法前應(yīng)充分結(jié)合理論實(shí)際以及編審工作的特殊性，考慮到當(dāng)前評(píng)價(jià)方法的不足以及主要改進(jìn)方向，借以盡可能消除評(píng)價(jià)方法使用所產(chǎn)生的偏倚，提高評(píng)價(jià)的準(zhǔn)確性以及結(jié)果的真實(shí)性。一項(xiàng)評(píng)價(jià)管理方法的確定，其適用范圍應(yīng)是重點(diǎn)考量的方面。論文質(zhì)量很大程度上產(chǎn)生于其自身學(xué)術(shù)價(jià)值與應(yīng)用價(jià)值的大小，但也受到該段時(shí)間內(nèi)社會(huì)對(duì)其價(jià)值的認(rèn)知水平與認(rèn)同程度。因此，客觀的論文質(zhì)量定量評(píng)價(jià)系統(tǒng)須對(duì)于不同學(xué)科、研究?jī)?nèi)容與目的的論文有著穩(wěn)定而統(tǒng)一的衡量標(biāo)準(zhǔn)，即具有較好的應(yīng)用延展性。由于學(xué)科性質(zhì)、理論衍生周期、發(fā)散傳播渠道各有不同，在質(zhì)量評(píng)價(jià)體系中應(yīng)有相應(yīng)的反映。以醫(yī)學(xué)科研論文為例，根據(jù)各自不同的研究領(lǐng)域與研究目的大致可分為基礎(chǔ)研究與臨床研究。不同的研究?jī)?nèi)容的學(xué)術(shù)水平難以進(jìn)行標(biāo)準(zhǔn)化度量。比如罕見病的病例報(bào)道類型較之多中心的流行病調(diào)查，在樣本納入及數(shù)量方面要求有著明顯的不同。這就需要權(quán)重具有較強(qiáng)的功能擴(kuò)展張力，針對(duì)不同研究的特征及水平有著較好的可靠性、客觀性以及獨(dú)立性[18]。由于最終以得分的方式顯示論文質(zhì)量評(píng)價(jià)結(jié)果，因此在對(duì)于具體分值的含義解釋上需要進(jìn)行更為科學(xué)的設(shè)計(jì)。例如對(duì)于得分相近的2篇論文，其發(fā)表價(jià)值的界定與衡量需要獲得更加系統(tǒng)的比較。對(duì)該問題的解決，筆者認(rèn)為可通過參照統(tǒng)計(jì)學(xué)推斷中對(duì)于差異性判別的分析方法，在對(duì)整體數(shù)據(jù)分布情況判斷的基礎(chǔ)上推測(cè)分值間的差異是否由于抽樣誤差所造成；或從評(píng)價(jià)結(jié)果的角度計(jì)算類似“可信區(qū)間”的差異允許范圍，從而對(duì)于分值的含義獲得更為客觀的理解。對(duì)于權(quán)重系數(shù)的確定方法，文獻(xiàn)均采用了專家咨詢的方法進(jìn)行。但該法對(duì)于專家的選擇范圍、方法、數(shù)量、質(zhì)控有著較高的要求，也就是說一般意義上的權(quán)重確定方法難以保證其客觀性與準(zhǔn)確性。比如對(duì)于不同專家對(duì)同一問題以及相同專家對(duì)相同問題回答的一致性判斷，需要選擇合適的一致性檢驗(yàn)方法進(jìn)行，如組間相關(guān)系數(shù)、組內(nèi)相關(guān)系數(shù)以及Bland-Altman法[19]。而對(duì)于確定的權(quán)重系數(shù)也需形成動(dòng)態(tài)的修正與調(diào)整，使各參數(shù)具有較好的獨(dú)立性。通過不斷綜合專家評(píng)價(jià)、學(xué)科發(fā)展甚至是期刊收稿以及發(fā)刊計(jì)劃等情況，調(diào)整和優(yōu)化權(quán)重配置，使其穩(wěn)定在客觀、合理并有利于期刊自身發(fā)展的區(qū)間范圍[20]。由于不同學(xué)科間存在著較大學(xué)術(shù)評(píng)判標(biāo)準(zhǔn)的差異，不同學(xué)科專家的知識(shí)結(jié)構(gòu)、學(xué)科背景也會(huì)隨著學(xué)科領(lǐng)域的不同而存在固有的差別。因此在專家選取中需按照所在專業(yè)進(jìn)行分層管理，將不同學(xué)科專家的意見反饋分別統(tǒng)計(jì)處理，但這也對(duì)專家群規(guī)模提出了更高要求。如何在滿足分層吸納的同時(shí)，保證每個(gè)領(lǐng)域?qū)＜覕?shù)量有著一定積累，這便是保證調(diào)研基礎(chǔ)質(zhì)量的關(guān)鍵。

對(duì)于有著較強(qiáng)系統(tǒng)性、差異性、復(fù)雜性以及不確定性的論文質(zhì)量評(píng)價(jià)，單純依靠定性或定量的方法均難以解決。以特定的內(nèi)在水平度量論文質(zhì)量，將論文的質(zhì)量體系分解為學(xué)術(shù)價(jià)值、創(chuàng)造性、科學(xué)性、實(shí)用性、延續(xù)性、可讀性等若干方面，針對(duì)每一方面又設(shè)計(jì)具有層次的等級(jí)區(qū)分范圍，最終通過專家評(píng)審的方式給出等級(jí)資料的具體分布形式，再結(jié)合各項(xiàng)目自身權(quán)重賦值，最終以得分的形式反映論文質(zhì)量。該法較好地中和了單一定量或定性方法所具有的不足，在有效規(guī)避專家主觀意見的同時(shí)有具有較好的針對(duì)性、靈活性以及可操作性。同時(shí)，該體系出用于論文質(zhì)量評(píng)價(jià)外，還可作為科研設(shè)計(jì)及論文撰寫過程中的“督導(dǎo)標(biāo)準(zhǔn)”做一參考。對(duì)稿件進(jìn)行流程化的審閱評(píng)價(jià)，促使更多高質(zhì)量的論文出版，最終保證期刊質(zhì)量。同時(shí)，對(duì)于方法學(xué)的不斷優(yōu)化可以實(shí)現(xiàn)系統(tǒng)評(píng)價(jià)方法對(duì)于更大出版物群體中的應(yīng)用。