引用本文: 曾力楠, 易秋莎, 張川, 黃超, 李海龍, 楊春松, 林茂, 黃亮, 劉丹, 康德英, 劉關鍵, 劉巧蘭, 趙榮生, 張俊華, 李幼平, 劉瀚旻, 王強, 張伶俐. 制訂指南臨床適用性評價工具. 中國循證醫學雜志, 2020, 20(4): 466-475. doi: 10.7507/1672-2531.201904131 復制
本課題組經前期研究發現,目前全球所有指南臨床適用性評價工具均存在諸多問題,如:評價者非指南使用者,導致結果存在偏倚;目標針對性不強、指標完整性欠佳,無法準確評價指南臨床適用性;對評價者專業素養要求較高、評價耗時過長,評價工具存在依從性較差、推廣困難等問題,難以直接使用。故本課題組擬建立由指南目標使用者擔任評價者的指南臨床適用性評價體系。本文基于前期系統評價結果,描述了指南臨床適用性評價工具的制訂過程及結果,為循證評價指南臨床適用性提供標準和方法。
1 制訂過程
本研究由國家衛生健康委員會醫療管理服務指導中心(以下簡稱國家衛健委醫管中心)資助立項制訂,四川大學華西第二醫院藥學部/循證藥學中心負責組織和制訂指南臨床適用性評價工具。
1.1 組建多學科團隊
由來自國家衛健委醫管中心、華西第二醫院、中國循證醫學中心的專家組成指導組,并牽頭成立制訂組、外審組。制訂組及外審組由中國藥學會循證藥學專委會成員和其他多學科專家組成,包括指南方法學、臨床醫學、藥學、護理、醫院管理專家。團隊組建充分考慮了專業、地域、職稱等因素。團隊人員名單見附件 1。
1.2 形成初始條目清單
首先,采用定性系統評價的方法,計算機檢索 7 個生物醫學文獻數據庫、6 個指南數據庫及 16 個學術機構與衛生行政部門網站,納入與指南臨床適用性評價工具相關文獻,通過主題綜合法初擬 CPG 臨床適用性評價指標。其次,基于系統評價結果及多次面對面討論,形成初始條目清單,包含了指南臨床適用性評價領域、評價條目、評分方案及評價者基本信息條目。
1.3 形成評價工具
采用改良德爾菲法(Delphi)形成評價工具,通過兩輪函詢篩選評價條目,并擬定評分方法。兩輪問卷均以電子郵件的形式發放給制訂組成員。
第一輪函詢采用 5 級李克特評分量表(5-point Likert scale)進行評分[1],包括以下 5 個方面:① 重要性(1 分~5 分,1 分為完全不重要,5 分為非常重要);② 熟悉程度(1 分~5 分,1 分為完全不熟悉,5 分為非常熟悉);③ 指標的判斷依據(對指標“重要性”的評分依據,包括理論分析、實踐經驗、同行了解、個人直覺 4 方面[2],1 分~5 分,1 分為完全未依據,5 分為主要依據);④ 領域與指標的相關性(1 分~5 分,1 分為完全不相關,5 分為非常相關);⑤ 通俗易懂性(該指標的語言表述是否清晰明了、簡單易懂,1 分~5 分,1 分為表述不清晰、完全不能理解,5 分為表述清晰、容易理解)。根據專家評價結果計算內容效度、信度、權威系數(Cr)、變異系數(coefficient of variation,CV)、重要性得分均數、通俗易懂性得分均數。其中,內容效度包括條目水平內容效度指數(I-CVI)和量表水平的內容效度指數(S-CVI/Ave);信度用克隆巴赫信度系數(Cronbach’s α 系數)表示,各指標及閾值見表 1。第二輪函詢對臨床適用性評價條目、評分方案及評價者基本信息條目的認同度進行評價。在每輪咨詢結束后,指導組指導秘書組根據專家評價結果對工具進行討論和修改,形成指南臨床適用性評價工具。

1.4 評價工具的外審
為改進與優化指南適用性工具條目,邀請國內同行及目標評價者進行 5 輪現場咨詢、試用和評價。
1.5 最終形成評價工具
根據外審結果修訂、完善評價工具條目,并廣泛征集專家意見后最終形成評價工具(圖 1)。

2 結果
2.1 形成初始條目清單
通過定性系統評價獲得 CPG 臨床適用性評價指標,其中一級指標 5 個、二級指標 15 個和三級指標 59 個(表 2)。

基于系統評價結果及多次面對面討論,形成初始條目清單,包括 4 個初擬臨床適用性評價領域(可獲得性、可讀性、可接受性、可行性)及總體評價、13 個臨床適用性評價條目、10 個調查評價者基本信息條目。
2.2 形成評價工具
2.2.1 評價領域
初擬 4 個臨床適用性評價領域(可獲得性、可讀性、可接受性和可行性)及總體評價,各領域評分、變異系數、權威系數均符合標準,提示評價領域分歧程度較低、權威程度較高,構建結果較好(表 3)。

2.2.2 評價條目
77% 條目水平內容效度指數、信度,100% 變異系數及 84.6% 均數符合標準,提示專家分歧較小、意見較集中、條目能較好反映指南臨床適用性問題。根據專家意見,修改和移動部分條目后,所有條目的認同度均≥60%,提示條目設置基本合理(表 4)。

2.2.3 評價者基本信息
所有基本信息條目認同度均≥60%,提示條目設置基本合理(表 5)。根據專家意見,新增了“調查者年齡范圍”和“所在醫療機構性質”2 項內容。

2.3 外審評價工具
外審專家對評價工具逐條閱讀,提出了優化條目建議,使條目更符合評價者閱讀習慣,如:將“您認為您是否具備實施本指南所需的專業技能”改為“您個人是否具備實施本指南所需的專業技能”、“您認為本指南是否存在實施障礙(填寫您醫療機構所在情況)”改為“在您所在的醫療機構是否存在實施本指南的障礙”。同時,將條目 9 調整至“可接受性”。根據外審專家意見,最終形成指南臨床適用性評價工具。
2.4 指南臨床適用性評價工具
指南臨床適用性評價工具主要分為三部分:評價者基本信息、評價條目、評分方案。① 評價者基本信息包含年齡、地域、學歷、職業、職稱、所在醫療機構情況、對評價指南的熟悉程度、從事專業、從業年限及利益聲明,以調查評價者基線情況;② 評價條目共 12 個,包含可獲得性(條目 1~2)、可讀性(條目 3~4)、可接受性(條目 5~7)、可行性(條目 8~10)和總體評價(條目 11~12)。其中 9 個條目采用 5 級李克特評分量表進行評價,2 個條目采用多選形式,1 個條目采用自由填寫形式;③ 評分方法為對各個領域評分進行標準化得分處理。最終的指南臨床適用性評價工具見附件 2。
3 討論
本工具評價者為指南的目標使用者,應在評價臨床適用性的同時調查評價者基線,旨在判斷不同評價者是否會對指南臨床適用性評價結果造成影響。一部臨床適用性佳的指南應方便不同指南使用目標人群獲取、容易理解且指南使用者認同并愿意實施其中的推薦意見。根據前期定性系統評價及專家咨詢結果,本工具形成 4 個評價領域:可獲得性、可讀性、可接受、可行性。其含義分別為:① 可獲得性:能否方便獲取指南;② 可讀性:能否讀懂指南;③ 可接受性:是否認同指南推薦意見;④ 可行性:是否按照指南實施。4 個領域代表臨床適用性的不同維度,涵蓋了從指南獲取到使用的各個環節。
與同類工具比較方面,耶魯大學醫學信息學中心 Shiffman 教授團隊建立的“The Guideline Implementability Appraisal(GLIA)”標準[3]與加拿大多倫多大學醫學院科學研究所 Gagliardi 教授團隊建立的“指南實施能力框架”[4]均側重評價指南推薦意見的可行性。而本研究工具除評價指南可行性外,還考慮了可獲得性、可讀性、可接受性等因素對指南臨床適用性的影響。
2009 年,AGREE Next Steps 協會發布“Appraisal of Guidelines Research and Evaluation in Europe Ⅱ(AGREE-Ⅱ)”評價工具,被公認為國際評價指南的“金標準”。但該工具僅有一個領域涉及指南臨床適用性評價,具體包括 4 個條目:指南描述了應用時的促進和障礙因素、指南提供應用推薦建議的意見和/或工具、指南考慮了推薦建議應用時潛在的相關資源、指南提供了監督和/或審計標準[5]。
2018 年,中國廣州中醫藥大學第二附屬醫院中醫標準處李慧教授團隊建立了“指南臨床適用性評價工具”[6]。該工具采用 4 級李克特量表,提高了工具的可操作性,但僅收集所在醫療機構、職稱、從事專業、從業年限 4 項評價者基本信息,未考慮學歷、利益聲明等潛在影響評價結果的因素。本研究工具在綜合考慮可操作性和科學性下,采用 5 級李克特評分,即在 4 級評分基礎上增加了中性評分。
對于選擇評分量度方面,常見的李克特評分量表有 5 級制、7 級制、10 級制。有研究顯示:5 等級、7 等級和 10 等級選項的數據,在進行簡單的資料轉換后,其平均數、變異數、偏態和峰度都很相似[7]。相對于細分級,5 級制更容易賦予每個分數準確含義,評價者更容易理解,且可提高響應率和響應質量[8]。故不同于同類指南評價工具,本工具采用 5 級李克特評分量表。
對于設置總體評價方面,本工具在制訂過程中考慮單獨設立總體評價結果,而非將各領域得分直接加和作為總分評價。主要原因為:① 各維度的權重可能不同,將直接加和結果作為總體評價可能無法準確反映權重的影響;② 驗證評價領域及條目與指南臨床適用性的相關性,以判斷工具是否完善[9]。
本工具采用對各領域評分進行標準化得分處理后評分,當各領域所含評價指標數量不同時,可使領域得分標準化至同一水平(百分制),與 AGREE 協作網開發的指南研究與評價工具(AGREE Ⅱ)評分方案類似[5]。該工具可同時比較同一指南不同領域的得分、不同指南相同領域的得分和不同指南的總體臨床適用性得分,能更直觀比較不同指南、不同領域的同一指標的情況。
本工具參考國際現有標準和方法,以準確、公開、透明的方式建立了由指南目標使用者擔任評價者的指南臨床適用性評價工具,包括評價者基本信息、臨床適用性評價條目、評分方案三部分。后期本課題組將陸續發布配套手冊及組織工具使用培訓,進一步推廣該工具。本工具作為指南臨床適用性評價工具 1.0 版本,計劃在以后的應用中根據工具使用者、指南制訂者及數據統計分析者的反饋不斷修改和完善,每 3~5 年修訂一次。后續將采用此工具評價兩部指南的臨床適用性,以分析本工具的信度和效度,驗證體系的科學性與可行性并建立配套數據分析和評價報告模型,提供科學可行的指南臨床適用性評價方法。
聲明:本研究無任何利益沖突。
附件 1:團隊人員名單(按地區排序)
指導組名單
王強、高學成,國家衛健委醫管中心;劉瀚旻、張伶俐,四川大學華西第二醫院;李幼平、康德英,四川大學華西醫院/中國循證醫學中心。
制訂組名單
黃超,國家衛健委醫管中心;張曉琳,北京大學第一醫院;譚玲,北京醫院;馮欣,首都醫科大學附屬北京婦產醫院;劉中亮,北京市密云區醫院;胡永成,天津醫院;董占軍,河北省人民醫院;趙德偉,大連大學附屬中山醫院;馬國,復旦大學;王卓,海軍軍醫大學附屬長海醫院;吳斌,上海交通大學醫學院附屬仁濟醫院;于鋒,中國藥科大學;劉茂柏、林曉霞,福建醫科大學附屬協和醫院;趙家軍,山東大學附屬省立醫院;郭玉金,濟寧市第一人民醫院;陸叢笑,山東省煙臺毓璜頂醫院;程飚,解放軍廣州總醫院;梅全喜,廣州中醫藥大學附屬中山中醫院;陳道軍,海南省人民醫院;蘇妍、黃濤、李斌、何遠學,海南省人民醫院;李國平、許治本,海南省定安縣人民醫院;何江、林國瑩、馬庭,海南海口市龍華區金地社區衛生服務中心;付秀娟,吉林大學第二醫院;馬軍,哈爾濱血液病腫瘤研究所;蔡本志,哈爾濱醫科大學附屬第二醫院;南在元、王麗陽、魏婷、趙娟、李懷寧,哈爾濱市兒童醫院;郭榮、李成娟,哈爾濱市呼蘭區第一人民醫院;李尹娜、閔玥、王煥,哈爾濱市道里區斯大林社區衛生服務中心;唐麗琴,安徽省立醫院;丁玉峰,華中科技大學同濟醫學院附屬同濟醫院;田彧、劉佳、王小艷,中南大學湘雅二醫院;史志華、王晉、楊利兵、胡成、劉平芳、劉軍,懷化市第一人民醫院;李慶軍,湖南寧鄉市人民醫院;曾紅、黃春波、任福,麻陽縣苗族自治縣人民醫院;舒代好,麻陽縣苗族自治縣舒家村衛生室;鄒志能,麻陽縣苗族自治縣錦和中心衛生院;段紹平,麻陽縣苗族自治縣綠溪口衛生院;孫鑫、劉關鍵,四川大學華西醫院/中國循證醫學中心;郎錦義,四川省腫瘤醫院;徐珽,四川大學華西醫院;汪志凌、黃亮、林超、陳婷、陶秋吉,四川大學華西第二醫院;劉巧蘭,四川大學華西公共衛生學院;黃躍生,重慶陸軍軍醫大學第一附屬醫院;謝娟,貴州省人民醫院;張峻,昆明醫科大學第一附屬醫院;陳耀龍、田金徽,蘭州大學;要林青、薛喜銳、馬占山、張婷、魏洪濤,甘肅省第二人民醫院;白少麗,蘭州市肺科醫院;竇麗梅、梁作文、劉黎明,鹽場路草場街街道社區衛生服務中心;閆清秀、劉曉玲、劉曉佳、王芳,內蒙古自治區人民醫院;Harold C. Sox,Dartmouth College,United States;Dirk Schrijvers,European CanCer Organisation。
外審組名單
劉冰,中華醫學會雜志社;劉曉清,北京協和醫院;孟凡強,中日友好醫院;路瑾,北京大學人民醫院;翟所迪、趙城,北京大學第三醫院;方向華,首都醫科大學宣武醫院;彭曉霞,北京兒童醫院;郭旭,中國人民解放軍總醫院;李超,解放軍第309醫院移植研究所;劉承利,空軍總醫院;高健鵬,北京萬方數據股份有限公司;李暉,天津醫科大學總醫院;王吉耀、姜帥,復旦大學附屬中山醫院;張崇凡,復旦大學附屬兒科醫院;葉世岳,福建醫科大學附屬第一醫院;侯偉、田川、趙小剛,山東大學第二醫院;王榮,山東省醫院;費繼光,中山大學附屬第一醫院;李慧,廣東省中醫院;邵晨,廈門大學附屬翔安醫院;魏佳莉、朱材忠,海南省人民醫院;陳小盼、顧申紅、張瑞城,海南醫學院第一附屬醫院;莊乙君、黃明龍、黃亞蓮,海南醫學院第二附屬醫院;徐志泉、黃曉燕、羅海伶,海南省婦幼保健院;李揚、劉婷婷、許麗娃,海口市人民醫院;尹吉標,海口市第三人民醫院;方其超,海口市第四人民醫院;賴積錦,澄邁縣人民醫院;陳健雄,樂東縣人民醫院;張士婧,華中科技大學同濟醫學院;劉喆隆、曾銳,華中科技大學同濟醫學院附屬同濟醫院;曾天舒、蘇華、王振迪,華中科技大學同濟醫學院附屬協和醫院;靳英輝,武漢大學中南醫院;雷閩湘、肖湘成,中南大學湘雅醫院;袁曙光、顏湘,中南大學湘雅二醫院;謝艷紅、桂明,中南大學湘雅三醫院;成偉、熊璞、陳愔音,湖南省人民醫院;劉婷、文銳,長沙市中心醫院;桂永豐、歐陽文,常德市第一人民醫院;張亞萍、鄒琴,郴州市第一人民醫院;張美彪、彭心怡,懷化市第一人民醫院;肖紅、陳心怡,湘潭市第一人民醫院;湯帥、盧英,株洲市中心醫院;包文茍,茶陵縣人民醫院;易高峰,華容縣人民醫院;劉獻,南縣人民醫院;鄧春雷,寧鄉市人民醫院;奉雁,新化縣人民醫院;王鋼,吉林大學第一醫院;劉嘉吉,內蒙古自治區人民醫院;王喬、郭慧、張輝、陳錳、胡穎、柏萍、辜麗、張力、張冬梅、劉莉莉、韓璐、劉丹,四川大學華西第二醫院;駱夢、徐佩佩、蘇筱芮,四川大學華西臨床醫學院;肖瑛琦、黎蘭,四川大學華西護理學院;楊甜,四川大學華西藥學院;王錫華,云南省祿豐縣人民醫院;王福利,空軍軍醫大學西京醫院;王強,吳大鵬,西安交通大學醫學院第一附屬醫院;李亞、李程亮、杜燕,西安醫學院第一附屬醫院;高海燕、周芳、鄭希院,西安醫學院第二附屬醫院;王養維、李振江、孫莉,陜西省人民醫院;秦衛軍,空軍軍醫大學西京醫院;杜錫林、楊潔、侯軍峰、李宏增、王禾,空軍軍醫大學唐都醫院;劉瓊、成蕊寧、黎國紅,西安市第九醫院;門敏、楊海波、吳軍娟,西安市中心醫院;張亞莉、惠曉麗、劉星君、何婭、朱丹,西安交通大學第一附屬醫院;吳護群、薛智文、張九芝,西電集團醫院;樊麗婭,西安一四一醫院;楊文娟,陜西航天醫院;趙新,西安航天總醫院;趙祥,周至縣人民醫院;李海燕,西安市臨潼區人民醫院;王云安,鄠邑區人民醫院;路凌,西安鳳城醫院;閔興堂,西安濟仁醫院;胡曉霞、王文革,蘭州大學附屬二院;張志衛、周曉玲,寧夏醫科大學。
附件 2:指南臨床適用性評價工具
第一部分 評價者基本信息(附表 1)
第二部分 評價條目(附表 2)
第三部分 評分方案
某領域標準化得分計算方法:
領域標準化得分(%)=(所有評價者該領域評價分數之和?該領域最小可能獲取分數)/(該領域最大可能獲取分數?該領域最小可能獲取分數)×100%。
總體標準化得分計算方法:
總體標準化得分(%)=(所有評價者總體評價分數之和?總體評價最小可能獲取分數)/(總體評價最大可能獲取分數?總體評價最小可能獲取分數)×100%。
本課題組經前期研究發現,目前全球所有指南臨床適用性評價工具均存在諸多問題,如:評價者非指南使用者,導致結果存在偏倚;目標針對性不強、指標完整性欠佳,無法準確評價指南臨床適用性;對評價者專業素養要求較高、評價耗時過長,評價工具存在依從性較差、推廣困難等問題,難以直接使用。故本課題組擬建立由指南目標使用者擔任評價者的指南臨床適用性評價體系。本文基于前期系統評價結果,描述了指南臨床適用性評價工具的制訂過程及結果,為循證評價指南臨床適用性提供標準和方法。
1 制訂過程
本研究由國家衛生健康委員會醫療管理服務指導中心(以下簡稱國家衛健委醫管中心)資助立項制訂,四川大學華西第二醫院藥學部/循證藥學中心負責組織和制訂指南臨床適用性評價工具。
1.1 組建多學科團隊
由來自國家衛健委醫管中心、華西第二醫院、中國循證醫學中心的專家組成指導組,并牽頭成立制訂組、外審組。制訂組及外審組由中國藥學會循證藥學專委會成員和其他多學科專家組成,包括指南方法學、臨床醫學、藥學、護理、醫院管理專家。團隊組建充分考慮了專業、地域、職稱等因素。團隊人員名單見附件 1。
1.2 形成初始條目清單
首先,采用定性系統評價的方法,計算機檢索 7 個生物醫學文獻數據庫、6 個指南數據庫及 16 個學術機構與衛生行政部門網站,納入與指南臨床適用性評價工具相關文獻,通過主題綜合法初擬 CPG 臨床適用性評價指標。其次,基于系統評價結果及多次面對面討論,形成初始條目清單,包含了指南臨床適用性評價領域、評價條目、評分方案及評價者基本信息條目。
1.3 形成評價工具
采用改良德爾菲法(Delphi)形成評價工具,通過兩輪函詢篩選評價條目,并擬定評分方法。兩輪問卷均以電子郵件的形式發放給制訂組成員。
第一輪函詢采用 5 級李克特評分量表(5-point Likert scale)進行評分[1],包括以下 5 個方面:① 重要性(1 分~5 分,1 分為完全不重要,5 分為非常重要);② 熟悉程度(1 分~5 分,1 分為完全不熟悉,5 分為非常熟悉);③ 指標的判斷依據(對指標“重要性”的評分依據,包括理論分析、實踐經驗、同行了解、個人直覺 4 方面[2],1 分~5 分,1 分為完全未依據,5 分為主要依據);④ 領域與指標的相關性(1 分~5 分,1 分為完全不相關,5 分為非常相關);⑤ 通俗易懂性(該指標的語言表述是否清晰明了、簡單易懂,1 分~5 分,1 分為表述不清晰、完全不能理解,5 分為表述清晰、容易理解)。根據專家評價結果計算內容效度、信度、權威系數(Cr)、變異系數(coefficient of variation,CV)、重要性得分均數、通俗易懂性得分均數。其中,內容效度包括條目水平內容效度指數(I-CVI)和量表水平的內容效度指數(S-CVI/Ave);信度用克隆巴赫信度系數(Cronbach’s α 系數)表示,各指標及閾值見表 1。第二輪函詢對臨床適用性評價條目、評分方案及評價者基本信息條目的認同度進行評價。在每輪咨詢結束后,指導組指導秘書組根據專家評價結果對工具進行討論和修改,形成指南臨床適用性評價工具。

1.4 評價工具的外審
為改進與優化指南適用性工具條目,邀請國內同行及目標評價者進行 5 輪現場咨詢、試用和評價。
1.5 最終形成評價工具
根據外審結果修訂、完善評價工具條目,并廣泛征集專家意見后最終形成評價工具(圖 1)。

2 結果
2.1 形成初始條目清單
通過定性系統評價獲得 CPG 臨床適用性評價指標,其中一級指標 5 個、二級指標 15 個和三級指標 59 個(表 2)。

基于系統評價結果及多次面對面討論,形成初始條目清單,包括 4 個初擬臨床適用性評價領域(可獲得性、可讀性、可接受性、可行性)及總體評價、13 個臨床適用性評價條目、10 個調查評價者基本信息條目。
2.2 形成評價工具
2.2.1 評價領域
初擬 4 個臨床適用性評價領域(可獲得性、可讀性、可接受性和可行性)及總體評價,各領域評分、變異系數、權威系數均符合標準,提示評價領域分歧程度較低、權威程度較高,構建結果較好(表 3)。

2.2.2 評價條目
77% 條目水平內容效度指數、信度,100% 變異系數及 84.6% 均數符合標準,提示專家分歧較小、意見較集中、條目能較好反映指南臨床適用性問題。根據專家意見,修改和移動部分條目后,所有條目的認同度均≥60%,提示條目設置基本合理(表 4)。

2.2.3 評價者基本信息
所有基本信息條目認同度均≥60%,提示條目設置基本合理(表 5)。根據專家意見,新增了“調查者年齡范圍”和“所在醫療機構性質”2 項內容。

2.3 外審評價工具
外審專家對評價工具逐條閱讀,提出了優化條目建議,使條目更符合評價者閱讀習慣,如:將“您認為您是否具備實施本指南所需的專業技能”改為“您個人是否具備實施本指南所需的專業技能”、“您認為本指南是否存在實施障礙(填寫您醫療機構所在情況)”改為“在您所在的醫療機構是否存在實施本指南的障礙”。同時,將條目 9 調整至“可接受性”。根據外審專家意見,最終形成指南臨床適用性評價工具。
2.4 指南臨床適用性評價工具
指南臨床適用性評價工具主要分為三部分:評價者基本信息、評價條目、評分方案。① 評價者基本信息包含年齡、地域、學歷、職業、職稱、所在醫療機構情況、對評價指南的熟悉程度、從事專業、從業年限及利益聲明,以調查評價者基線情況;② 評價條目共 12 個,包含可獲得性(條目 1~2)、可讀性(條目 3~4)、可接受性(條目 5~7)、可行性(條目 8~10)和總體評價(條目 11~12)。其中 9 個條目采用 5 級李克特評分量表進行評價,2 個條目采用多選形式,1 個條目采用自由填寫形式;③ 評分方法為對各個領域評分進行標準化得分處理。最終的指南臨床適用性評價工具見附件 2。
3 討論
本工具評價者為指南的目標使用者,應在評價臨床適用性的同時調查評價者基線,旨在判斷不同評價者是否會對指南臨床適用性評價結果造成影響。一部臨床適用性佳的指南應方便不同指南使用目標人群獲取、容易理解且指南使用者認同并愿意實施其中的推薦意見。根據前期定性系統評價及專家咨詢結果,本工具形成 4 個評價領域:可獲得性、可讀性、可接受、可行性。其含義分別為:① 可獲得性:能否方便獲取指南;② 可讀性:能否讀懂指南;③ 可接受性:是否認同指南推薦意見;④ 可行性:是否按照指南實施。4 個領域代表臨床適用性的不同維度,涵蓋了從指南獲取到使用的各個環節。
與同類工具比較方面,耶魯大學醫學信息學中心 Shiffman 教授團隊建立的“The Guideline Implementability Appraisal(GLIA)”標準[3]與加拿大多倫多大學醫學院科學研究所 Gagliardi 教授團隊建立的“指南實施能力框架”[4]均側重評價指南推薦意見的可行性。而本研究工具除評價指南可行性外,還考慮了可獲得性、可讀性、可接受性等因素對指南臨床適用性的影響。
2009 年,AGREE Next Steps 協會發布“Appraisal of Guidelines Research and Evaluation in Europe Ⅱ(AGREE-Ⅱ)”評價工具,被公認為國際評價指南的“金標準”。但該工具僅有一個領域涉及指南臨床適用性評價,具體包括 4 個條目:指南描述了應用時的促進和障礙因素、指南提供應用推薦建議的意見和/或工具、指南考慮了推薦建議應用時潛在的相關資源、指南提供了監督和/或審計標準[5]。
2018 年,中國廣州中醫藥大學第二附屬醫院中醫標準處李慧教授團隊建立了“指南臨床適用性評價工具”[6]。該工具采用 4 級李克特量表,提高了工具的可操作性,但僅收集所在醫療機構、職稱、從事專業、從業年限 4 項評價者基本信息,未考慮學歷、利益聲明等潛在影響評價結果的因素。本研究工具在綜合考慮可操作性和科學性下,采用 5 級李克特評分,即在 4 級評分基礎上增加了中性評分。
對于選擇評分量度方面,常見的李克特評分量表有 5 級制、7 級制、10 級制。有研究顯示:5 等級、7 等級和 10 等級選項的數據,在進行簡單的資料轉換后,其平均數、變異數、偏態和峰度都很相似[7]。相對于細分級,5 級制更容易賦予每個分數準確含義,評價者更容易理解,且可提高響應率和響應質量[8]。故不同于同類指南評價工具,本工具采用 5 級李克特評分量表。
對于設置總體評價方面,本工具在制訂過程中考慮單獨設立總體評價結果,而非將各領域得分直接加和作為總分評價。主要原因為:① 各維度的權重可能不同,將直接加和結果作為總體評價可能無法準確反映權重的影響;② 驗證評價領域及條目與指南臨床適用性的相關性,以判斷工具是否完善[9]。
本工具采用對各領域評分進行標準化得分處理后評分,當各領域所含評價指標數量不同時,可使領域得分標準化至同一水平(百分制),與 AGREE 協作網開發的指南研究與評價工具(AGREE Ⅱ)評分方案類似[5]。該工具可同時比較同一指南不同領域的得分、不同指南相同領域的得分和不同指南的總體臨床適用性得分,能更直觀比較不同指南、不同領域的同一指標的情況。
本工具參考國際現有標準和方法,以準確、公開、透明的方式建立了由指南目標使用者擔任評價者的指南臨床適用性評價工具,包括評價者基本信息、臨床適用性評價條目、評分方案三部分。后期本課題組將陸續發布配套手冊及組織工具使用培訓,進一步推廣該工具。本工具作為指南臨床適用性評價工具 1.0 版本,計劃在以后的應用中根據工具使用者、指南制訂者及數據統計分析者的反饋不斷修改和完善,每 3~5 年修訂一次。后續將采用此工具評價兩部指南的臨床適用性,以分析本工具的信度和效度,驗證體系的科學性與可行性并建立配套數據分析和評價報告模型,提供科學可行的指南臨床適用性評價方法。
聲明:本研究無任何利益沖突。
附件 1:團隊人員名單(按地區排序)
指導組名單
王強、高學成,國家衛健委醫管中心;劉瀚旻、張伶俐,四川大學華西第二醫院;李幼平、康德英,四川大學華西醫院/中國循證醫學中心。
制訂組名單
黃超,國家衛健委醫管中心;張曉琳,北京大學第一醫院;譚玲,北京醫院;馮欣,首都醫科大學附屬北京婦產醫院;劉中亮,北京市密云區醫院;胡永成,天津醫院;董占軍,河北省人民醫院;趙德偉,大連大學附屬中山醫院;馬國,復旦大學;王卓,海軍軍醫大學附屬長海醫院;吳斌,上海交通大學醫學院附屬仁濟醫院;于鋒,中國藥科大學;劉茂柏、林曉霞,福建醫科大學附屬協和醫院;趙家軍,山東大學附屬省立醫院;郭玉金,濟寧市第一人民醫院;陸叢笑,山東省煙臺毓璜頂醫院;程飚,解放軍廣州總醫院;梅全喜,廣州中醫藥大學附屬中山中醫院;陳道軍,海南省人民醫院;蘇妍、黃濤、李斌、何遠學,海南省人民醫院;李國平、許治本,海南省定安縣人民醫院;何江、林國瑩、馬庭,海南海口市龍華區金地社區衛生服務中心;付秀娟,吉林大學第二醫院;馬軍,哈爾濱血液病腫瘤研究所;蔡本志,哈爾濱醫科大學附屬第二醫院;南在元、王麗陽、魏婷、趙娟、李懷寧,哈爾濱市兒童醫院;郭榮、李成娟,哈爾濱市呼蘭區第一人民醫院;李尹娜、閔玥、王煥,哈爾濱市道里區斯大林社區衛生服務中心;唐麗琴,安徽省立醫院;丁玉峰,華中科技大學同濟醫學院附屬同濟醫院;田彧、劉佳、王小艷,中南大學湘雅二醫院;史志華、王晉、楊利兵、胡成、劉平芳、劉軍,懷化市第一人民醫院;李慶軍,湖南寧鄉市人民醫院;曾紅、黃春波、任福,麻陽縣苗族自治縣人民醫院;舒代好,麻陽縣苗族自治縣舒家村衛生室;鄒志能,麻陽縣苗族自治縣錦和中心衛生院;段紹平,麻陽縣苗族自治縣綠溪口衛生院;孫鑫、劉關鍵,四川大學華西醫院/中國循證醫學中心;郎錦義,四川省腫瘤醫院;徐珽,四川大學華西醫院;汪志凌、黃亮、林超、陳婷、陶秋吉,四川大學華西第二醫院;劉巧蘭,四川大學華西公共衛生學院;黃躍生,重慶陸軍軍醫大學第一附屬醫院;謝娟,貴州省人民醫院;張峻,昆明醫科大學第一附屬醫院;陳耀龍、田金徽,蘭州大學;要林青、薛喜銳、馬占山、張婷、魏洪濤,甘肅省第二人民醫院;白少麗,蘭州市肺科醫院;竇麗梅、梁作文、劉黎明,鹽場路草場街街道社區衛生服務中心;閆清秀、劉曉玲、劉曉佳、王芳,內蒙古自治區人民醫院;Harold C. Sox,Dartmouth College,United States;Dirk Schrijvers,European CanCer Organisation。
外審組名單
劉冰,中華醫學會雜志社;劉曉清,北京協和醫院;孟凡強,中日友好醫院;路瑾,北京大學人民醫院;翟所迪、趙城,北京大學第三醫院;方向華,首都醫科大學宣武醫院;彭曉霞,北京兒童醫院;郭旭,中國人民解放軍總醫院;李超,解放軍第309醫院移植研究所;劉承利,空軍總醫院;高健鵬,北京萬方數據股份有限公司;李暉,天津醫科大學總醫院;王吉耀、姜帥,復旦大學附屬中山醫院;張崇凡,復旦大學附屬兒科醫院;葉世岳,福建醫科大學附屬第一醫院;侯偉、田川、趙小剛,山東大學第二醫院;王榮,山東省醫院;費繼光,中山大學附屬第一醫院;李慧,廣東省中醫院;邵晨,廈門大學附屬翔安醫院;魏佳莉、朱材忠,海南省人民醫院;陳小盼、顧申紅、張瑞城,海南醫學院第一附屬醫院;莊乙君、黃明龍、黃亞蓮,海南醫學院第二附屬醫院;徐志泉、黃曉燕、羅海伶,海南省婦幼保健院;李揚、劉婷婷、許麗娃,海口市人民醫院;尹吉標,海口市第三人民醫院;方其超,海口市第四人民醫院;賴積錦,澄邁縣人民醫院;陳健雄,樂東縣人民醫院;張士婧,華中科技大學同濟醫學院;劉喆隆、曾銳,華中科技大學同濟醫學院附屬同濟醫院;曾天舒、蘇華、王振迪,華中科技大學同濟醫學院附屬協和醫院;靳英輝,武漢大學中南醫院;雷閩湘、肖湘成,中南大學湘雅醫院;袁曙光、顏湘,中南大學湘雅二醫院;謝艷紅、桂明,中南大學湘雅三醫院;成偉、熊璞、陳愔音,湖南省人民醫院;劉婷、文銳,長沙市中心醫院;桂永豐、歐陽文,常德市第一人民醫院;張亞萍、鄒琴,郴州市第一人民醫院;張美彪、彭心怡,懷化市第一人民醫院;肖紅、陳心怡,湘潭市第一人民醫院;湯帥、盧英,株洲市中心醫院;包文茍,茶陵縣人民醫院;易高峰,華容縣人民醫院;劉獻,南縣人民醫院;鄧春雷,寧鄉市人民醫院;奉雁,新化縣人民醫院;王鋼,吉林大學第一醫院;劉嘉吉,內蒙古自治區人民醫院;王喬、郭慧、張輝、陳錳、胡穎、柏萍、辜麗、張力、張冬梅、劉莉莉、韓璐、劉丹,四川大學華西第二醫院;駱夢、徐佩佩、蘇筱芮,四川大學華西臨床醫學院;肖瑛琦、黎蘭,四川大學華西護理學院;楊甜,四川大學華西藥學院;王錫華,云南省祿豐縣人民醫院;王福利,空軍軍醫大學西京醫院;王強,吳大鵬,西安交通大學醫學院第一附屬醫院;李亞、李程亮、杜燕,西安醫學院第一附屬醫院;高海燕、周芳、鄭希院,西安醫學院第二附屬醫院;王養維、李振江、孫莉,陜西省人民醫院;秦衛軍,空軍軍醫大學西京醫院;杜錫林、楊潔、侯軍峰、李宏增、王禾,空軍軍醫大學唐都醫院;劉瓊、成蕊寧、黎國紅,西安市第九醫院;門敏、楊海波、吳軍娟,西安市中心醫院;張亞莉、惠曉麗、劉星君、何婭、朱丹,西安交通大學第一附屬醫院;吳護群、薛智文、張九芝,西電集團醫院;樊麗婭,西安一四一醫院;楊文娟,陜西航天醫院;趙新,西安航天總醫院;趙祥,周至縣人民醫院;李海燕,西安市臨潼區人民醫院;王云安,鄠邑區人民醫院;路凌,西安鳳城醫院;閔興堂,西安濟仁醫院;胡曉霞、王文革,蘭州大學附屬二院;張志衛、周曉玲,寧夏醫科大學。
附件 2:指南臨床適用性評價工具
第一部分 評價者基本信息(附表 1)
第二部分 評價條目(附表 2)
第三部分 評分方案
某領域標準化得分計算方法:
領域標準化得分(%)=(所有評價者該領域評價分數之和?該領域最小可能獲取分數)/(該領域最大可能獲取分數?該領域最小可能獲取分數)×100%。
總體標準化得分計算方法:
總體標準化得分(%)=(所有評價者總體評價分數之和?總體評價最小可能獲取分數)/(總體評價最大可能獲取分數?總體評價最小可能獲取分數)×100%。