Bobot studi dan Forest Plot

Dewanto Andoko
01202220001
PPDS Kedokteran Keluarga Layanan Primer FK UPH
Pertanyaan Pemicu
 Bobot Studi
• Systematic Review (SR) & Meta-analisis (MA) telah menjadi alat yang
populer dalam penelitian ilmiah karena kemampuannya untuk
mengintegrasikan hasil-hasil studi yang relevan dan memberikan
perkiraan yang lebih akurat tentang efek suatu variabel tertentu.
• Namun, tidak semua studi memiliki kontribusi yang sama terhadap hasil
akhir SR & MA.
• Bobot studi, yang mencerminkan pentingnya setiap studi, digunakan
untuk memberikan pengaruh yang proporsional pada hasil keseluruhan.
• Oleh karena itu, penilaian yang cermat terhadap bobot studi sangat
penting untuk memastikan keakuratan dan keandalan hasil SR & MA.
Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. Introduction to Meta-Analysis. John Wiley & Sons; 2011.
 Penentuan Bobot Studi
• Beberapa faktor dapat mempengaruhi penentuan bobot studi dalam SR
& MA.
• Salah satu faktor yang umum digunakan adalah ukuran sampel studi.
Studi dengan ukuran sampel yang lebih besar cenderung memiliki bobot
yang lebih tinggi karena memiliki tingkat ketepatan yang lebih tinggi.
• Selain itu, faktor-faktor lain seperti kualitas metodologi studi, desain
penelitian, dan risiko bias juga dapat mempengaruhi bobot studi.
• Studi dengan metodologi yang kuat dan risiko bias yang rendah
cenderung memiliki bobot yang lebih besar karena dianggap lebih dapat
diandalkan.

Higgins JPT, Green S. Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0. The Cochrane Collaboration; 2011.
 Implikasi dalam Penggabungan Data
• Bobot studi dalam meta-analisis dapat memiliki implikasi yang
signifikan dalam penggabungan data.
• Studi dengan bobot yang lebih besar akan memiliki pengaruh yang
lebih besar terhadap hasil akhir SR & MA.
• Oleh karena itu, penilaian yang tepat terhadap bobot studi dapat
membantu menghindari bias dan memastikan bahwa hasil SR & MA
lebih mewakili kontribusi studi yang lebih baik secara metodologis.
• Selain itu, penggunaan bobot studi yang tepat juga dapat membantu
mengidentifikasi dan mengatasi ketidaksamaan antara studi, seperti
variasi heterogenitas.

Schwarzer G. Meta: An R Package for Meta-Analysis. R News. 2007;7(3):40-45.

 • Bobot studi adalah elemen penting dalam SR & MA karena mereka
mempengaruhi hasil akhir dan keandalan estimasi efek variabel tertentu.
• Penilaian yang cermat terhadap bobot studi memerlukan pertimbangan
beberapa faktor, seperti ukuran sampel, kualitas metodologi, dan risiko
bias.
• Penggunaan bobot studi yang tepat dapat membantu menghasilkan hasil
SR & MA yang lebih akurat dan bermanfaat bagi pengambilan keputusan.
• Oleh karena itu, para peneliti perlu memberikan perhatian yang memadai
terhadap bobot studi dalam SR & MA mereka.

Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. Introduction to Meta-Analysis. John Wiley & Sons; 2011.
 Penyajian hasil studi SR & MA
• SR & MA melibatkan penggabungan data dari beberapa studi yang memiliki
pertanyaan penelitian yang serupa.
• Forest plot adalah alat visual yang digunakan dalam SR & MA untuk
mempresentasikan hasil studi individual dan kontribusinya terhadap
kesimpulan keseluruhan.
• Forest plot memberikan informasi tentang variasi antara studi, ukuran efek,
interval kepercayaan, dan bobot studi.
• Dengan melihat forest plot, peneliti dapat mengidentifikasi pola atau
ketidaksamaan dalam hasil studi yang dikombinasikan dan memahami
kontribusi relatif setiap studi terhadap hasil akhir.

Higgins JPT, Green S. Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0. The Cochrane Collaboration; 2011.
• Forest plot terdiri dari beberapa komponen
penting. Komponen Forest Plot
• Setiap studi diwakili oleh garis vertikal atau kotak
yang mewakili ukuran efek (misalnya, odds ratio,
mean difference) dari studi tersebut.
• Garis vertikal ini disebut "garis nol" atau "garis
vertical at 1".
• Interval kepercayaan untuk ukuran efek ditampilkan
dengan menggunakan garis horizontal yang
menghubungkan garis nol.
• Jika interval kepercayaan melintasi garis nol, maka
hasil studi tidak signifikan secara statistik,
sedangkan jika tidak melintasi garis nol, hasilnya
dianggap signifikan.
• Forest plot juga dapat mencakup bobot studi
sebagai lebar garis horizontal atau ukuran kotak, Borenstein M, Hedges LV, Higgins JPT, Rothstein HR.
yang menunjukkan bobot relatif antara studi. Introduction to Meta-Analysis. John Wiley & Sons; 2011.
 Favours steroid Favours placebo

percent who died with steroid

RR = 11.2%
percent who died with placebo "No difference"
RR=1
10%
5% die
10% die with
with steroid
steroid
10%
5% die
10% die with
with placebo
placebo

RR
RR =
= ??
??

0.01 0.1 0.5 1 2 10

Relative Risk
Relative Risk of Death
(RR)
(RR) of death
 Favours steroid Favours placebo
Trial Deaths
Deaths
Babies Steroid Placebo

#1 1070 6.8% 11.2%

6.8%
percent who died with steroid
RR = = 0.61
11.2%
11.2%
percent who died with placebo

0.01 0.1 0.5 1 2 10

Relative
Relative
Risk
Risk (RR)
(RR) of Death
of death
 Favours Point
steroid Favours placebo
estimate
Trial Deaths
Babies Steroid Placebo "best guess at truth"
#1 1070 6.8% 11.2%

95% Confidence interval

"truth probably in here"

0.01 0.1 0.5 1 2 10

Relative
Relative
Risk
Risk (RR)
(RR) of Death
of death
 Favours steroid Favours placebo
Trial Deaths
Babies Steroid Placebo "Cumulative Meta-analysis"
#1 1070 6.8% 11.2%

#2 130 1.4% 8.2%

#3 126 3.0% 11.9%

#4 127 9.0% 10.0%

#5 146 1.4% 6.7%

#6 144 2.5% 15.9%

#7 743 9.7% 10.0%

Total 2486

0.01 0.1 0.5 1 2 10

Relative
Relative
Risk
Risk (RR)
(RR) of Death
of death
 Forest plot

The label tells you what the comparison and outcome of

interest are
 Forest plot

Each study has an ID

 Forest plot

The data for each trial are here, divided into experimental and
control groups
 Forest plot
• This is the % weight given to each study in the pooled analysis
• For the mean difference: SDs are used together with the sample
sizes to compute the weight given to each study.
 Forest plot

Results from each trial are also given numerically

 Forest plot

The label above the graph tells you which statistic has been
used
 Forest plot
• Mid point of the box shows point effect estimate of each study
• The size of the block for each study is proportional to the % weight.
• The horizontal line represents the confidence interval.
Forest plot
• Take care to read the labels
• Things to the left do not always mean the treatment is better than
the control
Forest plot
• The pooled analysis is given a diamond shape
• The widest bit is located on the point estimate, and the horizontal width in the confidence
interval.
• Does the confidence interval cross the line of no effect?

Overall effect
estimate
Forest plot

Results of the pooled analysis are also given numerically

Forest plot

• Test for heterogeneity

• The result of a Z test with a p value are also given for the overall effect
1. Which is the largest trial?
2. Which is the smallest trial?
3. How many trials favour treatment?
4. How many trials are statistically significant?

1
2
3
4
5
Study results (1)
• For binary/nominal outcomes:
• Example: death, relapse, cure, may be continuous originally (e.g. pain relief)
• Presented as OR for individual study with corresponding 95% CI
• Represented by square, the area = relative weighted value
• Summarized as combined OR with CI as diamond
• Vertical line  OR = 1 (no effect)
• Vertical dotted line  if CI crosses this line means homogeneous, otherwise
heterogeneous
Meta-analysis: Example of graph presentation of RCTs with nominal
outcome

Study I 1992
Study II 1994
Study III 1995
Study IV 1995
Study V 1996
Study VI 1997
Study VII 1999
Study VIII 2000
Combined
0.1 10
OR = 1
Favor drug Favor placebo
Study results (2)
• For continuous/numeric outcomes:
• Example: volume (e.g. blood loss), quality of life, physical measurement (e.g.
lung function), duration (e.g. stay in hospital)
• Presented as mean difference for individual study with corresponding 95% CI
• Represented by square, the area = relative weighted value
• Summarized as combined mean difference with CI as diamond
• Vertical line  mean diff = 0 (no effect)
• Vertical dotted line  if CI crosses this line means homogeneous, otherwise
heterogeneous
Meta-analysis: Example of graph presentation of RCTs with numerical
outcome (xe-xc)

Study I 1992
Study II 1994
Study III 1995
Study IV 1995
Study V 1996
Study VI 1997
Study VII 1999
Study VIII 2000
Combined
-0.3 +0.3
Favor drug Xe- Xc= 0 Favor placebo
 Pentingnya Forest Plot
• Forest plot memiliki beberapa kegunaan penting dalam SR & MA.
• Pertama, forest plot memungkinkan peneliti untuk melihat variasi antara
studi, baik dari segi ukuran efek maupun interval kepercayaan. Ini dapat
membantu mengidentifikasi heterogenitas antara studi, yang dapat
mempengaruhi kesimpulan keseluruhan.
• Kedua, forest plot memungkinkan peneliti untuk melihat kontribusi relatif
setiap studi terhadap hasil akhir SR & MA.
• Studi dengan bobot yang lebih besar akan memiliki pengaruh yang lebih
signifikan terhadap hasil keseluruhan.
• Hal ini penting dalam menginterpretasikan hasil SR & MA dan mengevaluasi
keandalan temuan.
Deeks JJ, Higgins JPT, Altman DG. Chapter 10: Analysing data and undertaking meta-analyses. In: Higgins JPT, Churchill R, Chandler J, Cumpston
MS, editors. Cochrane Handbook for Systematic Reviews of Interventions. Version 6.2. Cochrane; 2021.
Terima Kasih