Pada awal mereka berkolaborasi, Egon Pearson bertanya kepada Jerzy Neyman

bagaimana dia bisa yakin bahwa satu set data terdistribusi normal jika dia gagal
menemukan nilai p yang signifikan ketika pengujian dengan normalitas. Kolaborasi
mereka dimulai dengan pertanyaan ini, tetapi pertanyaan awal Pearson membuka pintu ke
pertanyaan yang jauh lebih luas. Apa artinya memiliki hasil yang tidak signifikan dalam
uji signifikansi? Dapatkah kita menyimpulkan bahwa hipotesis itu benar jika kita gagal
membantahnya?

R. A. Fisher telah menjawab pertanyaan itu dengan cara tidak langsung. Fisher
akan mengambil nilai-p yang besar (dan kegagalan untuk menemukan signifikansi)
sebagai indikasi bahwa data tidak memadai untuk diputuskan. Bagi Fisher, tidak pernah
ada anggapan bahwa kegagalan untuk menemukan signifikansi berarti hipotesis yang
diuji itu benar. Mengutipnya:

Untuk kesalahan logis percaya bahwa hipotesis telah terbukti benar, hanya karena
tidak bertentangan dengan fakta-fakta yang tersedia, tidak memiliki hak lebih
untuk menyindir diri dalam statistik daripada di berbagai jenis penalaran ilmiah.
Oleh karena itu, sangat penting untuk kejelasan tes signifikansi yang dianggap
jika umumnya dipahami bahwa tes signifikansi, ketika digunakan secara akurat,
mampu menolak atau membatalkan hipotesis, sejauh mereka bertentangan
dengan data, tapi mereka itu tidak pernah mampu membangun sebagai benar.

Karl Pearson sudah sering menggunakan tes kecocokan chi square untuk
"membuktikan" bahwa data mengikuti distribusi tertentu. Fisher telah memperkenalkan
lebih banyak ketelitian dalam statistik matematika, dan metode-metode Karl Pearson
tidak lagi dapat diterima. Pertanyaannya masih ada. Perlu diasumsikan bahwa data
tersebut sesuai dengan distribusi tertentu, untuk mengetahui parameter mana yang harus
diperkirakan dan menentukan bagaimana parameter-parameter tersebut berhubungan
dengan pertanyaan ilmiah di tangan. Para ahli statistik sering tergoda untuk menggunakan
tes signifikan untuk membuktikan hal itu.

Dalam korespondensi mereka, Egon Pearson dan Jerzy Neyman menjelajahi

beberapa paradoks yang muncul dari pengujian signifikansi, kasus-kasus dimana
penggunaan membabi buta dari uji signifikansi akan menolak hipotesis yang jelas benar.

Sepanjang bab ini, saya menghubungkan ide-ide matematis yang penting dengan Neyman. Ini karena Neyman
bertanggung jawab atas formulasi akhir yang dipoles dan untuk pengembangan matematika yang cermat di belakangnya.
Namun, korespondensi antara Egon Pearson dan William Sealy Gosset, yang dimulai enam bulan sebelum Pearson
bertemu Neyman, menunjukkan bahwa Pearson sudah memikirkan tentang hipotesis alternatif dan berbagai jenis
kesalahan dan bahwa Gosset mungkin pertama kali mengusulkan ide tersebut. Terlepas dari fakta bahwa ia adalah
masukan awal, Pearson mengakui bahwa Neyman menyediakan fondasi matematika untuk "ide lepas" sendiri.