Untuk protokol peringkat, indeks dihitung dari kumpulan data dan rata-rata
dari data individu tidak menunjukkan perbedaan sistematis (t-test, p = 0.99). Hal ini
diharapkan karena batas-batas peringkat yang tetap baik di dalam dan di antara
panelis, akibatnya tidak termasuk selisih batas.
Untuk 'A-bukan A: protokol kelipatan, efek selisih batas dalam data yang
dikumpulkan jelas. Untuk semua produk, R-Indeks lebih tinggi jika dihitung dari
panelis individu (t-test, p = 0,001). Efek yang sama akan diharapkan untuk 'A-bukan
A: protokol tunggal tapi itu tidak jelas (t-test, p = 0,15).
Akan sulit untuk menyatakan bahwa kurangnya perbedaan untuk 'A-bukan A:
protokol tunggal adalah karena semua panelis berasumsi batas yang sama (yakin vs
tidak yakin vs menebak) seperti dengan peringkat. Sebaliknya, dapat dibuat hipotesa
bahwa dengan hanya presentasi tunggal produk 'A' terlebih dahulu, itu sulit bagi
panelis individu untuk menetapkan batas-batas yang stabil. Dengan demikian, apakah
R-Indeks dihitung dari data yang dikumpulkan atau dengan R-Indeks rata-rata panelis
individu, batas-batas akan stabil dalam kedua kasus. Jadi perbedaan antara kedua
metode berhubungan tidak akan muncul dan R-Indeks akan tertekan dengan melihat
pada Tabel 1.
Perlu kembali ke hipotesis bahwa batas-batas konsep produk 'A' itu lebih
ditentukan oleh presentasi sebelum semua produk dalam 'A-bukan A:Protokol
kelipatan. Argumen seperti menyiratkan beta-kriteria. Namun, jika hanya produk 'A'
disajikan sebelumnya, panelis tidak dapat menetapkan batas-batas konsep (betakriteria). Dia mungkin terpaksa menggunakan tau-kriteria sebagai gantinya. Jika tes
tidak memiliki ulangan yang cukup, memberikan contoh 'A' dan 'bukan A', dia tidak
akan memperoleh informasi konseptual yang cukup untuk membangun beta-kriteria.
Dalam hal ini, ia akan perlu menggunakan tau-kriteria di seluruh pengujian. Dengan
demikian, mengingat keterbatasan jumlah ulangan dalam evaluasi sensorik,
kemungkinan logis ada bahwa perbedaan dalam protokol A-bukan A memiliki potensi
untuk menginduksi strategi kognitif yang berbeda. Selain itu, tes A-bukan A memiliki
kesamaan dengan segitiga, duo-trio, dan tes yang sama-berbeda dalam bahwa
perubahan atribut tidak ditentukan; Tes ini kemudian melibatkan Kriteria tau. Hanya
ketika atribut ditentukan (2-AFC, 3-AFC), adalah kriteria beta yang terlibat.
Seharusnya penggunaan tau-kriteria menjadi kasus yang jelas untuk perbedaan
antara 'A-Bukan A: kelipatan' dan 'A-bukan A: protokol tunggal bahwa mungkin
panelis individu, tau-kriteria tidak stabil seperti beta-kriteria. Oleh karena itu,
kurangnya stabilitas tau-kriteria hakim individu dalam 'A-bukan A: protokol tunggal,
akan menghasilkan lebih banyak selisih batas seperti ketika data dikumpulkan melalui
panelis.
Namun, lebih banyak informasi yang diperlukan mengenai aturan keputusan
atau strategi kognitif yang terlibat dalam tes A-bukan A. Hal ini tidak diketahui pada
saat ini, baik sedikit perbedaan dalam petunjuk atau prosedur mungkin menimbulkan
strategi kognitif yang berbeda atau hanya mempengaruhi proses pembelajaran
persepsi untuk membangun beta-kriteria. Hal ini juga tidak diketahui apakah
perbedaan di antara para panelis dalam hal pengalaman mereka (keakraban
sebelumnya) tidak mungkin melakukan hal yang sama. Yang terakhir saat ini sedang
diselidiki.
Untuk produk 'B' untuk 'E', R-Indeks yang peringkat lebih tinggi daripada
untuk 'A-bukan A: protokol kelipatan dari pada untuk 'A-bukan A: protokol tunggal.
Ini bukan kasus untuk produk 'F' di mana nilai-nilai R-Indeks dekat dengan 50%
(tingkat kemungkinan) kecuali dalam 'A-bukan A: protokol kelipatan. Perbedaan yang
jelas antara produk 'F' dan 'A' adalah jauh lebih kecil dari pada perbedaan lainnya.