Perilaku interpersonal di pusat penilaian

latihan bermain peran: Menyelidiki struktur,

konsistensi, dan efektivitas

Abstrak
Meskipun perilaku yang ditampilkan oleh penilai adalah mata uang dari pusat penilaian (AC), sebagian besar masih belum
dijelajahi. Hal ini mengejutkan karena pemahaman yang lebih baik tentang perilaku asesee dapat memberikan mata rantai yang
hilang antara penelitian tentang faktor penentu kinerja asesee dan penelitian tentang validitas penilaian kinerja. Oleh karena itu,
penelitian ini mengacu pada ilmu kepribadian perilaku untuk meneliti perilaku yang diekspresikan oleh orang yang dinilai dalam
latihan AC interpersonal. Tujuan kami adalah untuk menyelidiki (a) struktur perilaku interpersonal, (b) konsistensi perilaku ini di
seluruh latihan AC, dan (c) keefektifannya. Kami memperoleh rekaman video dari 203 penilai yang mengambil bagian dalam
permainan peran AC dalam konteks taruhan tinggi. Terlepas dari peringkat kinerja penilai, pakar terlatih juga secara independen
mengkodekan penilai pada lebih dari 40 isyarat perilaku spesifik dalam permainan peran ini (misalnya, pernyataan yang jelas,
postur tegak, membeku). Hasilnya tiga kali lipat: Pertama, struktur yang mendasari perbedaan perilaku dalam latihan AC
antarpribadi diwakili oleh empat konstruksi perilaku yang luas: agensi, persekutuan, ketenangan antarpribadi, dan kompetensi
intelektual. Kedua, menilai perilaku menunjukkan lebih banyak konsistensi di seluruh latihan daripada peringkat kinerja. Ketiga,
perilaku terkait dengan kinerja permainan peran dan kinerja interpersonal yang diprediksi di masa depan. Kami membahas
implikasi teoretis dan praktis dari perspektif granular, perilaku-driven studi ini.
KATA KUNCI
pusat penilaian, ilmu kepribadian perilaku, validitas terkait konstruk, perilaku interpersonal

PERKENALAN

“ Perilaku, bukan latihan, adalah mata uang pusat penilaian ” (Howard, 2008 , hal. 101)

Seperti yang disarankan oleh kutipan ini, pusat penilaian (AC) adalah unik karena mereka memungkinkan penilai untuk mengevaluasi penilai
berdasarkan pengamatan dan menilai perilaku interpersonal yang sedang berlangsung dari penilai (misalnya, apa yang mereka katakan kepada
orang lain, bagaimana mereka mengatakannya, bahasa tubuh mereka, ekspresi wajah). Karena pertaruhan tinggi dan sifat interaksi AC yang serba
cepat, aliran luas AResearch telah dikhususkan untuk meningkatkan keandalan dan validitas evaluasi penilai (yaitu, peringkat kinerja) melalui
investasi dalam taksonomi dimensi (misalnya, Meriac et al. ., 2014 ), bantuan penilaian (misalnya, Reilly et al., 1990 ), dan pelatihan penilai
(misalnya, Lievens, 2001 ; Schleicher et al., 2002 ). Fokus yang kuat pada penilai dan penilaian mereka selanjutnya diilustrasikan oleh studi skala
besar pada kriteria (Arthur et al., 2003 ; Meriac et al., 2008 ) dan membangun validitas peringkat AC (Bowler & Woehr, 2006 ; DJR Jackson, et
al., 2016 ; Lievens & Conway, 2001 ; Putka & Hoffman, 2013 ).
Sementara arus penelitian tentang penilaian penilai berfokus pada bagaimana perilaku orang yang dinilai didaftarkan dan dievaluasi dalam
penilaian kinerja, aliran besar penelitian lainnya berkonsentrasi pada faktor penentu perilaku orang yang dinilai ini. Aliran penelitian AC kedua
ini telah meneliti hubungan antara serangkaian perbedaan individu dan kinerja AC (lihat Kleinmann & Ingold, 2019 , untuk ulasan). Dalam
sebagian besar studi, para peneliti telah berfokus pada bagaimana ciri-ciri kepribadian (misalnya, ekstraversi) dan kemampuan kognitif (Collins et
al., 2003 ; Dilchert & Ones, 2009 ) serta konstruksi spesifik, seperti kemampuan untuk mengidentifikasi kriteria (Jansen et al. ., 2013 ; König et
al., 2007 ), mengarahkan penilai untuk menunjukkan perilaku tertentu dalam menanggapi tuntutan olahraga.
Meskipun perilaku orang yang dinilai memainkan peran kunci dalam kedua aliran penelitian, jenis perilaku yang ditunjukkan oleh orang yang
dinilai secara mengejutkan belum banyak dipelajari dan karenanya tidak dipahami dengan baik. Artinya, para peneliti hanya memeriksa satu set
perilaku yang sangat spesifik (misalnya, perilaku manajemen kesan spesifik; Klehe et al., 2014 ; McFarland et al., 2005 ; Oliver et al., 2016 ) atau
telah memperoleh informasi tidak langsung tentang perilaku melalui catatan penilai atau pendaftaran daftar periksa (Lievens et al., 2015 ).
Kurangnya perhatian terhadap perilaku orang yang dinilai membuat pertanyaan penting tidak terjawab: Perilaku seperti apa yang biasanya
ditampilkan oleh orang yang dinilai, dan dapatkah mereka dikelompokkan ke dalam kelompok yang bermakna? Apakah asesee relatif konsisten
dalam menunjukkan perilaku seperti itu di seluruh latihan AC? Perilaku mana yang sangat penting dan memungkinkan prediksi yang valid?
Namun, jawaban atas pertanyaan-pertanyaan ini penting untuk alasan teoretis dan praktis.
Pertama, wawasan ke dalam perilaku penilai dan terutama ke dalam struktur yang mendasari perilaku mereka memberikan sudut pandang yang
berbeda pada taksonomi dimensi kinerja. Taksonomi semacam itu digunakan untuk mengatur sejumlah besar dimensi AC yang digunakan
menjadi faktor menyeluruh (misalnya, Arthur et al., 2003 ; Hoffman & Meade, 2012 ; Meriac et al., 2014 ). Namun, taksonomi yang diusulkan
biasanya berasal dari sisi penilai dengan menganalisis peringkat kinerja. Mengingat bahwa peringkat kinerja asesee tidak dapat disamakan dengan
perilaku asesee, tidak diketahui bagaimana taksonomi ini memetakan ke perilaku yang ditampilkan asesee. Misalnya, bisa jadi faktor perilaku
lintas situasi yang relevan muncul yang tidak ditangkap oleh taksonomi saat ini, atau bahwa beberapa dimensi kinerja yang diusulkan dalam
taksonomi tidak dapat dibedakan pada tingkat perilaku. Jadi, penelitian ini dapat menjelaskan struktur yang mendasari perilaku penilai, yang
kemudian dapat berfungsi sebagai kunci verifikasi bottom-up dan penyempurnaan taksonomi saat ini.
Kedua, fokus pada perilaku penilai menginformasikan perdebatan tentang validitas terkait konstruk peringkat kinerja AC (yaitu, sejauh mana
peringkat tersebut benar-benar mencerminkan perbedaan individu yang stabil dalam dimensi kinerja masing-masing; Gibbons & Rupp, 2009 ;
Lance, 2008 ; Lievens, 2009 ). Salah satu alasan kontroversi ini adalah konsistensi peringkat kinerja yang biasanya rendah di berbagai latihan
AC. Menurut satu penjelasan, perilaku penilai tidak memiliki konsistensi lintas situasi. Penjelasan lain berpendapat bahwa ada konsistensi dalam
perilaku penilai di seluruh latihan, tetapi ini tidak berlaku untuk peringkat kinerja karena perilaku mungkin terlihat efektif dalam satu latihan
tetapi tidak efektif dalam latihan lainnya. Untuk menguraikan penjelasan ini, bagian penting telah hilang: Belum ada wawasan tentang konsistensi
penilai di tingkat perilaku. Dengan demikian, penelitian ini memungkinkan pemeriksaan konsistensi yang lebih bernuansa dengan menambahkan
konsistensi perilaku ke dalam persamaan.
Akhirnya, analisis mendalam tentang perilaku penilai sangat penting secara praktis untuk memberikan informasi tentang aspek-aspek yang perlu
dipertimbangkan dalam desain AC. Ini karena pemahaman tentang perilaku mana yang ditampilkan oleh penilai, bagaimana perilaku tersebut
dikelompokkan bersama, dan mana yang paling efektif dapat menginformasikan pemilihan dimensi, desain latihan, alat bantu penilaian, dan
pelatihan penilai. Pengetahuan semacam itu juga penting untuk algoritme pembelajaran mesin karena mereka memilih dan menimbang perilaku
yang memaksimalkan prediksi mereka ( Cannata et al., in, press ; Hickman et al., 2021 ). Oleh karena itu, sejalan dengan tradisi ilmu kepribadian
perilaku, penelitian ini mengandalkan banyak pembuat kode terlatih untuk mendaftarkan perilaku penilai, yang nantinya dapat berfungsi sebagai
masukan untuk model pembelajaran mesin.
Gambar 1 merangkum kontribusi studi ini untuk penelitian dan praktik AC. Sisi kanan mewakili aliran penelitian pertama yang berfokus pada
bagaimana perilaku asesee membentuk dasar penilaian kinerja yang dibuat oleh asesor. Sisi kiri berurusan dengan aliran penelitian kedua tentang
perilaku penilai yang dihasilkan dari interaksi antara perbedaan individual mereka (misalnya, kepribadian) dan tuntutan latihan. Perilaku ini tetap
menjadi kotak hitam, dan pertanyaan kunci tentang ekspresi dan observasi perilaku belum terjawab. Untuk melakukan penelitian ini, kami
mengadopsi pendekatan granular, perilaku-driven untuk menjelaskan perilaku asesee. Oleh karena itu, ini tidak hanya mewakili keberangkatan
yang ditandai dari dua aliran penelitian AC tetapi juga menyediakan koneksi yang sangat dibutuhkan di antara keduanya.

PENELITIAN SAAT INI

Penelitian ini bertujuan untuk menjelaskan perilaku yang diekspresikan dalam latihan AC interpersonal, dan dengan demikian menghubungkan
literatur AC dengan penelitian ilmu kepribadian perilaku. Ilmu kepribadian perilaku berfokus pada penilaian perbedaan perilaku yang
ditampilkan dalam situasi sosial. Di sini, semakin banyak studi menyoroti perbedaan individu dalam perilaku dan pengaruhnya terhadap penilaian
dan hasil sosial (misalnya, Back et al., 2009 ; Back, Baumert, et al., 2011 ; Human et al., 2014 ; JJ Jackson, et al., 2010 ; Leikas et al., 2012 ;
Leising & Bleidorn, 2011 ; Sherman et al., 2010 ). Paradigma proses perilaku baru ini berasal dari kritik bahwa penelitian kepribadian telah
terlalu banyak berurusan dengan peringkat diri dan orang lain yang global dan tidak kontekstual, alih-alih dengan perilaku yang ditampilkan dan
efek antarpribadi mereka dalam situasi sosial yang lebih realistis (Back & Egloff, 2009; Baumeister et al . , 2007 ; Furr, 2009 ). Dalam ilmu
kepribadian perilaku ini, sejumlah besar pembuat kode independen membuat daftar dan mengkategorikan perilaku yang diekspresikan, yang
sering diatur ke dalam taksonomi yang digerakkan oleh teori (misalnya, lingkaran antarpribadi; Dawoodet al., 2018; Wiggins ,
1979 ). Perilaku ini kemudian diperiksa sehubungan dengan pengaruhnya terhadap hasil interpersonal (Back, Baumert, et al., 2011 ).
Menggunakan metodologi ilmu kepribadian perilaku, kami berusaha untuk menyelidiki (a) jenis perbedaan perilaku apa yang sebenarnya
diungkapkan dan bagaimana mereka mengelompok bersama (yaitu, struktur perilaku ), (b) seberapa banyak perilaku ini bertemu di seluruh
situasi (yaitu, konsistensi perilaku ). ), dan (c) perilaku mana yang paling efektif untuk kinerja AC dan kinerja interpersonal masa depan (yaitu,
efektivitas perilaku ).

GAMBAR 1 Perilaku interpersonal di pusat penilaian (AC): menghubungkan karakteristik penilai dengan
penilaian penilai
Catatan : Model ini mengacu pada model lensa yang digunakan untuk memahami penilaian manusia dan proses persepsi orang
(Brunswik, 1956 ; Funder, 1995 ;Osterholz et al., 2021 ).

Analisis kami tentang perilaku penilai berfokus pada permainan peran antarpribadi dalam konteks pemilihan perawatan kesehatan berisiko tinggi.
Meskipun ini hanya salah satu jenis latihan AC, ini adalah awal yang baik karena permainan peran adalah salah satu simulasi AC yang paling
populer (Krause & Thornton, 2009 ). Tugas inti dari permainan peran perawatan kesehatan ini (misalnya, membujuk orang lain, menyampaikan
berita buruk) juga berpindah ke banyak konteks lain, termasuk pengaturan manajerial.

Struktur yang mendasari perilaku interpersonal

Sejauh ini, kita hanya mengetahui sedikit tentang struktur perilaku yang mendasari latihan AC interpersonal. Artinya, masih belum jelas apakah
ada faktor perilaku yang dapat dibedakan dengan jelas dalam latihan AC dan, jika demikian, mana yang merupakan faktor utama. Meskipun jenis
perilaku antarpribadi yang diungkapkan oleh orang yang dinilai telah diabaikan dalam penelitian AC, perilaku antarpribadi dan struktur yang
mendasarinya telah menjadi fokus utama ilmu kepribadian perilaku selama bertahun-tahun. Ilmu kepribadian perilaku berfokus pada
konseptualisasi dan menilai perbedaan perilaku di berbagai konteks sosial (yaitu, pengaturan kinerja yang khas ). Perbedaan perilaku seperti itu
(dikumpulkan dalam beberapa situasi) mencerminkan perbedaan yang relatif stabil dalam ciri-ciri kepribadian (yaitu, apa yang cenderung
dilakukan individu). 1 Sebaliknya, latihan AC fokus pada perbedaan perilaku dalam konteks berisiko tinggi (yaitu, pengaturan kinerja maksimum
). Perbedaan perilaku ini (dikumpulkan di beberapa latihan) juga harus mencerminkan keterampilan dan kemampuan (yaitu, kemampuan
individu; Breil, Forthmann, & Back, 2021 ; Ployhart et al., 2001 ; Soto et al., 2021 ). Meskipun demikian, tidak ada bukti bahwa jenis dan
struktur perilaku yang ditemukan dalam konteks berisiko tinggi harus berbeda secara mendasar dari perilaku yang ditemukan dalam konteks
sehari-hari. Misalnya, Klehe et al. ( 2014 ) menunjukkan bahwa taktik manajemen kesan khusus muncul dalam pengaturan evaluatif maupun non-
evaluasi. Mirip dengan konteks sehari-hari, domain perilaku, seperti keramahan atau pemecahan masalah, juga muncul dalam konteks berisiko
tinggi, seperti wawancara kerja atau lingkungan tim yang kompetitif (misalnya, Gerpott et al., 2019; Naim et al. , 2016 ) . Oleh karena itu, kami
menggunakan ilmu kepribadian perilaku untuk mendapatkan wawasan tentang struktur yang mendasari perilaku antarpribadi dalam latihan AC.
Secara khusus, berdasarkan aliran teori dan penelitian yang mapan, kami menyelidiki apakah empat faktor utama dapat mengatur spektrum yang
luas dari perilaku interpersonal yang diekspresikan dalam permainan peran AC dengan taruhan tinggi.
Kami mulai dengan mengandalkan teori interpersonal untuk membuat daftar dan mengatur perilaku yang relevan. Menurut teori interpersonal,
perilaku dalam situasi interpersonal dapat digambarkan melalui dua dimensi orthogonal dari agensi dan komuni (Bakan, 1966 ; lihat juga Abele &
Wojciszke, 2007 ; Horowitz et al., 2006 ; Leary, 1957 ; Moskowitz & Zuroff, 2005 ; Pincus & Ansell, 2003, 2012 ; Wiggins, 1979, 1991 ). Hak
pilihan mengacu pada memegang kendali, memiliki kekuasaan, dan bertindak secara dominan dan tegas (vs. tunduk, patuh). Persekutuan
mengacu pada menunjukkan cinta dan afiliasi dengan perilaku yang hangat dan ramah (vs berhati dingin, jauh). Menurut model circumplex
interpersonal (Wiggins, 1979 ), setiap perilaku interpersonal yang berbeda dapat diwakili oleh perpaduan tertentu antara agensi dan persekutuan
(Gurtman, 2009 ; Markey et al., 2003 ). Perilaku dalam circumplex sering digambarkan pada empat sumbu (yaitu, dominan-tunduk, hangat-
dingin, ekstraver-introver, arogan-sederhana). Dua sumbu secara langsung merujuk pada hak pilihan (yaitu, dominasi) dan persekutuan (yaitu,
kehangatan), sedangkan dua sumbu lainnya mewakili campuran perilaku agen dan komunal (yaitu, perilaku ekstraver vs introvert dan arogan vs
sederhana). Oleh karena itu, ukuran agensi menggabungkan perilaku dari sumbu dominasi dan (pada tingkat yang lebih rendah) perilaku dari
sumbu ekspresif (yaitu, ekstraver) dan arogansi, sedangkan ukuran persekutuan mencakup perilaku dari sumbu kehangatan, ekspresif, dan
arogansi (rendah). .
Terlepas dari dua faktor yang diturunkan dari teori interpersonal, ada bukti tegas dari ilmu kepribadian perilaku untuk dua faktor perilaku
tambahan yang mungkin juga muncul dalam latihan AC interpersonal. Faktor tambahan pertama menyangkut ketenangan atau kegugupan
antarpribadi . Telah ada sejarah panjang menyelidiki ekspresi perilaku terkait, seperti berbicara sibuk, menyentuh diri sendiri, ketegangan tubuh,
gerakan saraf, atau ekspresi rasa tidak aman (misalnya, Albright et al., 1988; Asendorpf et al . , 2002 ; Borkenau et al., 2004 ;Borkenau&Liebler,
1992 ; Burgoon et al., 1990 ; Creed&Funder, 1998 ; Funder&Sneed, 1993 ; Hodges, 1976 ; Levitt, 1967 ;Naumann et al., 2009 ; Troisi, 2002 ).
Meskipun perilaku ini sering tidak dipertimbangkan dalam teori interpersonal, terdapat bukti empiris bahwa perbedaan dalam perilaku
ketenangan interpersonal muncul dan dapat diamati dalam situasi interpersonal. Dalam satu pemeriksaan komprehensif, Leising dan Bleidorn (
2011 ) menyelidiki struktur perilaku interpersonal dalam interaksi lab dyadic yang berbeda. Interaksi dyadic singkat ini direkam dengan video,
dan pengamat independen menilai perilaku partisipan berdasarkan 35 pasang kata sifat. Analisis faktor peringkat mengkonfirmasi dua faktor
agensi dan persekutuan. Namun yang penting, faktor ketiga yang berkaitan dengan stabilitas emosi (contoh item: stabil-tidak stabil, santai-tegang,
kuat-rentan) juga muncul. Dengan demikian, penelitian Leising dan Bleidorn menunjukkan bahwa perilaku yang terkait dengan ketenangan lebih
dapat diamati dan bersifat interpersonal daripada yang sering diasumsikan. Pengecualian perilaku tenang atau gugup seperti itu dari model
interpersonal dapat dijelaskan oleh fakta bahwa seringkali sulit untuk mengamati stabilitas emosional (atau kekurangannya) secara andal dalam
sebagian besar situasi interpersonal dalam kehidupan sehari-hari. Sejalan dengan alasan ini, penelitian empiris dalam ilmu kepribadian perilaku
telah menunjukkan bahwa perbedaan stabilitas emosi hanya dapat diamati dalam situasi yang relevan dengan sifat (yaitu, stres sosial) (misalnya,
Egloff & Schmukle, 2002; Hirschmüller et al. , 2015 ; Wiemers et al., 2013 ).
Bidang perilaku lain yang memiliki tradisi panjang dalam ilmu kepribadian perilaku melibatkan bagaimana individu menghadapi situasi
interpersonal yang menantang secara intelektual. Ini telah diberi label domain kompetensi intelektual , mengacu pada perilaku seperti responsif,
orientasi tujuan, atau cara fasih berbicara (misalnya, Borkenau et al., 2004 ; Borkenau & Liebler, 1995 ; Burgoon et al., 1990 ; Colvin & Funder,
1991 ; Grünberg et al., 2018 ; Murphy, 2007 ; Reynolds & Gifford, 2001 ). Sementara beberapa model memperlakukan kompetensi intelektual
sebagai subdimensi agensi (misalnya, Abele et al., 2016 ), semakin banyak penelitian yang menunjukkan bahwa menjadi, bertindak, atau
memahami bahwa seseorang itu dominan dan asertif tidak boleh disamakan begitu saja dengan menjadi, bertindak, atau mempersepsikan bahwa
seseorang itu intelektual atau pintar (misalnya, Carrier et al., 2014 ; Kervyn et al., 2013 ; Oliveira et al., 2019 ). Ini terutama terjadi pada tingkat
perilaku karena seseorang dapat menunjukkan perilaku yang kompeten secara intelektual saat bertindak baik secara asertif maupun patuh.
Sebagai contoh, Colvin dan Funder ( 1991 ) menemukan faktor perilaku yang berbeda untuk dominasi dan intelek di seluruh interaksi
laboratorium dyadic.
Mentransfer semua hasil ini kembali ke latihan AC (yaitu, ke pengaturan kinerja maksimum), perbedaan individu dapat diharapkan muncul untuk
semua faktor yang dibahas. Agensi dan persekutuan mewakili motif inti manusia (yaitu, maju, bergaul; R. Hogan, et al., 1985 ) yang dapat
memainkan peran penting dalam ACs (lihat Meriac et al., 2014 ). Artinya, tujuan yang mendasari sebagian besar latihan AC interpersonal adalah
untuk membangun dan memelihara hubungan yang baik dengan mitra interaksi seseorang (yaitu, berperilaku komunal), sementara pada saat yang
sama mengejar tujuan sendiri (yaitu, berperilaku agen). Perbedaan dalam ketenangan interpersonal harus terlihat karena latihan AC secara
inheren menimbulkan stres sosial karena taruhannya tinggi dan penilai sedang dievaluasi (misalnya, penilai harus bereaksi di tempat dan khawatir
dinilai oleh penilai). Selanjutnya, perbedaan dalam kompetensi intelektual yang diungkapkan seharusnya
mendalam dalam latihan AC karena mereka sering melibatkan tugas menantang secara intelektual (misalnya, tugas yang bergantung pada
seberapa baik penilai menjelaskan argumen mereka atau bereaksi terhadap pertanyaan). Bahkan, beberapa dimensi kinerja AC (misalnya,
pemecahan masalah, pengorganisasian, dan perencanaan; Arthur et al., 2003 ) secara langsung menargetkan perilaku kompetensi intelektual.
Singkatnya, kami mengajukan pertanyaan penelitian berikut:

Pertanyaan Penelitian 1 : Dapatkah perilaku antarpribadi yang berbeda yang ditunjukkan dalam latihan bermain peran dibedakan secara
bermakna dan diwakili oleh empat faktor agensi, persekutuan, ketenangan antarpribadi, dan kompetensi intelektual?

Konsistensi perilaku interpersonal

Penelitian AC selama bertahun-tahun menunjukkan bahwa korelasi antara dimensi kinerja yang berbeda dalam latihan AC biasanya tinggi (yaitu,
dengan demikian menunjukkan kurangnya validitas diskriminan), sedangkan korelasi antara penilaian dimensi kinerja yang sama di seluruh
latihan biasanya rendah (yaitu, dengan demikian menunjukkan konvergen yang rendah). validitas; Bowler & Woehr, 2006 ; Lance et al., 2004 ).
Artinya, varians kinerja yang andal yang bergantung pada latihan jauh lebih tinggi daripada varians kinerja yang bergantung pada dimensi
(misalnya, DJR Jackson, et al., 2016 ; Putka & Hoffman, 2013 ). Namun, studi AC sebelumnya hanya berfokus pada kurangnya konsistensi
dalam peringkat kinerja sehingga tidak jelas apakah kurangnya konsistensi ini disebabkan oleh penilai yang menunjukkan perilaku yang tidak
konsisten di seluruh latihan atau karena variabilitas dalam keefektifan perilaku ini di seluruh latihan. Sebagai contoh, mari kita pertimbangkan
dua permainan peran AC yang berbeda: Latihan A di mana seseorang harus meyakinkan seseorang untuk melakukan sesuatu dan Latihan B di
mana seseorang harus menyampaikan kabar buruk. Di sini, bisa jadi individu yang berperilaku paling asertif dalam Latihan A bukanlah mereka
yang berperilaku paling asertif dalam Latihan B (yaitu, konsistensi kinerja rendah karena ekspresi perilaku yang tidak konsisten). Namun, bisa
juga kasus yang asertif perilaku diekspresikan secara konsisten tetapi perilaku tersebut lebih efektif dalam Latihan A daripada Latihan B (yaitu,
konsistensi kinerja rendah karena berbagai efektivitas perilaku). Analisis pada tingkat perilaku granular akan menjelaskan teka-teki ini. Secara
khusus, kami mengandaikan bahwa mungkin ada lebih banyak konsistensi di tingkat perilaku daripada di tingkat penilaian kinerja. Proposisi ini
lagi didasarkan pada penelitian ilmu kepribadian perilaku yang telah sering menyelidiki konsistensi perilaku (misalnya, Bem & Allen, 1974 ;
Borkenau et al., 2004 ; Funder & Colvin, 1991 ; Furr & Funder, 2004 ; Leikas et al. , 2012 ; Sherman et al., 2010 ; Shoda et al., 1994 ). Secara
umum, hasil menunjukkan konsistensi urutan peringkat sedang hingga tinggi untuk semua jenis perilaku antarpribadi di berbagai situasi.
Misalnya, Funder dan Colvin ( 1991 ) menyelidiki konsistensi lintas mitra interaksi yang berbeda dengan topik interaksi yang berbeda
(perdebatan tidak terstruktur vs. serius) dan menemukan konsistensi dalam domain dominasi perilaku ( r = 0,20; misalnya, mencoba
mengendalikan interaksi), gugup menarik diri ( r = 0,42; misalnya, berperilaku menakutkan), dan intelektualitas ( r = 0,49; misalnya,
menunjukkan tingkat kecerdasan yang tinggi). Borkenau dkk. ( 2004 ) mencapai kesimpulan yang sama di 15 tugas yang berbeda (misalnya,
memecahkan masalah logika yang kompleks, membujuk tetangga), sehingga menemukan konsistensi yang tinggi dalam kata sifat perilaku yang
terkait dengan, di antara konstruksi lainnya, extraversion (r = 0,52; misalnya, pasif - aktif ), keramahan ( r = 0,47; misalnya, kasar-sopan),
neurotisme ( r = 0,46 misalnya, tenang-gugup), atau kecerdasan ( r = 0,61). Demikian pula, Leikas et al. ( 2012 ) memanipulasi disposisi pemain
peran dan menemukan konsistensi di sebagian besar perilaku level mikro yang mereka selidiki (misalnya, tersenyum/tertawa: r = 0,40,
menyentuh diri sendiri: r = 0,38, postur: r = 0,54). Efek dari perbedaan individu dalam situasi ini biasanya setidaknya sama besarnya dengan efek
karakteristik situasional. Umumnya, aliran penelitian ini juga telah menunjukkan bahwa konsistensi lebih kuat ketika perilaku digabungkan dan
ketika latihan relevan dengan perilaku masing-masing dan serupa dengan satu sama lain (Borkenau et al., 2004 ; Epstein, 1983 ; Funder &
Colvin, 1991 ). Singkatnya, ilmu kepribadian perilaku telah mendokumentasikan relevansi pengujian konsistensi pada tingkat perilaku yang lebih
terperinci. Yang penting, ilmu kepribadian perilaku telah mengungkapkan hasil positif untuk konsistensi a
berbagai perilaku interpersonal yang berbeda. Namun, ada peringatan: Seperti disebutkan sebelumnya, perilaku dalam latihan AC berhubungan
dengan pengaturan kinerja (maksimum), yang berbeda dari konteks nonseleksi dalam ilmu kepribadian perilaku (Breil et al., 2017 ; Klehe et al . ,
2014 ; Sackett et al., 1988 ). Sehubungan dengan hal tersebut, kami mengajukan pertanyaan penelitian sebagai berikut:

Pertanyaan Penelitian 2 : Berapa banyak konsistensi yang ditunjukkan dalam perilaku interpersonal di seluruh latihan AC interpersonal?

Efektivitas perilaku interpersonal

Latihan AC interpersonal adalah pendekatan utama untuk memeriksa repertoar sosial masyarakat karena memberikan banyak kesempatan untuk
mengamati perilaku interpersonal. Dalam ACS, spektrum perilaku interpersonal yang luas ini biasanya ditangkap melalui peringkat kinerja yang
ditemukan varians yang cukup besar di dalam dan di seluruh latihan AC (DJR Jackson, et al., 2016 ; Kleinmann & Ingold, 2019 ). Meskipun
sejumlah besar penelitian telah mencoba untuk menjelaskan dan memprediksi perbedaan kinerja semacam itu berdasarkan variabel perbedaan
individu, perilaku interpersonal spesifik yang mencirikan perbedaan kinerja ini belum ditemukan. Artinya, kami hanya memiliki wawasan
terbatas tentang perilaku (atau faktor perilaku) mana yang sangat efektif dalam latihan AC antarpribadi. Hanya beberapa studi AC yang
menjelaskan potensi pentingnya beberapa perilaku. Misalnya, DJR Jackson, dkk. ( 2007 ) menunjukkan bahwa skor gabungan dari daftar periksa
perilaku khusus latihan terkait dengan peringkat kinerja berikutnya (oleh penilai yang sama). Hasil serupa ditemukan untuk perilaku manajemen
kesan tertentu (Klehe et al., 2014 ; McFarland et al., 2005 ). Yang mengejutkan, dalam Oliver et al. ( 2016 ), tidak ada hubungan langsung antara
perilaku interpersonal yang mereka selidiki (yaitu, membangun hubungan dan komunikasi direktif) dan kinerja permainan peran. Meskipun studi
ini menawarkan beberapa petunjuk tentang jenis aspek perilaku yang mungkin efektif dalam latihan AC interpersonal, mereka didasarkan pada
perilaku spesifik yang sangat sedikit.
Ada alasan utama mengapa keempat faktor perilaku mengarah pada kinerja yang efektif dalam situasi interpersonal. Secara konseptual, baik
perilaku komunal (misalnya, ekspresi ramah, pernyataan mendukung) dan perilaku agen (misalnya, memimpin interaksi, gerakan percaya diri)
diharapkan efektif dalam sebagian besar situasi interpersonal karena perilaku tersebut menyampaikan informasi tentang mana orang rukun satu
sama lain. dan orang mana yang memiliki status dan kekuasaan yang tinggi (misalnya, R. Hogan, et al., 1985 ; J. Hogan, & Holland, 2003 ).
Demikian pula, perilaku yang mencerminkan ketenangan interpersonal dapat dianggap efektif dalam situasi stres karena mengungkapkan stres
atau kecemasan (misalnya, diam, gerakan yang menunjukkan rasa tidak aman) dalam situasi sosial sering dilihat sebagai tanda kelemahan
(misalnya, Creed & Funder, 1998 ) . Akhirnya, perilaku yang mencerminkan kompetensi intelektual (misalnya, pertanyaan berorientasi tujuan,
pengorganisasian pengetahuan) cenderung efektif dalam semua tugas yang menantang mengingat tujuan utamanya adalah untuk mencapai hasil
berkualitas tinggi (Gerpott et al., 2019 ) .
Sejalan dengan pertimbangan konseptual ini, penelitian empiris di luar AC menggarisbawahi pentingnya menganalisis faktor perilaku untuk
memahami perbedaan kinerja AC. Artinya, hasil telah mengkonfirmasi bahwa empat faktor perilaku agensi, kebersamaan, ketenangan
interpersonal, dan kompetensi intelektual yang telah dibahas sebelumnya umumnya terkait dengan evaluasi interpersonal yang positif. Misalnya,
perilaku agen telah ditemukan terkait dengan keberhasilan dalam wawancara seleksi (Gallois et al., 1992 ; Gifford et al., 1985 ; Tullar, 1989 ),
atribusi status tinggi (Schmid Mast & Hall, 2004 ), dan popularitas umum (Back, Schmukle, & Egloff, 2011 ; Leckelt et al., 2015 ). Ekspresi
wajah yang ceria dan ramah, yang seringkali mewakili indikator nonverbal paling kuat dari perilaku komunal, ditemukan terkait dengan evaluasi
positif pada semua sifat Lima Besar (Breil, Osterholz, et al., 2021 ), motivasi dalam wawancara kerja ( Gifford et al., 1985 ), popularitas (Back,
Schmukle, & Egloff, 2011 ; Naumann et al., 2009 ), dan kompetensi (Burgoon et al., 1990 ; Reis et al., 1990 ). Hasil serupa telah ditemukan
untuk faktor perilaku ketenangan interpersonal (misalnya, hubungan terbalik antara perilaku gugup dan popularitas; Back, Schmukle, & Egloff,
2011; Naumann et al., 2009) dan kompetensi intelektual (misalnya, hubungan antara kefasihan dan persepsi). kecerdasan, Murphy et al., 2019 ;
Reynolds & Gifford, 2001 ; hubungan antara komunikasi berorientasi tugas dan kepemimpinan, Gerpott et al., 2019 ;Oostrom et al., 2019 ).
Singkatnya, karena keempat faktor perilaku ini (yaitu, agensi, kebersamaan, ketenangan interpersonal, kompetensi intelektual) telah ditemukan
mengarah pada evaluasi interpersonal yang positif dan cenderung muncul dan dapat diamati dalam latihan AC interpersonal, kami berharap
mereka efektif untuk Performa AC. Kami juga mengeksplorasi keefektifan unik dari setiap faktor perilaku (yakni, saat mengendalikan yang lain).
Dengan demikian, kami mengajukan hipotesis dan pertanyaan penelitian berikut:

Hipotesis 1: Faktor perilaku yang berhubungan dengan agensi, persekutuan, ketenangan interpersonal, dan kompetensi intelektual berhubungan
positif dengan kinerja AC.

Pertanyaan Penelitian 3 : Apa keefektifan unik dari masing-masing faktor perilaku untuk kinerja AC ketika tiga faktor perilaku lainnya
dikendalikan?

Kami juga menyelidiki keefektifan perilaku tertentu dan seberapa besar keefektifannya bervariasi tergantung pada latihan (lihat Jansen et al.,
2013 ; Speer et al., 2014 ). Terkait dengan ResearchQuestion 2, kami mengeksplorasi bagaimana konsistensi perilaku tertentu terkait dengan
keefektifannya. Ini relevan karena konsistensi pada tingkat perilaku tidak sama dengan efektivitas perilaku yang tinggi itu sendiri. Misalnya,
beberapa perilaku yang diekspresikan secara konsisten mungkin tidak efektif, sebaliknya, beberapa perilaku yang diekspresikan secara tidak
konsisten mungkin efektif. Jadi, kami bertanya:

Pertanyaan Penelitian 4 : Bagaimana perilaku spesifik terkait dengan kinerja AC, dan bagaimana hubungan ini terkait dengan konsistensi
perilaku?

Akhirnya, kami memperluas penelitian kepribadian perilaku sebelumnya tentang keefektifan perilaku dengan memasukkan ukuran kriteria
eksternal (yaitu, kinerja interpersonal hampir 3 tahun kemudian) dan, dengan demikian, dengan menyelidiki validitas terkait kriteria perilaku
penilai yang ditunjukkan dalam latihan AC interpersonal. Umumnya, peringkat kinerja AC telah menunjukkan bukti validitas terkait kriteria
(misalnya, Sackett et al., 2017 ). Namun, keefektifan perilaku interpersonal pada kinerja interpersonal di masa mendatang belum diteliti.
Mengingat bahwa perbedaan individu dalam perilaku yang diungkapkan di seluruh latihan AC kemungkinan besar mencerminkan keterampilan
interpersonal penilai, perbedaan individu dalam keterampilan yang diungkapkan seperti itu juga dapat dikaitkan dengan kinerja masa depan yang
lebih baik beberapa tahun kemudian. Jadi, kami bertanya:

Pertanyaan Penelitian 5 : Bagaimana faktor-faktor perilaku dan perilaku spesifik yang berhubungan dengan interpersonal di masa depan
pertunjukan?

METODE

Kami memperoleh data dari tiga sumber independen: penilaian penilai terhadap penilai dalam permainan peran AC, pengkodean perilaku ahli
yang ditampilkan dalam permainan peran, dan peringkat kinerja interpersonal di masa mendatang. Pengumpulan data dimulai dengan permainan
peran AC sebenarnya dalam konteks berisiko tinggi. Selanjutnya, para ahli terlatih mengamati dan memberi kode pada versi rekaman video dari
permainan peran tersebut. Akhirnya, ukuran kriteria dikumpulkan hampir 3 tahun kemudian. Studi ini (yaitu, semua hipotesis, ekspektasi, dan
spesifikasi model yang sesuai) telah didaftarkan sebelumnya (lihat osf.io/rj4z6 ). 2 Selanjutnya, Suplemen Online (lihat osf.io/by5qm ) berisi tabel
tambahan serta data anonim dan kode R yang diperlukan untuk mereproduksi semua hasil yang dilaporkan. Institutional Review Board
universitas menyetujui penelitian ini (2017-28-GH-ÄA). 3

Pusat penilaian
Prosedur
AC diterapkan dalam konteks berisiko tinggi (masuk ke sekolah kedokteran). Itu mengikuti pedoman AC internasional (Rupp et al., 2015 ), dan
pengembangannya serupa dengan pendekatan yang digunakan di universitas lain untuk menilai kandidat potensial dalam konteks perawatan
kesehatan (misalnya, Breil et al., 2020 ; Eva et al., 2004 ; Knorr et al., 2018 ; Oliver et al., 2014 ; Ziv et al., 2008 ). Penilai berpartisipasi dalam
lima permainan peran, empat wawancara, dan satu sampel kerja. Mengingat praktik perampingan dan pemendekan latihan AC baru-baru ini
(misalnya, Herde & Lievens, 2020 ), permainan peran relatif singkat (5 menit). Dari lima permainan peran, satu sangat berfokus pada
keterampilan noninterpersonal, dan satu tidak identik di semua pelamar. Jadi, kami fokus pada tiga permainan peran interpersonal yang tersisa.
Dalam semua permainan peran, asesi berinteraksi dengan aktor profesional (untuk ikhtisar dan deskripsi permainan peran, lihat Tabel 1 ). 4
Sebelum setiap latihan, penilai memiliki waktu 90 detik untuk membaca instruksi. Selanjutnya, mereka mengikuti latihan. Semua permainan
peran direkam dengan video.

Penilai
Secara keseluruhan, 215 penilai berpartisipasi dalam latihan AC interpersonal. Dari 215 asesor ini, 158 melamar kedokteran manusia dan 57
kedokteran gigi. Sebanyak 203 asesor (142 perempuan) memberikan izin videonya dianalisis untuk kepentingan ilmiah. 5 Usia mereka berkisar
antara 17 sampai 29 tahun ( M = 19,39, SD = 1,68). Seperti biasa dalam penerimaan medis, pemilihan awal didasarkan pada IPK. Artinya, setiap
orang dengan ijazah sekolah yang relevan dapat melamar, tetapi, dari sekitar 3000 pelamar, hanya 215 individu dengan IPK lebih tinggi dari 3,7
(kedokteran manusia) atau 3,3 (kedokteran gigi) yang diundang untuk mengikuti prosedur seleksi.

Penilai, pelatihan, dan peringkat

Sebuah sampel dari 36 dokter profesional (delapan wanita; usia: 27-67, M = 48,79, SD = 10,20; dengan rata-rata 20 tahun pengalaman
profesional) mengevaluasi penilai. Semua penilai telah menerima pelatihan penilai menyeluruh (2 jam; lihat Rupp et al., 2015 ), yang mencakup
kuliah (misalnya, bias penilai, memisahkan observasi dan evaluasi, menetapkan kerangka acuan; lihat, misalnya, Roch et al., 2012 ) dan
praktik/umpan balik (misalnya, melihat video contoh diikuti dengan diskusi yang dimoderasi; lihat, misalnya, Byham, 1977 ).
Penilai dibagi menjadi dua tim dan ditugaskan untuk satu latihan per tim (keseluruhan enam tim per latihan). Dua tim per latihan mengevaluasi
penilai yang telah melamar untuk kedokteran gigi (hingga 30 penilai per tim), dan empat tim mengevaluasi penilai yang telah melamar
kedokteran manusia (hingga 40 penilai per tim). Semua asesor mengamati asesee di belakang cermin satu arah. Penilai tetap konstan per latihan,
meminimalkan variasi yang tidak diinginkan karena penilai yang berbeda.
Dalam penelitian ini, kami berfokus pada penilaian keseluruhan penilai dari penilai (yaitu, kesesuaian keseluruhan), yang dinilai melalui satu
penilaian per latihan. Selain itu, penilai memberikan dua peringkat dimensi kinerja per latihan (yaitu, pembangunan hubungan dan penanganan
informasi) yang kami gunakan untuk analisis tambahan. Semua peringkat dibuat pada skala 6 poin mulai dari 0 hingga 5. Untuk analisis lebih
lanjut, peringkat dikumpulkan di kedua penilai. Tabel 2 menyajikan rata-rata, standar deviasi, reliabilitas, dan interkorelasi dari semua peringkat
penilai.

Sesi pengkodean perilaku

Enam domain perilaku
Pemrogram independen menghitung dan menilai 42 item yang memungkinkan kami menangkap empat faktor perilaku yang diharapkan. Untuk
menangkap faktor agensi dan persekutuan, kami memasukkan perilaku dari empat domain perilaku yang sesuai dengan keempat sumbu utama
dari lingkaran interpersonal (yaitu, agensi penangkap dominasi, persekutuan penangkap kehangatan, agensi penangkap ekspresi dan persekutuan,
dan agensi penangkap arogansi dan persekutuan rendah; Wiggins, 1979 ). Dimasukkannya domain perilaku yang terkait dengan agensi dan
komuni memungkinkan penilaian yang lebih komprehensif dari berbagai variasi perilaku karena beberapa perilaku (misalnya, jumlah ekspresi
dinamis ) secara teoritis terkait dengan hak pilihan dan persekutuan. Hal ini memungkinkan pengukuran yang lebih luas dan pada dasarnya lebih
akurat dari faktor agensi dan komuni (lihat Gifford & O'Connor, 1987 ; Gurtman, 2009 ). Dua domain perilaku tambahan mengacu pada perilaku
yang masing-masing terkait dengan faktor ketenangan interpersonal dan faktor kompetensi intelektual. Artinya, sementara kami memasukkan
perilaku dari enam domain, mereka diharapkan mencerminkan empat faktor perilaku yang mendasarinya.

Kami mengambil perilaku yang berpotensi cocok untuk setiap domain perilaku yang relevan dari sistem pengkodean yang ada (Borkenau &
Liebler, 1992 ; Colvin & Funder, 1991 ; Geukes et al., 2019 ; Gifford, 1994 ; Grünberg et al., 2018 ). Kami kemudian melakukan analisis dari
bawah ke atas terhadap video contoh, dan untuk setiap domain perilaku, kami memilih lima hingga tujuh perilaku yang (a) dapat diamati dalam
video dan (b) bervariasi di antara para penilai. Ini memastikan bahwa perilaku yang kami pilih (misalnya, ekspresi ramah , gerak tubuh yang
hidup , memimpin interaksi , kefasihan berbicara ) telah divalidasi oleh penelitian sebelumnya dan sesuai dengan konteks pemilihan yang
spesifik. Di sini, tujuannya bukan untuk menangkap setiap kemungkinan variasi perilaku yang mungkin menjadi indikasi dari domain yang ada,
melainkan untuk mencakup secara komprehensif setiap domain perilaku melalui pemilihan perilaku verbal, paraverbal, dan nonverbal yang relatif
luas.
Pengkodean perilaku didasarkan pada video dari latihan AC interpersonal. Untuk menghindari bias sumber yang sama, ini dilakukan oleh
pembuat kode independen. Artinya, 18 tim dari dua pembuat kode (satu tim untuk masing-masing dari enam domain perilaku di masing-masing
dari tiga latihan) mengkodekan perilaku semua orang yang dinilai dalam domain dan latihan masing-masing. Para pembuat kode adalah
mahasiswa psikologi sarjana dan pascasarjana yang telah menerima pelatihan ekstensif untuk membangun kerangka acuan. Butuh 25-30 jam
untuk mengkode satu domain (per pembuat kode dan per latihan), sehingga menghasilkan sekitar 1000 jam waktu pengkodean keseluruhan.

Untuk ikhtisar semua perilaku yang kami nilai dan deskripsi singkatnya, lihat Lampiran A . Perilaku dihitung (misalnya, pernyataan yang jelas
yang menunjukkan arah tertentu ) atau dinilai (misalnya, menunjukkan gerakan percaya diri ). Penilaian dilakukan dengan skala mulai dari 1 (
sangat sedikit ) hingga 6 ( sangat banyak ). Selain perilaku spesifik ini, kami juga menilai satu perilaku global (misalnya menunjukkan perilaku
dominan ) untuk setiap domain. Statistik deskriptif untuk semua perilaku yang dikodekan, keandalannya (ICC), serta korelasinya dengan
peringkat global dapat ditemukan di Lampiran B . Sebelum menggabungkan ICC atau korelasi yang berbeda, kami menggunakan transformasi
Fisher r ke z . Untuk Latihan 1, ICCs (3, k ) untuk perilaku termasuk dalam model berkisar 0,33-0,88 ( M = 0,70, SD = 0,23). Hasil serupa
ditemukan di Latihan 2 (kisaran: 0,42 hingga 0,93, M = 0,72, SD = 0,28) dan Latihan 3 (kisaran: 0,12-0,88, M = 0,67, SD = 0,31). Secara
keseluruhan, ICC memuaskan tetapi sedikit lebih rendah untuk Latihan 3, terutama untuk perilaku dominan dan arogan. Hal ini menunjukkan
bahwa beberapa perilaku yang terkait dengan dominasi (misalnya, postur tegak , ICC = 0,39) atau arogansi (misalnya, komentar arogan , ICC =
0,12) tidak mudah diamati dalam latihan berita buruk. Selain itu, standar deviasi rata-rata dari perilaku yang dinilai lebih rendah pada Latihan 3
(rata-rata SD = 0,85) daripada Latihan 1 (rata-rata SD = 0,99) atau 2 (rata-rata SD = 1,00).

Untuk memastikan bahwa perilaku yang dipilih mencakup domain perilaku masing-masing, kami menganalisis hubungan antara perilaku spesifik
(misalnya aliran kata stabil ) dan peringkat global masing-masing (misalnya dominasi global ). Secara keseluruhan, hubungannya tinggi untuk
sebagian besar perilaku (rata-rata r Latihan 1: 0,67; rata-rata r Latihan 2: 0,64; rata-rata r Latihan 3: 0,50). Selanjutnya, korelasi antara kumpulan
perilaku dari suatu domain (misalnya kumpulan perilaku dari semua perilaku yang terkait dengan dominasi ) dan peringkat global (misalnya,
dominasi global ) juga kuat di semua perilaku dan latihan (rata-rata r Latihan 1: 0,91; rata-rata r Latihan 2: 0,90; rata-rata r Latihan 3: 0,83). Hal
ini menunjukkan bahwa, bila digabungkan, perilaku yang dipilih menjelaskan hampir semua variasi perilaku dalam domain masing-masing.

Domain perilaku tambahan yang mungkin

Meskipun hasil kami menyiratkan bahwa perilaku yang dipilih mewakili cakupan yang baik dari enam domain yang dipilih, kemungkinan tetap
ada domain perilaku interpersonal penting lainnya yang tidak kami kodekan. Untuk menyelidiki ini, kami mengandalkan dua pendekatan.
Pertama, kami mempertimbangkan salah satu sistem pengkodean yang paling terkenal dalam penelitian perilaku, Riverside Behavioral Q-sort (
RBQ ; Colvin&Funder, 1991 ; Funder et al., 2000 ; Funder&Colvin, 1991 ), yang dirancang untuk menggambarkan berbagai perilaku yang terjadi
dalam interaksi sosial dyadic. Kami menyelidiki bagaimana perilaku ini memetakan ke enam domain yang dipilih. Untuk ini, tiga penilai
independen mengalokasikan perilaku ke enam domain atau menunjukkan apakah perilaku tersebut tidak ditangkap oleh salah satu domain (Fleiss
'Kappa = 0,70). Hasil pemetaan ini disajikan dalam Tabel Tambahan Online S1 ( osf.io/by5qm ) dan menunjukkan bahwa 59 dari 64 perilaku
RBQ dapat dipetakan ke enam domain. Lima perilaku yang tersisa (yaitu, mengungkapkan kesadaran akan keberadaan di depan kamera atau
dalam percobaan , tampak menganggap diri menarik secara fisik , berpenampilan tidak biasa atau tidak konvensional , mengungkapkan minat
seksual, berperilaku dalam gaya atau sikap stereotip maskulin/feminin ) tampaknya kurang sesuai untuk konteks pemilihan personel. Selain itu,
beberapa perilaku dapat dipetakan ke dalam domain ketenangan interpersonal dan kompetensi intelektual tetapi dalam arti yang lebih luas
daripada yang kita konsepkan. Artinya, beberapa item RBQ yang terkait dengan ketenangan interpersonal berfokus pada emosi yang labil
(misalnya, mengatakan hal-hal negatif tentang diri sendiri , mengungkapkan rasa kasihan pada diri sendiri, atau perasaan viktimisasi ), dan
beberapa item yang terkait dengan kompetensi intelektual termasuk aspek filosofis atau keterbukaan (misalnya, menunjukkan minat yang luas ,
mengungkapkan minat pada fantasi atau lamunan ). Perbedaan dalam aspek ketenangan interpersonal dan kompetensi intelektual ini tidak terlihat
dalam permainan peran interpersonal saat ini tetapi mungkin berperan dalam latihan AC lainnya (misalnya, presentasi diri).

Kedua, dua asisten peneliti independen yang tidak memiliki pengetahuan tentang sistem pengkodean kami atau domain yang ada diminta untuk
menonton setidaknya lima video per latihan dan mencatat perbedaan ekspresi perilaku di seluruh latihan. Untuk menghindari efek permintaan,
kami tidak memberikan banyak informasi tambahan. Kami hanya meminta agar mereka fokus pada perilaku nonverbal, paraverbal, dan verbal
yang tidak spesifik untuk latihan yang ada. Secara keseluruhan, prosedur ini menghasilkan daftar 54 perilaku, yang sebagian besar sudah menjadi
bagian dari sistem pengkodean kami. Sekali lagi, perilaku dipetakan oleh tiga penilai independen (Fleiss 'Kappa = 0,62). Di sini, semua perilaku
yang disebutkan dapat dipetakan ke enam domain perilaku (lihat Tabel S2 Tambahan Online; osf.io/by5qm ). Secara keseluruhan, tidak ada bukti
bahwa kami telah mengabaikan domain perilaku utama apa pun.

Variabel kontrol
Sebagai variabel kontrol, kami memasukkan jenis kelamin peserta (perempuan atau laki-laki), jenis jurusan yang diterapkan peserta (kedokteran
manusia atau kedokteran gigi), serta daya tarik fisik, kepribadian, dan kemampuan kognitif peserta.

Pengkodean daya tarik fisik

Daya tarik fisik peserta dikodekan untuk mengontrol potensi aspek terkait penampilan yang dapat memengaruhi peringkat kinerja (lihat Hosoda
et al., 2003 ; Langlois et al., 2000 ). Daya tarik dinilai oleh 40 penilai independen (setiap penilai menilai 101 atau 102 target dalam Latihan 1),
dan peringkat didasarkan pada 15 detik pertama interaksi. Kami mengoperasionalkan daya tarik dengan tiga item: daya tarik tubuh, ICC(1, k ) =
0,85; daya tarik wajah, ICC(1, k ) = .86; dan kerapian rambut dan wajah, ICC(1, k ) = .85. Untuk analisis lebih lanjut, kami mengumpulkan data
di seluruh penilai dan indikator ( α Cronbach = 0,86).

Kepribadian yang dinilai sendiri

Untuk mengontrol perbedaan potensial dalam sifat-sifat kepribadian, kami menilai ciri-ciri Lima Besar yang dilaporkan sendiri oleh penilai
melalui Inventaris Lima Besar 2-S (Rammstedt et al., 2020; Soto & John, 2017 ). Penilaian ini berlangsung sekitar 6 bulan setelah AC, dan
peserta menerima umpan balik individu dan voucher (5 € ) untuk berpartisipasi. Secara keseluruhan, kami menerima peringkat Lima Besar dari
107 penilai. Keandalan alfa Cronbach dapat diterima (neurotisme: α = 0,76, ekstraversi: α = 0,73, keterbukaan: α = 0,75, keramahan: α = 0,65,
kesadaran: α = 0,80).

Kemampuan kognitif

Kemampuan kognitif dinilai sebagai bagian dari proses seleksi untuk semua yang dinilai. Tes kali ini merupakan tes berbasis komputer yang
bertujuan untuk mengukur kemampuan dasar dalam memahami informasi ilmiah dan matematika yang kompleks (tanpa pengetahuan
sebelumnya). Artinya, peserta membaca teks informasi singkat tentang berbagai bidang konten matematika dan ilmiah dan harus menjawab 60
pertanyaan pilihan ganda dalam waktu 90 menit. Rata-rata tingkat kesulitan soal adalah 0,49 (kisaran: 0,20–0,74), dan reliabilitas α /KR-20
Cronbach adalah 0,79.

Pengukuran kriteria
Dua tahun 10 bulan setelah AC, 60 asesor (43 wanita, usia: M = 21,87, SD = 1,28) yang diterima di sekolah kedokteran mengikuti kursus
pelatihan wajib. Kinerja dalam kursus pelatihan ini berfungsi sebagai ukuran kriteria yang tepat karena diperlukan penilai untuk melakukan
tugas-tugas yang berhubungan dengan profesi dokter (yaitu, melakukan riwayat kesehatan/anamnesis) sambil dinilai pada keterampilan
interpersonal. Setiap penilai dievaluasi oleh satu psikolog terlatih. Selain itu, sebagian besar penilai juga dievaluasi oleh dokter profesional.
Siswa dievaluasi pada skala empat item yang dinilai keterampilan interpersonal (yaitu, kompetensi sosial dan komunikatif
dalam interaksi dokter-pasien; Skala Peringkat Global Berlin, BGR; Scheffer et al., 2008 ). Empat item (yaitu, empati, ekspresi verbal, ekspresi
nonverbal, struktur percakapan) dinilai pada skala Likert 6 poin mulai dari 0 ( buruk ) hingga 5 ( sangat baik ) dan menunjukkan α Cronbach
sebesar 0,85. Sebagai skala kedua, kami juga menyertakan peringkat umum yang didasarkan pada kerangka Kegiatan Profesional yang Dapat
Dipercaya (EPA; ten Cate, 2005 ; ten Cate et al., 2010 ). Ini adalah instrumen satu item yang mengukur seberapa baik penilai telah melakukan
tugas khusus ini (yaitu, anamnesis) pada skala mulai dari 0 ( tidak mempercayai penilai untuk melakukan anamnesis profesional ) hingga 5 (
mempercayai penilai). untuk melakukan anamnesis profesional tanpa pengawasan ). Sebagai ICCs (1, k : BGR = 0,81; EPA = 0,76) antara dokter
dan psikolog yang baik, kami menggunakan peringkat agregat untuk kedua skala dalam analisis kami. Selanjutnya, untuk analisis utama kami,
kami mengumpulkan dua skala ( α Cronbach = 0,75) menjadi satu faktor kinerja interpersonal yang luas.

Analisis
Pemrosesan awal data perilaku

Di sini, kami menjelaskan bagaimana kami memproses data perilaku dalam permainan peran krisis (Latihan 1). Langkah-langkah dan keputusan
yang kami buat (misalnya, pengecualian perilaku, pembuatan parsel, spesifikasi model) kemudian didaftarkan sebelumnya dan diterapkan pada
data dari Latihan 2 dan 3. Pada langkah pertama, kami mengumpulkan semua item perilaku di kedua pembuat kode dan reliabilitas antar penilai
yang dihitung, ICC (3, k ), serta interkorelasi (untuk hasilnya, lihat Lampiran B ). Berdasarkan statistik ini, kami memutuskan untuk
mengecualikan empat perilaku dari bangunan model (yaitu, interupsi dominan, kesopanan, pernyataan lucu, jaminan ) yang menunjukkan ICC
rendah ( < 0,50) dan korelasi rendah dengan perilaku global dari domain masing-masing ( < 0,50). Selanjutnya, dua item penghitungan yang
tersisa di domain kegugupan (yaitu, melanggar kalimat up dan menggunakan fillers ) yang dikumpulkan menjadi satu skor yang diberi label
kegugupan paraverbal . Ini menghasilkan sampel akhir dari 31 perilaku unik (empat hingga enam per domain) yang kami gunakan di semua
model persamaan struktural berikut. Karena item penghitungan sangat miring ke kanan, kami menggunakan transformasi Box–Cox pada item ini.
Selain itu, semua perilaku adalah z -standar.

Model persamaan struktural

Sebelum menentukan dan menjalankan model persamaan struktural, kami menggunakan pendekatan pembagian di mana kami mengumpulkan
beberapa perilaku. Kami menggunakan indikator agregat ini untuk menentukan variabel laten. Pendekatan ini memiliki keunggulan yaitu
mengurangi ukuran sampel yang diperlukan dan mengurangi kesalahan sistematis yang tidak diinginkan dalam perilaku individu (untuk ikhtisar
keuntungan dan keterbatasan pembagian, lihat Little et al., 2002). Kami membuat dua paket untuk setiap domain perilaku . Untuk melakukan ini,
kami terutama menggunakan pendekatan keseimbangan (yaitu, item yang dialokasikan berdasarkan pemuatan faktor mereka pada masing-masing
domain perilaku; dalam urutan 1 2 2 1 1 2 2 1). Kami menggunakan pendekatan yang berbeda untuk ekspresif dan arogansi (dua domain yang
diharapkan memuat dua faktor, lihat di bawah). Di sini, kami membuat parsel yang menunjukkan muatan yang sama pada setiap faktor.
Selanjutnya, untuk domain ketenangan/kegugupan, kami membuat bingkisan yang mencakup perubahan posisi dan perilaku membeku . Hal ini
dilakukan karena, secara teoritis, kegugupan diharapkan dapat diekspresikan dengan seringnya perubahan posisi atau perilaku membeku, tetapi
tidak dengan kedua perilaku tersebut pada saat yang bersamaan. Dengan demikian, kami membuat paket yang menyertakan kedua perilaku
sehingga skor rendah mewakili individu yang tidak menunjukkan perubahan posisi gugup atau membeku, sedangkan skor tinggi mewakili
individu dengan perubahan posisi gugup atau perilaku membeku. Kami mengacu pada Lampiran A untuk alokasi yang tepat.

Selanjutnya, kami menentukan model persamaan struktural untuk menguji semua pertanyaan penelitian kami. Mengenai struktur perilaku
interpersonal, kami menentukan model dengan 12 paket yang memuat empat faktor laten agensi (dominasi, ekspresif, paket arogansi), komuni
(kehangatan, ekspresif, paket arogansi), ketenangan interpersonal (paket kegugupan), dan kompetensi intelektual (paket kecerdasan). Dua
pembatasan diberlakukan. Pertama, menurut teori interpersonal, kami mengharapkan beban silang untuk ekspresif (yaitu, muatan positif pada
agensi dan persekutuan) dan arogansi (yaitu, muatan positif pada agensi dan muatan negatif pada persekutuan) karena ekspresif dan arogansi
berada di antara agensi dan persekutuan. dan dengan demikian harus terkait dengan kedua faktor. Selain itu, perilaku yang terletak di antara kutub
harus memuat kurang kuat pada faktor masing-masing dibandingkan dengan perilaku yang terletak di salah satu kutub (yaitu, ekspresif dan
arogansi harus memuat kurang kuat pada agen dibandingkan dengan dominasi; ekspresif dan arogansi harus memuat kurang kuat pada
persekutuan dibandingkan dengan kehangatan).

Kedua, karena parsel untuk ekspresif dan arogansi dimuat pada dua faktor, kami juga mengizinkan korelasi antara residu untuk parsel Ekspresif 1
dan 2 serta untuk parsel Kesombongan 1 dan 2. Dengan ini kami memperhitungkan fakta bahwa masing-masing parsel diberi peringkat oleh tim
pembuat kode yang sama yang menghadiri sesi pelatihan pemeringkatan yang sama dan membahas video contoh yang sama. Hal ini mungkin
telah menyebabkan tingkat yang berbeda dalam karakteristik rating yang tidak ditangkap oleh cross-loading (yaitu, varians metode bersama;
misalnya, keringanan hukuman antara tim pemeringkat; Podsakoff et al., 2003 ) . Untuk parsel lainnya, kami tidak mengharapkan pengaruh besar
dari karakteristik peringkat karena hanya memuat satu faktor pada satu waktu. Semua spesifikasi didasarkan pada penalaran konseptual dan telah
didaftarkan sebelumnya sebelum kami menganalisis data dari Latihan 2 dan 3. Estimasi parameter didasarkan pada estimasi kemungkinan
maksimum dengan kesalahan standar yang kuat. Kami menguji model ini dengan spesifikasi yang sama di ketiga latihan dan mengevaluasi
kinerjanya berdasarkan indeks kecocokan umum (West et al., 2012 ).

HASIL
Struktur perilaku antarpribadi
Pertanyaan penelitian pertama membahas struktur perilaku interpersonal dalam latihan AC. Kami menyelidiki apakah empat faktor hak pilihan,
kebersamaan, ketenangan antarpribadi, dan kompetensi intelektual dapat diwakili oleh berbagai perilaku yang kami nilai. Untuk tujuan ini, kami
membangun beberapa model persamaan struktural. Perilaku yang disertakan, alokasi parsel, dan spesifikasi model identik di ketiga latihan.
Gambar 2 menyajikan hasil (variasi kesalahan, pemuatan faktor, dan korelasi laten) untuk model yang didalilkan.
Seperti yang ditunjukkan, parsel perilaku umumnya dimuat pada masing-masing faktor dengan hubungan dan kekuatan yang diharapkan.
Misalnya, dalam Latihan 2, agensi menunjukkan hubungan yang kuat dengan perilaku dominan (pemuatan standar 0,71 dan 0,86) serta hubungan
menengah dengan ekspresif (0,54 dan 0,36) dan kesombongan (0,23 dan 0,46). Untuk persekutuan, kami menemukan hasil yang saling
melengkapi untuk kehangatan (hubungan yang kuat: 0,76 dan 0,86), ekspresif (hubungan positif berukuran sedang: 0,35 dan 0,35), dan
kesombongan (hubungan negatif berukuran sedang: − 0,61 dan − . 50). Perilaku yang berkaitan dengan kegugupan sarat dengan ketenangan
interpersonal ( − .53 dan − .99), dan perilaku intelektual

Catatan : Dalam model satu faktor, semua paket dimuat dalam satu konstruksi. Dalam model dua faktor, dominasi, ekspresif, arogansi, gugup, dan
kompetensi intelektual dimuat dalam agensi; kehangatan, ekspresif, dan kesombongan dimuat dalam persekutuan. Model tiga faktor serupa dengan model
dua faktor—hanya saja kegugupan tidak membebani agensi, tetapi justru membebani faktornya sendiri. Model empat faktor adalah model yang
dipostulatkan. Di sini, dominasi, ekspresif, dan arogansi dimuat pada hak pilihan; kehangatan, ekspresif, dan arogansi yang dimuat dalam persekutuan;
kegugupan (yaitu, ketenangan interpersonal) dan intelek (yaitu, kompetensi intelektual) membangun faktor mereka sendiri. Dalam model enam faktor,
semua domain perilaku dimuat pada faktor yang terpisah. Dalam model empat faktor alternatif, variabel manifes tidak didasarkan pada perilaku tertentu,
melainkan didasarkan pada perilaku global (Indikator 1) dan gabungan (Indikator 2).
a Model-model ini menyertakan satu estimasi varian kesalahan yang sedikit di bawah nol. Untuk hasil yang dilaporkan di sini, varian ini ditetapkan menjadi
0,001. Ini tidak memiliki dampak yang relevan pada indeks kecocokan.

dimuat pada kompetensi intelektual (.80 dan .90). Namun, untuk Latihan 3, beberapa muatan lebih kecil dan lebih beragam dari yang diharapkan
(misalnya, parsel arogansi pertama tidak dimuat di agensi; parsel ekspresif tidak dimuat di komuni).
Indeks fit untuk semua latihan dapat dilihat pada Tabel 3 . Model empat faktor yang didalilkan menunjukkan kecocokan yang dapat diterima
hingga baik (West et al., 2012 ) dalam Latihan 1, χ2 (42) = 62,59, p = 0,021, CFI = 0,979 , RMSEA = 0,050, SRMR = 0,043 , dan Latihan 2, χ 2
(42) = 95.03, p < .001, CFI = .950, RMSEA = .079, SRMR = .046. Namun, pada Latihan 3, model tidak cocok dengan data, χ 2 (42) = 159,27, p <
,001, CFI = , 808, RMSEA = , 126, SRMR = , 075. Yang penting, kami juga membandingkan model empat faktor yang didalilkan dengan
berbagai model saingan. Ini termasuk, antara lain, model dua faktor dengan hanya agensi dan persekutuan serta model tiga faktor dengan perilaku
kompetensi intelektual dan perilaku agen yang dimuat pada faktor yang sama (lihat catatan Tabel 3 untuk ikhtisar ) . Untuk semua latihan
(termasuk Latihan 3), model empat faktor yang didalilkan lebih cocok dengan data daripada model alternatif mana pun.

Karena semua model untuk Latihan 3 memberikan kecocokan yang tidak memadai, kami mengambil pendekatan eksplorasi dan menguji model
alternatif di mana alih-alih perilaku terbagi tertentu kami menggunakan perilaku agregat (misalnya, agregasi dari semua enam item yang terkait
dengan dominasi) dan perilaku global ( misalnya, peringkat dominasi global) sebagai variabel manifes. Hal ini dilakukan karena pada Latihan 3
banyak perilaku spesifik yang menunjukkan varian rendah dan reliabilitas antar penilai rendah. Ini mungkin menunjukkan bahwa situasi (yaitu,
menyampaikan berita buruk) relatif kuat (Meyer et al., 2010 ), menyisakan lebih sedikit ruang untuk munculnya perbedaan individu yang dapat
diandalkan dalam beberapa perilaku. Menggunakan agregat perilaku/peringkat global harus membatasi pengaruh perilaku tertentu. Model yang
dihasilkan, yang didasarkan pada perilaku agregat dan global, menunjukkan kecocokan yang memadai hingga baik, χ 2 (43) = 98,67, p < ,001,
CFI = , 964, RMSEA = , 085, SRMR = , 059. Dengan
sehubungan dengan pertanyaan penelitian berikutnya (tentang konsistensi dan efektivitas faktor perilaku), hasil untuk model empat faktor yang
dipostulatkan dan model empat faktor alternatif umumnya serupa (lihat Tabel Tambahan Online S3; osf.io/by5qm ) . Karena estimasi faktor
perilaku cenderung lebih akurat untuk model alternatif, kami menjelaskan hasil ini di teks utama.

Akhirnya, kami juga mempertimbangkan kekokohan hasil kami. Pertama, hasil kami sesuai dengan harapan kami yang telah didaftarkan
sebelumnya. Artinya, perilaku interpersonal yang kami selidiki diwakili oleh empat faktor agensi, persekutuan, ketenangan interpersonal, dan
kompetensi intelektual, dan kesesuaian model empat faktor ini lebih baik daripada model alternatif mana pun. Kedua, hasil kami relatif konsisten
di ketiga latihan. Ketiga, hasil kami juga berlaku untuk alokasi paket yang berbeda. 6 Singkatnya, hasil kami dan pemeriksaan ketahanan ini
menawarkan dukungan untuk harapan kami.

Konsistensi perilaku interpersonal

Pertanyaan penelitian kedua kami membahas konsistensi perilaku interpersonal. Kami memeriksa pertanyaan ini pada tingkat faktor perilaku
yang luas dan pada tingkat perilaku tertentu. Pertama, kami menghitung tiga model utama dengan data dari masing-masing dua latihan (yaitu,
satu model dengan data dari Latihan 1 dan 2, satu dari Latihan 1 dan 3, dan satu dari Latihan 2 dan 3; ada 24 indikator dan delapan konstruksi
laten untuk setiap model) dan spesifikasi yang sama seperti sebelumnya. Model-model ini (berbeda dengan model yang lebih kompleks, seperti
model sifat keadaan laten keseluruhan; Steyer et al., 1999 ) dipilih sebagai kompromi antara ukuran sampel dan kompleksitas model. Kami
kemudian memeriksa korelasi laten dari faktor perilaku yang sama di seluruh latihan (lihat Tabel 4 ): Validitas konvergen (dikumpulkan di
seluruh latihan) semuanya signifikan (rata-rata r = 0,50), mulai dari 0,40 (kompetensi intelektual) hingga 0,60 ( agen). Umumnya, korelasi antara
faktor perilaku yang sama di seluruh latihan (yaitu, validitas konvergen) lebih tinggi daripada korelasi antara faktor perilaku yang berbeda dalam
latihan yang sama (yaitu, validitas diskriminan; r rata-rata = 0,43). 7

Hasil serupa ditemukan saat menyelidiki korelasi nyata dari enam domain perilaku (peringkat perilaku global). Di sini, validitas konvergen rata-
rata ( r = 0,40) juga lebih tinggi daripada validitas diskriminan rata-rata ( r = 0,29; perbedaan signifikan: p < 0,001, untuk hasil spesifik, lihat
Tabel Tambahan Online S4; osf.io/by5qm ) . Sebuah perbandingan dengan hasil meta-analitik pada peringkat dimensi kinerja (yaitu, validitas
konvergen r = 0,25; validitas diskriminan r = 0,53; Bowler & Woehr, 2006 ) menunjukkan bahwa ekspresi perilaku jauh lebih konsisten dan
dibedakan daripada yang tercermin dalam perilaku berikutnya. peringkat kinerja.

Kedua, kami meneliti konsistensi pada tingkat perilaku tertentu. Untuk sebagian besar perilaku, kami menemukan setidaknya konsistensi sedang
(rata-rata r = 0,28). Perilaku dengan konsistensi tertinggi (di atas r = 0,40) memimpin interaksi , aliran kata stabil , ekspresi ramah , jumlah
bicara , postur dinamis , ekspresi lincah , kegugupan paraverbal , dan membeku . Secara mencolok, perilaku nonverbal dan paraverbal memiliki
konsistensi yang lebih tinggi dibandingkan dengan perilaku verbal, seperti pernyataan yang jelas , pernyataan yang mendukung , komentar yang
sombong , argumen yang menjelaskan , atau pertanyaan yang diajukan (semuanya di bawah r = 0,20).

Singkatnya, berbagai analisis kami mengungkapkan bahwa terdapat lebih banyak bukti konsistensi pada tingkat perilaku daripada penilaian
dimensi kinerja. Ini adalah kasus untuk semua faktor perilaku yang luas serta untuk perilaku yang paling spesifik.
Catatan . Ave = rata-rata konsistensi/efektivitas pada ketiga latihan. Angka mengacu pada latihan E1, E2, dan E3. Untuk konsistensi, E1–E2, E1–E3, dan
E2–E3 mengacu pada konsistensi di seluruh latihan ini. Semua hasil mengacu pada korelasi orde nol. Singkatan: A, kesombongan; D, dominasi; E,
ekspresif; saya, intelek; IPP, kinerja interpersonal masa depan; N, gugup; W, kehangatan.

Catatan : Di sini, beta standar dilaporkan, tetapi uji signifikansi mengacu pada koefisien yang tidak standar. Koefisien jalur yang signifikan dicetak dengan
huruf tebal ( p < 0,05).
Efektivitas perilaku interpersonal untuk kinerja AC
Hipotesis dan pertanyaan penelitian kami selanjutnya membahas efektivitas perilaku untuk kinerja AC selanjutnya. Untuk memberikan wawasan
yang kuat, kami memeriksa kembali masalah ini dengan beberapa cara. Pertama, kami memeriksa korelasi zero-order antara faktor perilaku dan
kinerja AC. Kami mulai dengan menambahkan peringkat keseluruhan penilai (yaitu, kinerja AC) ke model yang dijelaskan sebelumnya. 8 Dengan
pengecualian Badan dalam Latihan 3, kinerja AC secara signifikan berkorelasi dengan semua faktor perilaku di semua latihan (lihat Tabel 4 ).
Jadi, individu yang menunjukkan perilaku yang lebih komunal, perilaku yang lebih agen, perilaku yang lebih stabil secara emosional, atau
perilaku yang lebih intelektual umumnya mendapat peringkat lebih tinggi.
Kedua, kami menyelidiki pengaruh unik dari masing-masing dari empat faktor perilaku dalam memprediksi kinerja AC (yaitu, saat
mengendalikan tiga faktor perilaku lainnya). Seperti disajikan pada Tabel 5 , pada Latihan 1 terdapat pengaruh yang signifikan dari faktor
perilaku komuni ( β = 0,28) dan kompetensi intelektual ( β = 0,33), sedangkan pada Latihan 2 terdapat pengaruh komuni ( β = 0,56), dan pada
Latihan 3, terdapat pengaruh kompetensi intelektual ( β = 0,37). Secara umum, jumlah varians yang dijelaskan ( R 2 ) tinggi, mulai dari 0,24
(Latihan 3) hingga 0,44 (Latihan 2). Selanjutnya, berbagai variabel kontrol ditambahkan ke model sebelumnya. Ini termasuk jenis kelamin, jenis
utama yang dilamar oleh penilai, daya tarik, kepribadian (yaitu, penilaian diri pada faktor Lima Besar neurotisisme, ekstraversi, keterbukaan,
persetujuan, dan kesadaran), dan kemampuan kognitif. Memasukkan aspek-aspek ini tidak mengubah keefektifan faktor perilaku yang kami
periksa (hasil untuk model dengan variabel kontrol disajikan dalam Tabel Tambahan Online S6; osf.io/by5qm ). Artinya, faktor perilaku
interpersonal terkait dengan kinerja AC di atas dan di luar karakteristik relevan penilai lainnya
Ketiga, kami mempertimbangkan keefektifan perilaku tertentu (lihat Tabel 4 ). Di sini, hubungan terkuat dengan kinerja AC ( r > 0,30) adalah
untuk aliran kata yang stabil , pernyataan yang mendukung , mendengarkan secara aktif , tidak membeku, kefasihan berbicara , bereaksi
terhadap pertanyaan , mengajukan pertanyaan , dan mengatur pengetahuan (hasil mengenai kepentingan relatif dari perilaku tertentu). dapat
ditemukan di Tabel Tambahan Online S7; osf.io/by5qm ). Secara umum, keefektifan perilaku serupa di seluruh latihan (korelasi vektor
keefektifan perilaku antara ketiga latihan berkisar dari r = 0,49 hingga 0,58). Yang mengatakan, ada perilaku yang efektif di beberapa tetapi tidak
di semua latihan (misalnya, pernyataan yang jelas, memimpin interaksi, ekspresi ramah, sikap positif, tidak ada paternalisme ). Perhatikan
bahwa keefektifan perilaku tertentu tidak terkait erat dengan konsistensinya (korelasi vektor antara konsistensi rata-rata dan keefektifan rata-rata:
r = 0,11). Artinya, beberapa perilaku yang diekspresikan secara konsisten tidak terlalu efektif atau tidak efektif (misalnya, dinamis postur ,
kegugupan paraverbal ). Ini menunjukkan bahwa beberapa perbedaan perilaku yang relatif stabil tidak relevan dalam latihan yang diberikan.
Juga, dalam semua latihan, terdapat perilaku yang sangat efektif yang menunjukkan konsistensi yang relatif rendah di seluruh latihan (misalnya,
pernyataan dukungan , mengajukan pertanyaan ), menunjukkan bahwa ekspresi dari beberapa perilaku efektif tertentu sangat bervariasi
tergantung pada latihan.
Singkatnya, seperti yang diharapkan, semua faktor perilaku terkait dengan kinerja AC selanjutnya (Hipotesis 1). Hal ini terutama didorong oleh
perilaku yang berkaitan dengan persekutuan dan kompetensi intelektual (Pertanyaan Penelitian 3 dan 4).

Efektivitas perilaku interpersonal untuk kriteria eksternal

Akhirnya, kami membahas Pertanyaan Penelitian 5 tentang efektivitas perilaku AC untuk memprediksi kinerja interpersonal di masa depan.
Semua hasil tentang kinerja interpersonal masa depan harus ditafsirkan dengan hati-hati karena ukuran sampel yang lebih kecil (yaitu, kami
memiliki data kinerja yang tersedia hanya untuk 30% dari orang yang dinilai) dan menghasilkan kekuatan yang lebih rendah (yaitu, kami
memiliki kekuatan 0,44 untuk mendeteksi ukuran efek nyata r = 0,23, yang sesuai dengan validitas rata-rata [tidak dikoreksi] AC menurut meta-
analisis baru-baru ini; Sackett et al., 2017 ).
Kami mulai dengan menganalisis korelasi laten antara faktor perilaku yang luas dan faktor kinerja interpersonal. 9 Untuk faktor perilaku, kami
membuat satu model dengan perilaku spesifik yang dikumpulkan di seluruh latihan 10 dan spesifikasi yang sama seperti pada model sebelumnya.
Kami menemukan efek sedang hingga kuat untuk agensi ( r = 0,19, p = 0,184), persekutuan ( r = 0,27, p = 0,043), dan kompetensi intelektual ( r
= 0,34, p = 0,035). Ketenangan interpersonal memiliki efek terbesar ( r = 0,44, p = 0,004). Artinya, penilai yang perilakunya menunjukkan
ketenangan interpersonal lebih selama latihan AC interpersonal menunjukkan kinerja interpersonal yang lebih baik dalam kehidupan nyata.
Selanjutnya, kami menganalisis korelasi antara perilaku spesifik dan kinerja interpersonal masa depan: Hubungan terkuat ( r > 0,20) ditemukan
untuk interupsi dominan, kesopanan, pernyataan mendukung, mendengarkan aktif, tidak ada komentar sombong , tidak ada perubahan posisi ,
tidak ada gestur yang menunjukkan ketidakamanan , tidak ada ekspresi tidak aman , dan tidak bereaksi terhadap pertanyaan (lihat Tabel 4 untuk
semua hasil). Yang mengejutkan, banyak dari perilaku ini termasuk dalam domain ketenangan interpersonal.
Singkatnya, perilaku AC memprediksi kinerja interpersonal di masa depan (Pertanyaan Penelitian 5). Ini adalah kasus yang paling konsisten dan
kuat untuk perilaku yang mencerminkan ketenangan antarpribadi.
Analisis tambahan: perbandingan dengan peringkat kinerja
Analisis di atas menunjukkan bahwa menggunakan pendekatan granular dari bawah ke atas memberikan wawasan yang relevan ke dalam
struktur, konsistensi, dan keefektifan perilaku antarpribadi. Pendekatan berbasis perilaku ini menunjukkan penyimpangan dari fokus dominan
pada peringkat kinerja di domain AC. Yang mengatakan, itu juga bermanfaat untuk mengeksplorasi bagaimana faktor perilaku yang diturunkan
dibandingkan dengan peringkat dimensi kinerja AC tradisional. Dalam penelitian ini, kami dapat menjelaskan masalah ini karena penilai juga
menilai kinerja penilai pada dua dimensi AC (selain memberikan peringkat keseluruhan). Ini termasuk membangun hubungan (yaitu, membangun
dan memelihara hubungan yang baik dengan mitra interaksi seseorang) dan penanganan informasi (yaitu, mengumpulkan dan menyampaikan
informasi yang diperlukan). Dalam analisis tambahan, kami membandingkan faktor perilaku dan peringkat dimensi kinerja dalam hal konsistensi
(yaitu, validitas konvergen) dan validitas terkait kriteria. Yang penting, perbandingan antara faktor perilaku yang diturunkan dan peringkat
dimensi kinerja ini dapat dilakukan dengan cara yang tidak membingungkan karena penilai berbeda dari pembuat kode yang menilai perilaku.
Juga, asesor tidak terbiasa dengan kode perilaku yang dibuat bulan setelah penilai memberikan peringkat dimensi kinerja AC.
Pertama, kami menyelidiki konsistensi (yaitu validitas konvergen) untuk peringkat dimensi tradisional dengan menganalisis korelasi antara
peringkat ini di seluruh latihan. Korelasi umumnya berukuran rendah hingga sedang dengan konsistensi rata-rata 0,17 untuk membangun
hubungan dan 0,13 untuk penanganan informasi. Ini jauh lebih rendah daripada konsistensi diperoleh untuk faktor perilaku. Selain itu, sejalan
dengan penelitian sebelumnya, korelasi yang berbeda peringkat dimensi dalam latihan yang sama jauh lebih tinggi (korelasi rata-rata 0,78; lihat
Tabel 2 ) dan dengan demikian menunjukkan kurangnya bukti validitas diskriminan.
Kedua, kami juga memeriksa validitas terkait kriteria dari peringkat dimensi kinerja AC. Meskipun latihan AC dirancang untuk menilai
keterampilan interpersonal, bukan membangun hubungan ( r = 0,03, p = 0,794; r dikoreksi untuk batasan rentang = 0,05) atau penanganan informasi ( r =
0,07, p = 0,610; r dikoreksi untuk batasan rentang = 0,09) secara signifikan terkait dengan kinerja interpersonal di masa mendatang (untuk hasil khusus
latihan, lihat Tabel Tambahan Online S8; osf.io/by5qm ). Sebagai perbandingan, perilaku interpersonal (terutama ketenangan interpersonal)
diprediksi secara signifikan kinerja interpersonal masa depan. Namun, hasil ini harus ditafsirkan dengan hati-hati karena ukuran sampel yang
kecil dan daya rendah.
Akhirnya, kami juga memeriksa bagaimana faktor perilaku turunan dipetakan ke dalam dua dimensi kinerja. Sebagai disarankan oleh kurangnya
perbedaan antara dimensi, efektivitas perilaku tidak banyak berbeda. Misalnya, ekspresi wajah yang ramah atau aliran kata yang stabil terkait
dengan peringkat pembangunan hubungan serta penanganan informasi peringkat (lihat Tabel Tambahan S5 Online untuk semua hasil;
osf.io/by5qm ).

DISKUSI
Kesimpulan utama
Studi kami mewakili keberangkatan yang ditandai dari penelitian di bidang AC, yang biasanya berfokus pada peringkat penilai, intervensi untuk
memperbaikinya, dan validitas terkait konstruk dan terkait kriteria. Meskipun kami mengakui bahwa peringkat asesor dan validitasnya layak
mendapat perhatian penelitian yang substansial, studi ini mengambil pendekatan granular, perilaku didorong untuk menjelaskan perilaku
interpersonal yang ditampilkan dalam latihan AC interpersonal. Ini adalah studi pertama yang menjelaskan struktur dasar dari perilaku yang
diekspresikan dalam latihan AC interpersonal. Untuk mendasarkan pendekatan granular kami, kami mengandalkan teori interpersonal (Dawood
et al., 2018 ; Wiggins, 1979 ) dan memperluasnya dengan memasukkan wawasan terkini dari ilmu kepribadian perilaku (Back et al., 2009 ; Furr,
2009 ; Leising & Bleidorn, 2011 ). Hasil kami mengenai struktur perilaku mengungkapkan bahwa perbedaan dalam ekspresi perilaku dalam
latihan AC interpersonal dapat dibedakan secara bermakna oleh faktor perilaku agen (misalnya, ketegasan, kontrol), kebersamaan (misalnya,
kehangatan, keramahan), ketenangan interpersonal (misalnya, kegugupan, emosi labil), dan kompetensi intelektual (misalnya, intelek,
kepintaran). Dalam semua latihan kami, yang menangani berbagai tuntutan, seperti mengendalikan krisis, membujuk seseorang, dan
menyampaikan berita buruk, struktur empat faktor yang didalilkan menunjukkan kesesuaian yang paling baik dibandingkan dengan model
alternatif. Dengan demikian, kami menemukan bukti untuk empat faktor dasar dari perilaku interpersonal yang dapat diamati pada AC berisiko
tinggi.
Kedua, kami membangun penelitian sebelumnya tentang konsistensi perilaku dalam ilmu kepribadian perilaku (misalnya, Borkenau et al., 2004 ;
Funder & Colvin, 1991 ; Leikas et al., 2012 ) untuk melakukan pemeriksaan yang lebih bernuansa konsistensi perilaku di ACS. Saat kami
memisahkan konsistensi perilaku dari konsistensi dimensi kinerja , kami menemukan bahwa konsistensi perilaku antarpribadi di seluruh latihan
adalah sedang hingga tinggi: Misalnya, individu yang bertindak secara agen dalam Latihan 1 juga bertindak secara agen dalam Latihan 2 dan 3.
Hal ini khususnya terjadi untuk perilaku para- atau nonverbal (misalnya, ekspresi wajah ramah adalah salah satu perilaku yang paling konsisten
diekspresikan).
Ketiga, berdasarkan penelitian tentang keefektifan berbagai perilaku antarpribadi, kami mengusulkan bahwa perilaku interpersonal yang kami
selidiki akan efektif untuk kinerja AC. Semua faktor perilaku (yaitu, agensi, persekutuan, ketenangan interpersonal, dan kompetensi intelektual)
memang berhubungan positif dengan kinerja penilai peringkat di semua latihan interpersonal. Hal ini penting karena menunjukkan bahwa tidak
hanya latihan yang spesifik perilaku tetapi perilaku interpersonal generik (yaitu, tidak spesifik untuk satu latihan, misalnya, ekspresi ramah , tidak
membeku , aliran kata yang stabil , kefasihan ) memiliki efek yang kuat pada kinerja AC di semua latihan yang kami selidiki. Ini paling banyak
sangat kasus untuk perilaku yang mencerminkan persekutuan (misalnya, pernyataan mendukung ) dan kompetensi intelektual (misalnya,
mengajukan pertanyaan berorientasi tujuan ), dengan demikian menyoroti pentingnya perilaku seperti itu dalam permainan peran AC. Akhirnya,
perilaku yang berkaitan dengan ketenangan interpersonal, persekutuan, dan kompetensi intelektual diprediksi menguntungkan evaluasi dalam
kehidupan nyata (yaitu, kinerja interpersonal masa depan dalam interaksi pasien-dokter). Dengan demikian, hasil ini menyarankan bahwa
perilaku yang diekspresikan (misalnya, kurangnya gerakan gugup ) mencerminkan keterampilan penilai yang relevan yang juga memprediksi
kriteria hasil penting hampir 3 tahun kemudian.
Implikasi teoritis
Temuan kami memiliki beberapa implikasi untuk memajukan pengetahuan dan teori AC. Pertama, penelitian ini menghubungkan literatur AC
dengan penelitian yang menyelidiki ekspresi perilaku dan persepsi dalam psikologi kepribadian. Dengan demikian, ini memberi kami lensa yang
digerakkan oleh teori untuk mengembangkan pertanyaan dan hipotesis penelitian kami. Meskipun sebagian besar studi ilmu kepribadian perilaku
dilakukan dalam konteks berisiko rendah, kami memperluas banyak temuan ke konteks seleksi berisiko tinggi studi ini. Faktanya, kami
menemukan bahwa struktur, konsistensi, dan keefektifan perilaku antarpribadi menjadi sangat mirip ketika individu mengerahkan upaya
maksimal. Ini juga menggambarkan kegunaan dari teori dan penelitian ini untuk menjelaskan latihan interpersonal (lihat juga Oliver et al., 2016 ).
Selain itu, hasilnya berbicara tentang penelitian kepribadian perilaku karena banyak fenomena perilaku yang tampaknya tidak terbatas pada
konteks berisiko rendah tetapi juga muncul dalam pengaturan kinerja maksimal.
Sebagai implikasi kedua, penelitian ini menunjukkan bahwa, dalam latihan AC interpersonal, perbedaan perilaku dapat dibedakan menjadi
agensi, komuni, ketenangan interpersonal, dan kompetensi intelektual. Hasil ini terkait dengan penyelidikan empiris dari struktur yang mendasari
peringkat dimensi kinerja AC. Misalnya, Meriac et al. ( 2014 ) mengidentifikasi tiga faktor menyeluruh: administratif , dorongan , dan relasional
(lihat juga Arthur et al., 2003 ; Hoffman & Meade, 2012 ). Menariknya, faktor menyeluruh ini—taksonomi top-down—dapat dicocokkan dengan
faktor perilaku yang mendasari penelitian ini: kompetensi intelektual (di bawah administrasi), agensi (di bawah dorongan), dan komuni (di bawah
relasional). Jadi, meskipun taksonomi Meriac et al. didasarkan pada rangkaian latihan yang lebih luas, hasil kami berfungsi sebagai konfirmasi
penting dari bawah ke atas.
Selain mengkonfirmasi pekerjaan taksonomi pada AC, fokus studi ini pada perilaku mendasar yang berbeda juga dapat membantu
menyempurnakan taksonomi ini lebih lanjut. Artinya, hasil kami menunjukkan bahwa dimensi kinerja AC yang dipaksakan secara top-down
(berdasarkan kerangka spesifik pekerjaan) belum tentu selaras dengan perilaku yang ditimbulkan dan diekspresikan dalam latihan AC. Sebagai
contoh, Meriac et al. ( 2014 ) mencatat bahwa sulit untuk membedakan antara faktor pendorong dan relasional. Hasil kami berbicara tentang
diskusi ini: Pada tingkat perilaku, kami menemukan perbedaan yang jelas antara hak pilihan dan persekutuan. Satu penjelasan untuk perbedaan
temuan antara penelitian kami dan penelitian Meriac et al. adalah bahwa beberapa dimensi AC yang dimasukkan ke dalam faktor relasional atau
pendorong Meriac et al. sudah mengandung komponen perilaku baik persekutuan maupun agensi (misalnya, kepemimpinan ) . Artinya, secara
umum dimungkinkan untuk membedakan antara drive dan relasional, tetapi ada kebutuhan untuk dimensi kinerja AC yang dapat dengan jelas
memisahkan perilaku yang sesuai untuk memulai. Sebagai contoh lain, ada keterputusan antara perilaku yang mencerminkan ketenangan
interpersonal yang muncul dari analisis kami dari bawah ke atas dan tidak adanya dimensi yang terkait dengan ketenangan interpersonal di antara
dimensi kinerja (dalam penelitian kami dan juga dalam kerangka kerja Meriac et al. ). Namun, ada perbedaan individu yang konsisten dalam
menyatakan ketenangan interpersonal yang meramalkan hasil yang penting. Memang, perbedaan individu dalam ketenangan interpersonal
kemungkinan relevan tidak hanya untuk dokter, tetapi untuk semua jenis pekerjaan di mana orang berinteraksi dengan orang lain di bawah
ambiguitas, stres, dan tekanan waktu. Contoh-contoh ini menggarisbawahi pentingnya hubungan yang lebih baik antara dimensi kinerja AC dan
perilaku AC yang diekspresikan.
Ketiga, temuan kami menginformasikan perdebatan yang sedang berlangsung tentang validitas terkait konstruk peringkat AC (Hoffman et al.,
2011 ;DJR Jackson, dkk., 2016 ; Lance, 2008 ; Lievens, 2009 ). Sejalan dengan penelitian sebelumnya, penelitian kami mengkonfirmasi hal itu
Peringkat kinerja AC tidak berbeda dalam latihan dan kurang konsisten di seluruh latihan. Namun, yang penting kami menemukan bukti faktor
perilaku yang relatif konsisten dan berbeda di ketiga latihan interpersonal. Studi kami memberikan penjelasan yang mungkin untuk perbedaan
ini: Hanya karena suatu perilaku diekspresikan secara konsisten latihan tidak berarti itu dianggap sama efektifnya di semua latihan. Misalnya,
dalam penelitian ini, perilaku terkait dengan agensi diekspresikan secara relatif konsisten di semua latihan tetapi dievaluasi sebagai lebih efektif
dalam beberapa latihan daripada yang lain.
Keempat, selain masalah validitas konvergen, penelitian kami juga menambahkan penjelasan mengapa AC tradisional peringkat dimensi kinerja
seringkali tidak memiliki diferensiasi (dibandingkan dengan faktor perilaku). Yaitu, beberapa perilaku (misalnya, ekspresi wajah yang ramah ,
aliran kata yang stabil ) terkait dengan semua dimensi kinerja AC, yang mungkin telah berkontribusi pada korelasi yang tinggi antara dimensi
dalam pekerjaan sebelumnya. Ini juga harus hasil dari termasuk dimensi yang memanfaatkan beberapa faktor perilaku (misalnya, "delegasi," yang
terdiri dari perilaku intelektual dan agen). Selain itu, kurangnya diferensiasi antar dimensi dapat terjadi karena menyertakan beberapa dimensi
yang memanfaatkan faktor perilaku yang sama (misalnya, "sensitivitas interpersonal" dan "empati", keduanya terdiri dari komunal perilaku).
Akhirnya, penelitian kami berimplikasi pada bagaimana bidang AC telah mengkonseptualisasikan dan mengevaluasi kesetaraan bentuk-alternatif
latihan AC. Mirip dengan teori tes psikometri, evaluasi tradisional kesetaraan bentuk alternatif di ACs didasarkan pada penilaian penilai
(Brummel et al., 2009 ). Menggunakan konseptualisasi ini, itu menantang untuk dirancang latihan bentuk alternatif. Seperti yang dikemukakan
dalam penelitian ini, peringkat penilai dihasilkan dari bagaimana penilai menilai perilaku. Studi ini mengedepankan perspektif lain. Artinya,
orang mungkin memeriksa sejauh mana yang mendasarinya struktur perilaku yang ditampilkan setara dengan latihan AC alternatif. Perspektif ini
menghindari potensi efek/bias penilai.
Implikasi praktis
Hasil kami menawarkan berbagai saran yang dapat ditindaklanjuti kepada perusahaan untuk lebih meningkatkan latihan AC interpersonal. Secara
khusus, fokus yang lebih kuat pada perilaku dasar yang diungkapkan dalam latihan AC interpersonal memiliki implikasi untuk pemilihan dimensi
dan konseptualisasi, desain latihan, alat bantu penilaian, dan pelatihan penilai (lihat Gambar 1 ).
Mempertimbangkan pemilihan dimensi dan konseptualisasi, kami menyebutkan di muka bahwa kami tidak menyarankan semua AC harus diubah
untuk menilai faktor perilaku secara langsung. Namun, kami merekomendasikan bahwa seseorang harus mempertimbangkan bagaimana dimensi
kinerja yang dipilih (misalnya berdasarkan analisis pekerjaan) terkait dengan empat faktor perilaku agensi, persekutuan, ketenangan antarpribadi,
dan kompetensi intelektual. Untuk tujuan ini, tidak cukup hanya mempertimbangkan label dimensi, tetapi orang harus menganalisis apa arti
dimensi dalam konteks khusus organisasi. Sebagai contoh, beberapa mungkin melihat dimensi AC "komunikasi" terutama komunal (misalnya,
ramah, gaya komunikasi positif), sedangkan yang lain mungkin menganggapnya sebagai terutama intelektual (misalnya, gaya komunikasi yang
jelas, berorientasi pada tujuan). Contoh bagaimana beberapa dimensi AC populer dapat dipetakan ke empat faktor perilaku dapat ditemukan di
Tabel Tambahan Online S9 ( osf.io/by5qm ). Setelah pemetaan seperti itu terjadi,
pilihan dapat dibuat tentang dimensi mana yang terbaik untuk dipilih saat mendesain AC. Misalnya, untuk penilaian dimensi AC yang berbeda,
penting untuk menghindari dimensi yang terkait dengan beberapa faktor perilaku (misalnya, "delegasi") atau beberapa dimensi dari faktor yang
sama (misalnya, "sensitivitas interpersonal" dan "empati") . Dengan demikian, ini memastikan bahwa dimensi AC yang sedang dinilai
memperhitungkan struktur perilaku yang dapat diamati . Fokus pada dimensi yang berhubungan dengan pekerjaan yang mengakui struktur
perilaku harus meningkatkan keteramatan perilaku dan menghasilkan evaluasi AC yang lebih konsisten (lintas latihan) dan dibedakan (dalam
latihan).
Pemetaan serupa dapat dilakukan untuk latihan AC (lihat Tabel Tambahan Online S9; osf.io/by5qm ). Artinya, tergantung pada latihannya,
beberapa faktor perilaku mungkin tidak muncul. Sebagai contoh, dalam penelitian ini, beberapa perilaku yang terkait dengan agensi tidak dapat
diamati secara andal dalam latihan berita buruk. Oleh karena itu, kami merekomendasikan untuk memeriksa latihan sehubungan dengan
kapasitasnya untuk membangkitkan perbedaan perilaku yang relevan. Hal ini dapat dilakukan secara konseptual (perbedaan individu yang stabil
dalam agensi akan lebih mungkin diamati dalam kompetisi dibandingkan dengan latihan kooperatif) tetapi juga melalui pretesting (yaitu,
mencatat perbedaan individu yang dapat diamati dalam ekspresi perilaku). Seseorang mungkin juga secara aktif mengadaptasi bagian-bagian
latihan (misalnya, dengan menanamkan isyarat pemain peran tertentu, lihat Lievens et al., 2015 ) untuk meningkatkan varian perilaku dalam
faktor perilaku yang diinginkan. Pemetaan ini kemudian dapat digabungkan dengan pemetaan dimensi dan perilaku untuk memutuskan dimensi
mana yang akan dinilai per latihan (misalnya, menilai dimensi yang terkait dengan agensi hanya dalam latihan yang memunculkan perbedaan
yang dapat diamati dalam agensi; lihat juga Breil, Forthmann,&Back, 2021 ; Brannick , 2008 ; Lievens & Klimoski, 2001 ).
Mengenai implikasi untuk alat bantu pemeringkatan (misalnya, daftar perilaku, skala penilaian berlabuh secara perilaku), kami menyarankan agar
perilaku yang dimasukkan benar-benar dapat diamati. Studi ini memberikan daftar lebih dari 30 perilaku yang dapat diamati dengan andal dan
dapat dikaitkan dengan berbagai faktor perilaku (lihat Lampiran A ). Meskipun tidak eksklusif, ini memberikan titik awal untuk menggambar,
memperluas, dan memodifikasi saat merancang alat bantu pemeringkatan. Untuk perilaku yang terdaftar, kami mempresentasikan hasil awal
mengenai validitas prediktif mereka (misalnya, menawarkan bantuan dan pernyataan dukungan, tidak ada isyarat). menunjukkan ketidakamanan
, dan jawaban yang cepat dan tepat atas pertanyaan menunjukkan hubungan terkuat dengan kinerja masa depan), tetapi perlu direplikasi dalam
konteks dan latihan lain. Selanjutnya, ketika tujuannya adalah untuk mendapatkan peringkat kinerja AC yang lebih konsisten lintas situasi,
hasilnya menunjukkan bahwa deskripsi perilaku nonverbal atau paraverbal yang relatif luas (misalnya, menyapa orang lain dengan segera dan
memimpin interaksi , konfirmasi dan ekspresi ramah termasuk senyum dan anggukan yang sesuai ) tampaknya lebih disukai daripada deskripsi
verbal tertentu.
Selanjutnya, kami menyarankan agar program pelatihan asesor mempertimbangkan perilaku asesor sebenarnya cepat. Misalnya, dalam video
contoh, penilai pertama-tama dapat mengenal faktor perilaku yang mungkin terjadi bervariasi dalam latihan. Kemudian, perhatian yang lebih
spesifik dapat diberikan pada perilaku yang seharusnya mereka pertimbangkan bagian dari peringkat kinerja mereka (misalnya, ketika menilai
sensitivitas antarpribadi, mereka harus fokus pada perilaku komunal bukan pada perilaku agen). Penilai juga dapat peka terhadap perilaku tertentu
yang sering dikaitkan dengan Peringkat kinerja AC terlepas dari dimensi AC tertentu (misalnya, aliran kata stabil ).
Selain saran untuk perusahaan tersebut, penelitian ini juga memberikan rekomendasi untuk penilai tentang cara mendapatkan skor yang baik pada
latihan AC interpersonal seperti permainan peran. Meskipun tip semacam itu dapat ditemukan di banyak buku populer, namun seringkali tidak
didukung oleh bukti empiris. Studi ini menyarankan agar penilai secara khusus menunjukkan beberapa perilaku berikut dalam latihan AC
antarpribadi: aliran kata yang stabil dan percaya diri , menawarkan bantuan, dan menyediakan pernyataan dukungan , mendengarkan dengan
penuh perhatian , tidak ada jarak atau sikap bosan , tidak ada kekakuan atau kebekuan , dengan cepat memberikan jawaban yang tepat sasaran ,
dan mengajukan pertanyaan berorientasi tujuan .
Keterbatasan
Sejumlah batasan harus diperhatikan. Pertama, kami fokus pada permainan peran sebagai salah satu latihan AC interpersonal yang paling populer
(Krause & Thornton, 2009 ). Meskipun tampaknya masuk akal bahwa hasil kami mengenai struktur dan konsistensi perilaku dapat ditransfer ke
latihan AC berorientasi interpersonal lainnya (misalnya, diskusi kelompok, presentasi lisan), transfer tersebut berada di luar cakupan penelitian
ini. Mengenai keefektifan perilaku, kemungkinan keefektifan akan bervariasi tergantung pada jenis latihan antarpribadi (misalnya, perilaku agen
mungkin sangat efektif dalam diskusi kelompok yang kompetitif). Kami menemukan beberapa bukti untuk variabilitas ini di berbagai jenis peran
antarpribadi- bermain, meskipun kesamaan hasil di seluruh latihan juga mencolok. Demikian pula, kami mengakui bahwa hasil kami tidak
berbicara dengan latihan yang lebih berorientasi kognitif (misalnya, studi kasus atau dalam keranjang) atau prosedur seleksi antarpribadi lainnya
(misalnya, wawancara). Namun demikian, metodologi daftar dan analisis perilaku kami dapat digunakan dalam pemeriksaan situasi antarpribadi
semacam itu.
Kedua, pengkodean perilaku interpersonal dilakukan oleh pembuat kode independen yang mendapat pelatihan ekstensif. Hal ini menyebabkan
kesepakatan interrater yang baik untuk sebagian besar perilaku. Namun, ICC lebih rendah dari yang diharapkan untuk beberapa perilaku tertentu
(misalnya, jumlah interupsi dominan , jumlah jaminan ), yang menunjukkan bahwa tidak semua perilaku mudah diamati (Lievens et al., 2015 ).
Ketiga, permainan peran yang kami gunakan relatif singkat. Ini mengikuti tren perampingan dan pemendekan latihan AC dalam praktiknya
(Herde & Lievens, 2020 ). Sejauh ini, belum ada penelitian yang membahas bagaimana durasi simulasi interpersonal dapat memengaruhi hasil
kami. Keempat, konteks perawatan kesehatan penelitian ini (pemilihan sekolah kedokteran) mungkin membatasi generalisasi hasil kami ke
pengaturan yang lebih terkait bisnis. Namun, kami menekankan bahwa penelitian kami tidak dijalankan dalam konteks pura-pura (karena penilai
menghadapi konsekuensi berisiko tinggi). Yang penting, tugas inti yang mendasari latihan (manajemen krisis, membujuk seseorang,
menyampaikan berita buruk) dapat dengan mudah digeneralisasikan ke banyak pengaturan lain, termasuk konteks manajerial.
Arah untuk penelitian masa depan
Studi ini menawarkan berbagai arah penting untuk penelitian AC di masa mendatang. Pertama, penelitian kami menyoroti peran kunci dari
perilaku dalam menghubungkan dua aliran besar penelitian AC sebelumnya (karakteristik penilai dan peringkat penilai, lihat Gambar 1 ).
Hubungan ini dapat diperkuat lebih lanjut dengan memeriksa pengaruh karakteristik tertentu secara lebih dekat. Misalnya, kemampuan untuk
mengidentifikasi kriteria (Kleinmann et al., 2011 ; König et al., 2007 ) biasanya dinilai dengan meminta penilai mengidentifikasi dimensi yang
mereka yakini sedang dievaluasi. Peneliti juga harus menyelidiki sejauh mana penilai mengetahui perilaku tertentu (atau faktor perilaku) mana
yang merupakan bagian dari peringkat kinerja penilai (yaitu, dengan membandingkan keefektifan yang diasumsikan dengan keefektifan aktual).
Investigasi semacam itu dapat memberikan implikasi penting untuk tujuan pengembangan, karena akan memungkinkan untuk membedakan
antara penilai yang tidak tahu bagaimana berperilaku secara efektif dan penilai yang secara teoritis memahami bagaimana berperilaku tetapi tidak
dapat menerapkannya.
Kedua, pendekatan baru terhadap penilaian perilaku dalam penelitian kepribadian/klinis dapat dialihkan ke penelitian seleksi. Salah satu
contohnya adalah metode Continuous Assessment of Interpersonal Dynamics (CAID) (Herde & Lievens, 2021 ; Hopwood et al., 2020 ; Sadler et
al., 2009 ), yang memungkinkan pemeringkatan berkelanjutan dari perilaku interpersonal (melalui joystick) selama kursus situasi, sehingga
memungkinkan penyelidikan halus proses yang mendasarinya. Sementara kami mengekstrak peringkat perilaku rata-rata dalam latihan, CAID
memungkinkan peneliti menilai variabilitas perilaku dalam latihan dan membandingkannya dengan variabilitas (yaitu, konsistensi) perilaku di
seluruh latihan (Geukes et al., 2017 ) . Pada tingkat yang lebih praktis, peneliti juga dapat menyelidiki bagaimana parameter yang diekstraksi
(misalnya variabilitas, ekspresi perilaku minimum atau maksimum) memprediksi kinerja masa depan dibandingkan dengan efek tingkat rata-rata.
Selain itu, CAID dapat digunakan untuk mengidentifikasi kegunaan petunjuk khusus dalam latihan (yang akan terlihat melalui peningkatan varian
perilaku yang diinginkan setelah isyarat pemain peran; Lievens et al., 2015 ) untuk mengidentifikasi aspek penting dari latihan yang tidak
dituliskan. , atau untuk mengidentifikasi kemungkinan terjadinya perilaku yang berbeda secara bersamaan
Ketiga, kemajuan pembelajaran mesin memberikan peluang untuk penilaian perilaku yang lebih hemat biaya karena pengkodean 42 perilaku di
tiga latihan (relatif singkat) membutuhkan waktu pengkodean sekitar 1000 jam. Untuk tujuan ini, perkembangan terkini dalam ekstraksi otomatis
karakteristik wajah (misalnya, Baltrusaitis et al., 2018 ), bahasa tubuh (misalnya, Biel et al., 2011 ; Nguyen et al., 2013 ), parabahasa (misalnya,
Biel et al., 2013) al., 2011 ; Kwon et al., 2013 ), atau konten verbal (misalnya, Tausczik & Pennebaker, 2010 ) dapat diintegrasikan ke dalam
penelitian AC. Dengan penilaian otomatis semacam ini, akan lebih mudah untuk menilai sejumlah besar perilaku di lebih banyak orang yang
dinilai dan latihan. Kemajuan semacam itu dapat mengarah pada analisis varian perilaku yang lebih komprehensif, kejadian perilaku bersama,
dan keefektifan perilaku tertentu. Selain itu, perilaku yang diekstraksi juga dapat digunakan sebagai input untuk algoritme pembelajaran mesin
yang bertujuan untuk memaksimalkan validitas prediktif AC.

KESIMPULAN
Studi ini menyelidiki perilaku interpersonal yang ditampilkan peserta asesmen dalam latihan AC. Kami menyajikan bukti yang belum pernah
terjadi sebelumnya bahwa perbedaan perilaku (a) dapat diwakili oleh empat faktor agensi, persekutuan, ketenangan interpersonal, dan kompetensi
intelektual, (b) relatif konsisten di seluruh latihan, dan (c) efektif untuk kinerja AC serta kinerja interpersonal masa depan. Temuan kami
menjelaskan perilaku penilai antarpribadi ini dan berfungsi sebagai awal yang menyegarkan untuk agenda penelitian AC yang lebih berfokus
pada perilaku yang mengacu pada temuan dan perkembangan terbaru dari ilmu kepribadian perilaku. Pada tingkat praktis, hasil kami berbicara
tentang pemilihan dimensi dan konseptualisasi, desain latihan, alat bantu penilaian, dan pelatihan penilai. Jadi, fokus yang lebih kuat pada
perilaku dasar yang diekspresikan dalam latihan interpersonal bermanfaat bagi penelitian tentang penilaian keterampilan interpersonal serta
praktik seleksi masa depan dalam organisasi.

UCAPAN TERIMA KASIH

Kami berterima kasih kepada Helmut Ahrens, Britta Brouwer, Anike Hertel-Waszak, Bernhard Marschall, dan Eva Schönefeld atas bantuan
mereka mengumpulkan data untuk penelitian ini. Kami juga berterima kasih kepada semua asisten mahasiswa dan rekan penelitian yang
membantu membuat kode video dan perilaku. Selain itu, kami berterima kasih kepada Leonie Frank, Leonie Hater, Christoph N. Herde,
Cornelius König, dan Andrew Speer atas komentar mendalam mereka pada versi awal artikel ini.