1.

Pendahuluan

Ilmu sosial sebagian besar bersifat observasional, ditandai dengan penerapan metode non
eksperimental seperti survei sosial, wawancara, atau pengamatan langsung. Tetapi, banyak
pertanyaan di bidang ilmu sosial mungkin juga dibahas dengan menggunakan metode uji coba,
dan memang ada beberapa cara yang paling baik. Terutama cocok untuk eksperimental
investigasi adalah pertanyaan yang bertujuan untuk menetapkan hubungan kausal antara dua atau
lebih variabel.

Konsep-konsep yang dibutuhkan untuk desain keberhasilan percobaan telah dibahas selama
bertahun-tahun, terutama dalam konteks ilmu alam, awalnya dalam fisika, dan kemudian
khususnya dalam mata pelajaran yang diterapkan seperti pertanian, industri teknologi, dan uji
klinis. Selama 80 tahun terakhir, pembahasan tentang desain eksperimental dalam konteks yang
dapat dimengerti bila terdapat variasi yang tidak dapat diprediksi (yaitu, tidak beraturan dan
tidak dapat diprediksi) telah menjadi bab utama dalam teori kognisi dan penerapan. Dalam
artikel ini, kita meninjau relevansi gagasan-gagasan dalam ilmu sosial yang dipahami secara
luas. Kami menarik ilustrasi kami sebagian besar dari sosiologi dan dari pekerjaan sosial yang
relevan dalam eksperimental ekonomi dan ilmu politik. Fokus kami adalah pada ilmu sosial yaitu
ilmu yang telah terutama diamati sejak mereka lahir; Secara umum, kami tidak membahas
bidang-bidang yang selalu didominasi oleh penelitian eksperimental yang berpengalaman, seperti
subdisiplin psikologi tertentu yang mungkin digolongkan di bawah naungan ilmu sosial
(subdisiplin yang mencakup ilmu kepribadian, kesadaran, belajar, dan khususnya psikologi
eksperimental).

Pembahasan mengenai organisasi yaitu: kita mulai dengan membahas penggunaan eksperimen
awal dalam ilmu sosial yang sebelum menyajikan analisis empiris menunjukkan peningkatan
baru dalam penggunaannya. Selanjutnya, , kita meringkas ide-ide statistik yang terlibat dalam
desain eksperimental, ide-ide yang merupakan landasan penting untuk jenis aplikasi yang kita
bahas dalam sisa artikel (laboratorium, lapangan. Dan survei). Kami mengakhiri dengan
beberapa komentar umum. Tujuan kita adalah: menyediakan sebuah Tinjaulah asas-asas
rancangan yang mungkin berguna bagi eksperimen perencanaan itu dan untuk menyediakan
ikhtisar mengenai jangkauan dari desain percobaan dalam ilmu sosial dan ilmu sosial lainnya.
Kami tidak meninjau penemuan ilmu sosial yang banyak dan beragam serta tidak ada karya

1
sastra ilmiah sosial yang muncul dari penelitian eksperimental. Sebaliknya, fokus kami adalah
pada desain keahlian seperti yang umumnya dipahami dalam literatur statistik, dan kami
meninjau desain tersebut dalam konteks aplikasi dalam ilmu sosial. Kesulitan awal dalam diskusi
secara luas adalah bahwa terminologi bervariasi antara bidang aplikasi tertentu dan antara ini dan
literatur statistik umum, dengan ketidaksetujuan bahkan pada pertanyaan tentang apa yang
merupakan percobaan. Kami berurusan di sini dengan penyelidikan di mana efek dari sejumlah
kondisi alternatif atau perawatan harus dibandingkan. Secara umum, penyelidikan adalah sebuah
eksperimen jika simpatisan mengontrol alokasi perawatan untuk individu dalam penelitian dan
fitur-fitur utama lainnya dari pekerjaan tersebut, sedangkan pengamatan jika, khususnya, alokasi
perawatan telah ditentukan oleh beberapa proses di luar kendali penyidik dan pengetahuan rinci.
Alokasi perawatan terhadap individu biasanya disebut sebagai manipulasi dalam konteks ilmu
sosial.

2. Beberapa sejarah Desain eksperimental Dalam ilmu sosial

Meskipun sebagian besar ilmu sosial berlangsung selama suatu periode di mana desain
eksperimental ditetapkan dengan baik dalam literatur statistik dan ilmiah, rancangan seperti itu
memiliki sejarah yang berubah-ubah dalam ilmu sosial. Kami secara singkat meninjau sejarah ini
dan menyoroti beberapa aspek rancangan studi yang sekarang dirayakan sebagai klasik di
lapangan.

Seperti yang disebutkan di atas, beberapa ilmu sosial selalu mengadakan eksperimen. Dalam
psikologi sosial, misalnya, Desain percobaan telah digunakan sepanjang sejarah. kertas empiris
pertama yang diterbitkan dalam lapangan psikologi sosial termasuk studi eksperimental efek
kompetisi pada kinerja tugas individu. Dalam sebuah artikel di American joumal of Psychology,
Triplett (1898) melaporkan hasil dari percobaan laboratorium yang dirancang untuk memberikan
cahaya pada temuan empiris bahwa balap sepeda menghasilkan kali lebih cepat dalam balap
yang paced atau dalam petisi com dengan pengendara lain daripada dalam perlombaan unpaced,
satu contoh dari fenomena yang lebih umum kemudian berlabel "fasilitas-fasilitas sosial"
(Allport 1920, Aiello & Douthitt 2001). Dalam triplet Triplett Ment, dua kelompok dari 20 anak
diminta untuk menyelesaikan fisik sederhana gulungan ikan - secepat mungkin, baik sendiri atau
di hadapan kompetisi. Oleh karena itu, rancangan perimental relatif sederhana, dengan
manipulasi perawatan tunggal (petisi com, tidak ada atau sekarang) dan fokus pada satu hasil

2
akhir (kecepatan penyelesaian tugas). Setiap anak menyelesaikan tugas itu enam kali, dengan
urutan yang berbeda dari pencobaan-pencobaan itu (sendiri atau dalam petisi com) bagi kedua
kelompok anak-anak. 'artikel ini tidak menjelaskan proses yang digunakan untuk
mengalokasikan individu kepada kelompok; Penggunaan acak secara sistematis baru disarankan
belakangan. Setelah pembandingan waktu penyelesaian tugas antara dua kondisi itu, Triplett
(1898, HLM. 533) .Uji coba laboratorium kami menyimpulkan bahwa kehadiran fisik dari partic
kontestan lain secara bersamaan dalam perlombaan berfungsi untuk membebaskan energi laten
yang biasanya tidak tersedia,"

Meskipun pada awalnya apa pun sulit didefinisikan dengan akurat, Strube (2005, HLM. 281)
menulis bahwa publikasi eksperimen Triplett pada tahun 1898 merupakan peristiwa titik air
dalam sejarah psikologi sosial. Itu menandai awal resmi dari lapangan sebagai suatu perusahaan
empiris dan meluncurkan salah satu jalur penelitiannya yang paling bertahan dan luas
jangkauannya "(lihat Allport 1954 dan Brehm et al. 1999 untuk mendapatkan jawaban yang
sama). Desain eksperimental kemudian mendominasi lapangan psikologi yang sangat khusus,
dengan studi terkenal lainnya termasuk tes sesuai Asch (1951, 1956) tes kepatuhan pada otoritas,
Bandura et al.'s (1961) investi gation menjadi agresi sebagai pembelajaran sosial, dan
eksperimen lapangan Zimbardo yang menguji efek eksternal yang ditetapkan sosial pada
perilaku individu, lebih dikenal sebagai percobaan penjara Stanford (Haney et al. 1973; Lihat
juga http://www.prisonpengembang. Org).

Sebaliknya, bidang-bidang lain dari ilmu sosial relatif lambat untuk menerima rancangan
percobaan sebagai metode riset pusat. Dalam terbitan pertama American Sociological Review,
Chapin (1936, HLM. 7-8) merasa perlu, dalam pidato presidensial, "untuk mengatasi
kebingungan dalam pemikiran yang hadir dalam banyak pembahasan tentang prosedur
pengukuran dan eksperimen" Pendapat bahwa percobaan tidak dapat digunakan dalam riset
sosial adalah penilaian yang keliru." Pandangan umum yang dikritik oleh Chapin bahwa ilmu
sosial pada dasarnya non-eksperimental tampaknya juga hadir dalam ilmu politik, dan presiden
American political science Association menyatakan bahwa kita dibatasi oleh kemustahilan
eksperimen. Politik adalah observational, bukan ilmu eksperimental "(Lowell 1910, HLM. 7,
dikutip di Druckman et al. 2006, HLM. 627). Dan Alfred Marshall (1890), dalam Principles of
Economis, menulis bahwa ilmu alam dan terutama kelompok fisik mereka memiliki keuntungan

3
besar ini sebagai disiplin atas semua studi tentang tindakan manusia, bahwa di dalamnya para
penyidik dipanggil untuk kesimpulan yang tepat yang dapat dibuktikan dengan pengamatan atau
eksperimen lanjutan "(ch. 4, $5). Terlepas dari pernyataan-pernyataan epistemologis tentang sifat
dasar ilmu sosial, bahkan sejarah paling awal tentang ekonomi, ilmu politik, sosiologi, dan Ilmu
sains lainnya sebenarnya masih ada banyak contoh ilmu eksperimental yang sangat berpengaruh.
Mungkin yang paling terkenal awal percobaan sosial dilakukan di Western Electric's Hawthorne
bekerja di 1920-an dan 1930-an dan dilaporkan dalam Managemen Tujuan percobaan adalah
untuk mengevaluasi dampak pada produktivitas pekerja dari berbagai rangsangan termasuk
tingkat cahaya di pabrik, kekuatan dan waktu istirahat, ketentuan, dan faktor-faktor lingkungan
lainnya. Eksperimen llumasi menjadi yang paling terkenal sebagai hasil dari penemuan aneh,
kemudian dicap "Hawthorne effect." Prosedur dalam studi Hawthorne illumina adalah sebagai
berikut: selama periode paling lama tiga tahun, produktivitas pekerja di tiga bagian pabrik
diukur melalui hitungan sederhana jumlah unit (bagian-bagiannya diperiksa, telepon tetap
terbuka. Luka kumparan kawat) dihasilkan oleh setiap pekerja atau setiap hari. Pada tahap
pertama percobaan, kelompok pekerja tunduk pada kondisi perimental, sedangkan pada tahap-
tahap berikutnya: sekelompok kecil pekerja ditugaskan untuk bekerja di sebuah ruangan khusus,
di mana ma nipulasi yang lebih ekstrim bisa terjadi. Manipulasi kondisi cahaya memungkinkan
para peneliti menguji hipotesis bahwa kondisi pencahayaan yang lebih baik akan mengakibatkan
peningkatan produktivitas. Dicksor & Roethlisberger (1966, HLM. 20) belakangan merangkum
hasil percobaan.sulit untuk menyimpulkan apa efek pencahayaan pada produktivitas, beberapa
hasil dari percobaan ini tampaknya mengatakan bahwa itu positif, beberapa bahwa itu nol, dan
beberapa bahwa itu kacau. Misalnya, dalam beberapa kali perbaikan dalam penerangan kadang
peningkatan positif yang satu tidak menghasilkan peningkatan yang jelas pada yang lain. Dan
kemudian — inilah bagian yang kacau — cukup sering ketika intensitas cahaya berkurang,
keluaran tidak turun tetapi tetap sama dan dalam beberapa kasus meningkat.

Temuan bahwa produktivitas meningkat bahkan ketika tingkat penerangan sangat buruk
(memang, pada saat pencahayaan sangat rendah seperti berlabel bulan merokok) memimpin para
periset untuk menduga faktor lain sedang bekerja. Dari percobaan dan pengamatan lebih lanjut,
mereka berpendapat bahwa mekanisme psikologis beroperasi untuk meningkatkan produktivitas:
para pekerja tersebut tampaknya merespons secara positif perhatiannya terhadap produktivitas
mereka oleh peneliti, dan bukan untuk perubahan iluminasi. Perhatikan bahwa pemutar Dickson

4
& Roethlisberger dari temuan studi Hawthorne lebih banyak berhati-hati daripada beberapa
summaria dan interpretasi yang kemudian diterbitkan oleh ilmuwan Socia lainnya (lihat Jones
(1992, hal 453, Footnote 2) untuk diskusi tentang hal ini).

Studi Hawthorne menunjukkan bahwa proses interpersonal di tempat kerja dapat

mempengaruhi produktivitas karyawan. Namun, kontribusi metodologis penelitian mungkin
bahkan lebih penting, kontribusi yang terutama berasal karena desain eksperimental inisia rusak
dan tidak memiliki kontrol yang memadai dan karena pengaruh pengaruh yang seharusnya
dihindari melalui desain yang cermat malah ditumbangkan dengan dampak minat. Penulis
direnjari secara terbuka dengan tantangan yang ditimbulkan oleh lingkungan dan dengan temuan
eksperimental yang tak terduga dan tidak diperdebatkan. Hal ini tidak sering dihargai bahwa
penelitian Hawthorne mencakup beberapa desain yang cukup berbeda, dengan perubahan
substansial terhadap desain dan prosedur yang terjadi akibat temuan tak terduga dari percobaan
awal di mana para peneliti menemukan bahwa sejumlah variabel yang tidak terkendali dapat
mempengaruhi hasilnya (Roethlisberger & Dickson 1939 hal 19). Salah satu konsekuensi dari
perubahan ini terhadap desain eksperimen adalah bahwa ada replikasi independen yang tidak
mencukupi di eksperimen, dan dalam retrospeksi desain yang berbeda akan menjadi titik awal
yang lebih baik (desain faktorial pasti paling tepat). Tapi pengakuan bahwa peneliti dapat
berfungsi sebagai faktor perancu saat Eksperimen yang dilakukan atas rakyat manusia sangat
berpengaruh (Levitt& List 2011; Lihat juga Adair et al. 1989 untuk meta-analisis studi pengujian
untuk kehadiran Hawthorne efek dalam penelitian pendidikan). Memang, studi yang begitu
mempengaruhi bahwa temuan telah mengalami pemeriksaan sejak tahun 1930-an, dan reanalisis
dari data Hawthorne masih diterbitkan (misalnya, Franke & Kaul 1978, Gillespie 1991. Jones
1992, Levitt & List 2011). Banyak dari reanalisis ini menemukan bahwa klaim asli untuk
keberadaan efek Hawthorne tidak didukung atau hanya lemah didukung oleh data eksperimental.
Tentu saja, metode analisis statistik yang tersedia bagi mereka yang melakukan reanalisis lebih
baik daripada yang tersedia bagi para peneliti Hawthorne.

Oleh karena itu, penelitian Hawthorne memiliki tempat khusus dalam sejarah eksperimen
di ilmu sosial, dan tidak ada eksperimen sosiologis lain yang telah mencapai tingkat
kemasyhuran yang sama. Kami tidak mempertimbangkan contoh sejarah tambahan tentang
penelitian ilmu sosial eksperimental di sini, tetapi untuk pembahasan tentang sejarah eksperimen

5
dalam bidang sosiologi, lihat Oakley (1998); Untuk sejarah eksperimen dalam ilmu politik, lihat
hijau & Gerber (2003), dan dalam bidang ekonomi, Roth (1993, 1995)

PENGGUNAAN DARI DESAIN EKSPERIMENTAL DALAM ILMU SOSIAL

Penggunaan eksperimen dalam ilmu sosial miliki meningkat lumayan dalam beberapa tahun
terakhir. Sosial disiplin ilmu yang secara tradisional memiliki desain eksperimental yang
dikunyah telah menyaksikan suatu peningkatan dalam penelitian eksperimental, dan universal
pemerintah dan lembaga penelitian telah membuat investasi frastruktural untuk mendukung para
peneliti mengumpulkan data menggunakan eksperimen. Salah satu cara untuk mengukur
pertumbuhan dalam desain mental adalah untuk memeriksa publikasi frekuensi penelitian
mempekerjakan mereka. Sebagai

contoh, kami mengukur visibilitas desain eksperimental dalam ekonomi, politik ilmu
pengetahuan, dan sosiologi melalui sederhana analisis isi dari artikel yang diterbitkan dalam
jurnal peringkat teratas untuk setiap disiplin ilmu di antaranya 1990 dan 2010. Kami menghitung
proporsinya artikel penelitian yang melaporkan hasil dari desain eksperimental dalam perjalanan
peringkat teratas nals untuk ekonomi (American Economic Review, Econometrica), ilmu politik
(Amerika Jurnal Ilmu Politik, Politik Amerika Ulasan Sains), dan sosiologi (American Jour-
akhir Sosiologi, Ulasan Sosiologis Amerika). Jurnal peringkat teratas didefinisikan sebagai
jurnal-jurnal tersebut dengan jumlah total kutipan terbesar dari 2008–2009, sebagaimana
dilaporkan dalam Thomson Reuters Web dari Kutipan Jurnal Pengetahuan PengetahuanR. Kami
hanya menyertakan artikel penelitian lengkap; penelitian catatan, balasan, koreksi, dan potongan
serupa dikeluarkan, meninggalkan sampel total 5.874 artikel. Sebuah artikel diberi kode sebagai
mempekerjakan desain eksperimental jika hasilnya empiris melaporkan bahwa berasal dari
manipulasi subyek manusia. Artikel yang menggambarkan model perilaku formal dengan
hipotesis-tes eksperimental ical tidak dikodekan sebagai eksperimental.

Gambar 1

6
menunjukkan rata-rata bergerak tiga tahun usia dari proporsi semua artikel yang diterbitkan di
masing-masing jurnal peringkat teratas yang dipekerjakan desain eksperimental (jurnal asli
berdasarkan tahun pengkodean tersedia dari penulis pada pencarian). Angka tersebut
menunjukkan pertumbuhan yang jelas dari waktu ke waktu dalam jumlah eksperimental artikel
penelitian. Desain eksperimental adalah hadir di jurnal peringkat teratas di awal periode, tetapi
mereka hanya mewakili sekitar 3% dari total jumlah artikel penelitian di enam jurnal.
Pertumbuhan visibilitas yang cepat desain eksperimental terjadi pada awal 2000-an, dan pada
2010 hampir 8,5% dari totaljumlah artikel penelitian di peringkat teratas jurnal bersifat
eksperimental. Ada perbedaan disiplin yang jelas. Pertumbuhan desain eksperimental adalah
yang paling diucapkan dalam ekonomi, dan khususnya dalam American Economic Review,
dimana oleh akhir periode 18% dari artikel penelitian adalah eksperimental. Ilmu politik juga
menyaksikan pertumbuhan, meskipun marah dibandingkan dengan ekonomi.2 Memang,
pengecualian untuk pola umum adalah sosiologi, di mana visibilitas desain eksperimental
berfluktuasi dengan cara yang agak tidak trendi selama periode tersebut dipertimbangkan. Fitur
kualitatif yang menarik dari analisis konten adalah sejauh mana makalah perimental semakin
banyak merujuk pada bahasa desain eksperimental. Khususnya, istilah "eksperimen alami"
tampaknya dimiliki semakin populer dalam menggambarkan studi itu akan digambarkan sebagai
standar pengamatan-studi kejuruan di masa lalu (dan karena itu dikodekan sebagai
noneksperimental dalam konten kami analisis). Misalnya, implementasi kebijakan sosial baru
hari ini dapat digambarkan sebagai eksperimen alami, dengan gambar peneliti kesimpulan
tentang proses kausal ketika membandingkan perubahan sebelum dan sesudah kebijakan
keadaan. Istilah “pengalaman alami "mungkin berasal dari pedoman Bradford Hill (1965), yang
menentukan kondisi di mana studi observasional dalam epidemiol- ogy mungkin secara wajar
mengarah pada sebab akibat penafsiran; perhatikan bahwa itu adalah pedoman, dan bukan
kriteria. Eksperimen alami dalam hal ini konteks berarti intervensi besar yang tidak direncanakan
yang dampaknya sangat besar sehingga bisa jadi dipisahkan dari kemungkinan efek perancu.

Contoh ekstrem adalah penggunaan radiasi epidemiologi data dari para penyintas Bom
Hiroshima. Versi istilah seperti itu "Eksperimen alami" terlalu kuat bagi banyak orang dari
konteks ilmu sosial di mana itu terapan. Analisis konten menunjukkan peningkatan substansial
dalam visibilitas desain eksperimental dalam ilmu social selama 20 tahun terakhir. Sumber lain
lebih lanjut menunjukkan bahwa penelitian menggunakan desain mental lebih sering dikutip

7
daripada artikel penelitian lain, yang menyarankan itu peningkatan visibilitas studi eksperimental
di jurnal peringkat teratas akan lebih dari cocok dengan dampak dari studi ini di dalam literatur
ilmiah sosial (Druckman et al.2006, hal. 632).

PRINSIP-PRINSIP EKSPERIMENTAL RANCANGAN

Sosiolog yang merencanakan eksperimen memiliki tersedia untuk mereka segala macam buku
teks dan panduan praktis (mis., Campbell & Stanley 1963, Brown & Melamed 1990), bersama
yang sudah ada penelitian eksperimental yang memberikan kenyamanan templat untuk studi
baru. Namun ketika mempertimbangkan detail desain apa pun Percobaan, akan sangat
membantu untuk kembali ke yang kecil seperangkat prinsip dasar yang terletak di jantung desain
eksperimental yang kuat. Diskusi terperinci prinsip umum desain eksperimental dalam
kehadiran variasi substansial yang tidak terkendali sebagian besar berasal dari Fisher (1926),
yang mengembangkan idenya dalam sebuah buku (Fisher 1935) masih dalam mencetak. Dia
pada dasarnya menyarankan empat prinsip utama yang merupakan batu ujian eksperimental
desain hingga hari ini.
Pertama, penting untuk menghilangkan kemungkinan kesalahan sistematis. Ini dapat dicapai
oleh memastikan bahwa sumber utama yang dapat diprediksi variabilitas yang tidak diinginkan
mempengaruhi semua perawatan sama dan, penting, dengan alokasi acak perawatan ke unit,
memastikan bahwa setiap unit sama-sama mungkin menerima setiap perawatan. Dalam konteks
ini, pengacakan selalu berarti penggunaan perangkat impersonal dengan diketahui sifat
probabilistik. Pengacakan dalam diperlukan prinsip pada setiap tahap penelitian di mana
variabilitas tak terkendali yang cukup besar mungkin masuk dan sering digabungkan secara
penting dengan penyembunyian untuk menangani berbagai jenis preferensi subjektif, yang dalam
beberapa jenis penelitian dapat dengan mudah mengubah kesimpulan.

Kami membutuhkan kesimpulan yang masuk akal presisi: yaitu, kesimpulan yang didasarkan
pada data yang cukup untuk menonjol di atas kesalahan acak. Presisi harus dibedakan dari
akurasi, yang juga menuntut kebebasan dari sistematis kesalahan. Karena itu, prinsip kedua
adalah tingkatkan presisi dengan membandingkan suka dengan suka. Artinya, unit eksperimen
dikelompokkan ke dalam set atau blok yang diharapkan merespons dengan cara yang sama,
diatur sedemikian rupa sehingga setiap perlakuan terjadi jumlah yang sama di setiap blok. Luas
ide adalah bahwa kontrol melalui perbandingan terhadap beberapa situasi nol sangat penting

8
untuk membuktikannya intervensi tertentu menghasilkan yang khusus efek. Lebih lanjut, jika
suatu intervensi menghasilkan sebuah jenis efek tertentu, kita perlu membandingkan konsekuensi
dari berbagai perubahan pada intervensi untuk menyelidiki sifat efek itu.
Ketiga, replikasi biasanya penting baik untuk memverifikasi langsung pengulangan kesimpulan
dan juga untuk meningkatkan presisi dan memungkinkan estimasi empiris keandalan efek
pengobatan yang diperkirakan. Replikasi, asalkan itu benar-benar independen, memberi a
panduan untuk reproduksibilitas kesimpulan dan memastikan bahwa batas kepercayaan dan
aspek lain dari analisis statistik memberikan yang wajar penilaian reliabilitas kesimpulan.

Gagasan keempat adalah bahwa faktorial percobaan. Dalam percobaan faktorial, beberapa
pertanyaan diajukan dalam satu percobaan daripada dengan pendekatan satu per satu, dan jadi
rute faktorial mungkin jauh lebih banyak efisien dalam penggunaan sumber daya. Setiap
pertanyaan diwakili dalam desain sebagai faktor yang akan bervariasi, dan setiap kombinasi
faktor ditugaskan ke unit eksperimental. Salah satu contohnya adalah dua berbagai jenis
perubahan dalam kebijakan, masing-masing diterapkan untuk jangka pendek, menengah, atau
panjang periode dan masing-masing diimplementasikan dalam lemah atau bentuk yang kuat. Ini
menghasilkan 2 × 3 × 2 kemungkinan, dan percobaan faktorial akan melibatkan semua ini,
masing-masing biasanya diterapkan pada angka unit eksperimental yang berbeda (lihat Ledolter
& Swersey 2007 tentang desain faktorial). Faktorial desain memungkinkan untuk estimasi
statistik interaksi yang mungkin penting untuk interpretasi. Dalam perpanjangan ide, beberapa
faktor dapat merujuk pada sifat dasar dari pelajarilah individu: usia, jenis kelamin, dan etnis,
misalnya. Tidak adanya interaksi penting efek pengobatan dengan sifat-sifat dasar ini dapat
menjadi sumber dukungan penting untuk generalisasi. Eksperimen faktorial sering digunakan
dalam ilmu sosial, khususnya dalam konteks eksperimen survei.

Desain Eksperimen
Ada beberapa tahapan dalam desain sebuah percobaan. Menjaga tujuan penelitian dalam
pikiran, peneliti memulai dengan jelas menguraikan pengobatan alternatif di bawah investigasi,
perawatan yang sering terdiri dari semua atau sebagian besar kombinasi sejumlah faktor (yaitu
variabel). Peneliti memilih unit eksperimental (atau subjek) dan catatan fitur dasar yang tepat
dari unit untuk memungkinkan perbandingan pra dan pasca perawatan kondisi. Selanjutnya,
peneliti mengalokasikan satu perawatan untuk setiap unit eksperimental. Dalam arti sempit,

9
prosedur untuk menetapkan perawatan untuk unit eksperimental sebenarnya apa merupakan
pilihan spesifik eksperimen rancangan. Hasil yang diinginkan haruslah diidentifikasi, dan
prosedur untuk mengukur hasil juga harus ditentukan. Sebagaidesain diimplementasikan dalam
percobaan pengaturan — laboratorium, lapangan, atau survei — hati-hati pemantauan akan
memastikan bahwa kedua desain diimplementasikan secara akurat dan dapat dilakukan
disesuaikan bila perlu.
Dalam merencanakan desain, tujuan peneliti untuk mengingat empat persyaratan utama dalam
pikiran. Pertama, desain harus mampu memberikan kesimpulan yang bebas dari kesalahan
sistematis dan lebih luas ambiguitas interpretasi. Pentingnya persyaratan ini disorot dalam
percobaan Hawthorne, di mana temuan percobaan tidak mungkin jelas ditafsirkan sehubungan
dengan pertanyaan penelitian yang menarik (sebuah aspek yang, agak ironisnya, mengamankan
tempat penelitian sebagai klasik sosiologis). Kedua, statistik kesalahan estimasi terkait dengan
desain harus dikurangi ke tingkat yang wajar dan itu harus mungkin untuk memperkirakan
besarnya kesalahan tersebut, misalnya dengan menghitung interval kepercayaan untuk ukuran
perbandingan apa pun diperkirakan. Idealnya, presisi yang memadai akan menjadi tercapai
secara ekonomis layak, dan interval kepercayaan tidak akan terlalu lebar. Ketiga, seharusnya
relatif sederhana untuk mengimplementasikan desain andal. Desainnya terlalu rumit dihindari.
Dan keempat, terutama untuk investigasi yang dimaksudkan sebagai dasar untuk aplikasi praktis
pada front yang luas, kesimpulannya harus memiliki rentang validitas yang luas. Dalam
investigasi besar, terutama yang dari jenis novel, kecil investigasi percontohan sering dilakukan
untuk memungkinkan desain untuk diuji dan disempurnakan sebelumnya implementasi akhir dan
pengumpulan data. Sejauh mana keempat persyaratan tersebut dapat harus dipenuhi
kemungkinan berbeda tergantung pada apakah desain diterapkan di laboratorium, lapangan, atau
konteks survei, seperti yang kita diskusikan di bawah ini. Misalnya, mungkin lebih sulit untuk
memuaskan persyaratan yang ketiga — bahwa itu harus relatif sederhana untuk
mengimplementasikan desain dengan andal — dalam suatu bidang percobaan daripada dalam
studi laboratorium.

Pilihan Unit Eksperimental dan Validitas Eksternal

Unit eksperimental adalah entitas fisik itu tunduk pada perawatan dan atas mana hasil akan
dicatat; itu sesuai dengan subdivisi terkecil dari sistem di bawah investigasi sedemikian rupa
sehingga dua unit mungkin menerima perawatan yang berbeda. Terkadang mungkin diinginkan

10
atau bahkan penting untuk menggunakan entitas fisik yang sama beberapa kali berbeda unit
eksperimental, umumnya dikenal sebagai sebuah desain dalam subjek dalam ilmu sosial. Jadi,
dalam eksperimen laboratorium, unit eksperimental akan sering menjadi sesi subjek kombinasi,
setiap subjek mengambil bagian dalam beberapa sesi. Pengaturan ini mungkin efisien dalam arti
bahwa kontras pengobatan bisa dipelajari bebas dari intersubject sederhana, sistematis
perbedaan, dan itu sangat menarik jika jumlah mata pelajaran yang tersedia terbatas. Itu
Eksperimen psikologi sosial klasik dirancang oleh Triplett (1898) termasuk subjek dalam
komponen, dengan masing-masing subjek selesai tugas yang sama enam kali di bawah dua
perlakuan yang berbeda (kompetisi, tidak ada atau hadir); sebuah fitur penting dari analisis
adalah perbandingan subjek kinerja di bawah perawatan yang berbeda. Kesulitan potensial
dengan dalam desain subjek adalah bahwa hasilnya diamati pada unit tertentu mungkin tidak
tergantung hanya pada perawatan yang dialami dalam hal itu sesi tetapi mungkin pada perawatan
yang subjek diterima di sesi sebelumnya. Cocok jarak sesi dapat meringankan masalah, dan jika
disebut efek sisa atau sisa terbatas pada satu sesi, desain yang sesuai dan analisis akan
memperbaiki itu. Kemungkinan ketergantungan yang lebih kompleks pada pengalaman subjek
sebelumnya adalah sebuah perhatian utama. Seperti yang kita diskusikan di bawah ini, standar
protokol untuk laboratorium ekonomi eksperimental adalah penipuan yang dilarang, sebuah
protokol yang telah muncul, sebagian, untuk memastikan bahwa pengalaman sebelumnya dari
subjek eksperimental tidak mencemari studi selanjutnya.

Pilihan unit eksperimental adalah konsekuensi untuk apa yang disebut oleh para ilmuwan sosial
validitas eksternal, dikenal juga sebagai rentang validitas dan, yang terbaru, sebagai kemudahan
pengangkutan (Pearl & Bareinboim 2011). Kekhawatiran validitas eksternal sejauh mana
kesimpulan suatu penelitian dapat diterapkan lebih umum, dan itu tergantung keduanya
generalisasi dari sampel unit eksperimental dan pada generalisasi konteks di mana eksperimen
berlangsung.

Untuk studi berbantuan langsung pada umumnya teori ilmu sosial atau kebijakan publik,
berbagai validitas mengenai unit eksperimental berpotensi tergantung pada tiga aspek. Yang
pertama adalah kemungkinan dukungan dari teori atau eksternal informasi, yang menyediakan
dasar untuk sebuah mengklaim bahwa temuan eksperimental kemungkinan besar menjadi
konstan di seluruh individu dan konteks, dan karenanya digeneralisasikan. A dibangun dengan

11
baik teori sosiologis akan menentukan kondisi ruang lingkup di mana teori akan berlaku dan
dimana temuan akan digeneralisasikan (pada kondisi ruang lingkup lihat terutama Walker &
Cohen 1985, Cohen 1988). Yang kedua dan Aspek yang paling penting segera dalam desain
adalah penggunaan karakteristik kunci dari penelitian ini individu dengan harapan menunjukkan
stabilitas efek utama sehubungan dengan karakteristik ini (lihat, misalnya, Cox 1958, hlm. 9-11).
Jadi, tergantung pada konteksnya, verifikasi itu kesimpulan yang diterapkan tanpa memandang
jenis kelamin, usia, dan etnis akan memberikan dasar bagi ekstrapolasi. Yang ketiga adalah
individu yang diteliti adalah, jika bukan sampel terhormat dalam a pengertian formal, setidaknya
secara luas mewakili populasi target. Penekanan pada masing-masing tiga aspek ini berbeda
antara laboratorium, percobaan lapangan, dan survei, yang kami diskusikan lebih detail di bawah
ini.
Rentang validitas mengenai konteks eksperimental hanya bergantung pada apakah konteks
percobaan — mis., laboratorium, lapangan, survei — memberikan dasar yang tepat untuk
generalisasi. Lingkungan yang sangat artifisial mungkin menjadi ancaman bagi validitas
eksternal bahkan ketika unit-unit eksperimental sangat mewakili populasi yang diminati. Yang
penting, untuk penyelidikan terperinci dari fenomena baru, validitas eksternal mungkin menjadi
perhatian yang relatif sedikit. Misalnya, untuk mempelajari secara mendalam penyebaran infeksi
baru atau penyebab kerusuhan sosial, itu akan menjadi sesuai untuk berkonsentrasi pada area di
mana infeksi atau keresahan adalah hal biasa keterwakilan umum.

Pilihan Perawatan
Dalam beberapa hal, aspek yang paling krusial desain eksperimental adalah spesifikasi
perawatan, perbandingan yang akan menghasilkan kesimpulan menarik yang bebas dari
ambiguitas penafsiran. Struktur perawatan paling sederhana hanya memiliki dua perawatan,
sering dianggap sebagai kontrol atau pengobatan nol dan positif pengobatan atau intervensi.
Adalah penting untuk itu keduanya ditentukan dengan jelas, dan sedemikian rupa bahwa setiap
perbedaan hasil yang ditemukan memiliki kejelasan interpretasi yang mendasarinya. Itu
mungkin untuk dimiliki sejumlah perawatan yang berbeda secara kualitatif dengan atau tanpa
kontrol. Seperti dijelaskan di atas, pendekatan yang umum adalah menggunakan desain faktorial
di mana perawatan diidentifikasi oleh beberapa fitur yang jelas, masing-masing bisa tentukan
pengobatan baru sendiri. Biasanya, berbagai perawatan akan direplikasi secara sama, meskipun
pengecualian dapat dibuat ketika beberapa perawatan lebih mahal atau memakan waktu untuk

12
mendaftar, atau ketika ada adalah kontrol dan beberapa perawatan lainnya dan penekanan
utamanya adalah membandingkan yang lain perawatan secara individual dengan kontrol kapan
replikasi tambahan dari kontrol diinginkan.

KONTEMPORER DESAIN EKSPERIMENTAL DALAM ILMU SOSIAL

Di bagian ini, kami mempertimbangkan kelas yang berbeda eksperimen yang biasa diterapkan
dalam ilmu sosial dan membahas masalah desain yang terkait dengan masing-masing. Kelas
eksperimen yang kami fokuskan adalah eksperimen laboratorium, eksperimen lapangan, dan
eksperimen survei. Untuk sampai batas tertentu, pembagian desain eksperimental ini ke dalam
kelas yang berbeda adalah arbitrer, tetapi sebagai kategori dipahami dengan baik oleh para
ilmuwan sosial, kategorisasi ini sesuai di sini. Untuk setiap kelas percobaan, kami berikan
contoh dari jenis pekerjaan yang dilakukan menggunakan desain ini dalam sosiologi dan ilmu
sosial lainnya, seperti serta penilaian kekuatan dan kelemahan kelas eksperimen dalam kaitannya
dengan prinsip-prinsip desain.

Eksperimen Laboratorium
Eksperimen laboratorium umumnya dipahami sebagai yang paling dekat dengan jenis
eksperimen umum di beberapa bagian ilmu alam, di mana mereka terjadi di lokasi fisik yang
ditentukan oleh peneliti, dan peneliti memiliki tingkat kontrol yang tinggi terhadap perawatan
dan kondisi eksperimental lainnya. Laboratorium Eksperimen dalam sosiologi biasanya
dijelaskan sebagai didorong secara empiris atau didorong oleh teori, alternatifnya diberi label
deskriptif atau formal (mis., Martin & Jual 1979, Thye 2007, Walker & Willer 2007).
Eksperimen yang digerakkan secara empiris bertujuan untuk membangun keteraturan empiris,
sehingga umum kesimpulan tentang fenomena dunia nyata bisa ditarik. Sebaliknya, eksperimen
berbasis teori bertujuan untuk mengisolasi proses sebab akibat dan menguji teori. Dimana ilmiah
sosialnya dirumuskan dengan baik Ada teori, eksperimen berbasis teori memungkinkan peneliti
untuk menciptakan kondisi di bawah hubungan kausal mana yang dapat diidentifikasi.
Penggunaan kata teori dalam konteks ini adalah berbeda dari penggunaan dalam ilmu-ilmu alam,
Namun, di mana kata hipotesis akan berada digunakan untuk proposal yang disarankan untuk
sementara dasar untuk interpretasi.
Eksperimen laboratorium secara historis memiliki peran yang relatif kecil dalam ilmu sosial

13
pengumpulan data, meskipun yang penting. 3 Bidang psikologi sosial dalam sosiologi memiliki
sebuah tradisi eksperimental lama, dengan bidang penelitian signifikan berdasarkan pengujian
teori pusat, terutama negara harapan teori dan teori pertukaran (untuk ringkasan dari teori
sebelumnya, lihat Berger et al. 1977, Berger & Wagner 1993, Berger & Webster 2006; untuk
ringkasan teori terakhir, lihat Cook et al. 1990, Molm & Cook 1995, Molm 2007). Pada yang
pertama, tes eksperimental negara menyatakan teori memanipulasi status karakteristik di dalam
dan di antara yang diakui kelompok sosial (mis., pria dan wanita, muda dan lama) di
laboratorium untuk memeriksa apakah sosial perbedaan membentuk dasar perbedaan status yang
selanjutnya memengaruhi perilaku (mis., Ridgeway 1991, 2001; Ridgeway et al. 1998, 2009;
Ridgeway & Erickson 2000; Ridgeway & Correll 2006; Berger 2007). Yang terakhir, psikolog
sosial yang bekerja di bursa Tradisi teori berpendapat bahwa interaksi manusia harus dipahami
dalam konteks pertukaran hubungan, di mana individu menawarkan barang material dan
nonmateri dengan harapan bahwa mereka akan menerima barang serupa sebagai gantinya (mis.,
Blau 1955, 1964; Homans 1958; Masak 1987). Eksperimen laboratorium dirancang untuk
memanipulasi kedua jejaring sosial di dalamnya pertukaran mana yang akan dilakukan juga
bentuk pertukaran sosial (Cook & Emerson 1978; Cook et al. 1983; Molm et al. 2000, 2001;
Cook & Cooper 2003). Ringkasan yang bermanfaat tentang peran eksperimen laboratorium
dalam menguji harapan menyatakan teori dan pertukaran teori dapat ditemukan di Bonacich &
Light (1978).

Eksperimen Lapangan

Perbedaan antara eksperimen laboratorium dan lapangan tampaknya dipahami dengan baik oleh
para ilmuwan sosial, yang jika diminta untuk menggambarkan perbedaan antara keduanya
mungkin akan menyatakan sesuatu yang sejalan dengan yang berikut: Eksperimen lapangan
dibedakan dari eksperimen laboratorium berdasarkan yang terjadi di konteks dunia nyata. Tetapi,
pada kenyataannya, sangat sulit untuk menentukan perbedaan antara eksperimen laboratorium
dan lapangan. kami menentukan definisi percobaan lapangan Humphrey & Weinstein (2009),
karena ini dengan ringkas menangkap perbedaan yang ingin kami sorot. Dengan demikian,
kualitas dunia nyata yang secara tidak langsung diakui oleh para ilmuwan sosial sebagai ciri
pembeda dari eksperimen-eksperimen lapangan berasal dari kurangnya kontrol peneliti terhadap

14
eksperimen begitu perawatan telah dilaksanakan dalam lingkungan alami. Dalam hal ini,
percobaan Hawthorne paling baik digambarkan sebagai percobaan lapangan, meskipun dengan
tingkat kontrol yang lebih ketat daripada yang mungkin dilakukan dalam penelitian lain.

Kekhawatiran tentang validitas eksternal percobaan laboratorium selalu bertindak untuk

meningkatkan daya tarik eksperimen lapangan kepada sosiolog (untuk diskusi tentang
eksperimen lapangan berpengaruh di luar sosiologi, lihat de Rooij et al. 2009, Humphreys &
Weinstein 2009, Green & John 2010) . Eksperimen lapangan dipahami memiliki kemampuan
untuk menguji pertanyaan kausal dalam lingkungan yang sebagian besar dapat digeneralisasikan
terhadap perilaku manusia seperti yang terjadi di alam liar, demikianlah. Salah satu bidang di
mana eksperimen lapangan sangat disukai adalah studi tentang diskriminasi, sebuah fenomena
yang biasanya ditafsirkan sebagai salah, tidak adil, dan dalam banyak kasus ilegal. Mengingat
sifat praktik diskriminasi yang menyimpang, hampir semua metodologi penelitian observasi
alternatif hanya dapat memberikan bukti yang buruk (dan mungkin menyesatkan) tentang luas
dan sifat diskriminasi. Desain standar untuk studi eksperimental diskriminasi adalah tes
korespondensi, dan kami di sini menggambarkan desain ini karena akan diterapkan untuk
mempelajari diskriminasi ras dalam perekrutan. Peneliti mengambil peran sebagai karyawan
potensial, membuat aplikasi untuk sejumlah pekerjaan.

Suatu bentuk percobaan lapangan yang tidak kami pertimbangkan secara rinci di sini adalah uji
coba, atau studi intervensi kebijakan, juga diberi label pengalaman sosial (mis., Greenberg &
Shroder 2004). Percobaan adalah untuk semua maksud dan tujuan percobaan lapangan, tetapi
mereka cenderung dilakukan pada skala yang lebih besar daripada kebanyakan eksperimen
bidang ilmu sosial, dan mereka bertujuan untuk mengevaluasi efek intervensi kebijakan tertentu
pada hasil sosial. Eksperimen ini sangat penting untuk disiplin ilmu di mana ada minat yang
signifikan dalam mengubah perilaku manusia dan / atau proses sosial, seperti kriminologi dan
penelitian pendidikan. Untuk diskusi tentang masalah desain dalam konteks eksperimen sosial,
lihat Bloom (2005), serta Michalopoulos (2005), Riecken & Boruch (1978), Cook & Shadish
(1994), dan untuk ringkasan eksperimen sosial tertentu, lihat Greenberg & Shroder (2004).

Eksperimen Survei

15
Kelas eksperimen terakhir yang kami pertimbangkan adalah eksperimen survei, juga dikenal
sebagai eksperimen survei berbasis populasi. Hanya untuk penggunaan pribadi. SO39CH02-
Jackson ARI 27 Juni 2013 10:38 percobaan survei berbasis populasi adalah percobaan yang
diberikan kepada sampel populasi representatif. ... [Ini] menggunakan metode survei sampling
untuk menghasilkan koleksi subjek eksperimental yang mewakili populasi target yang diminati
untuk teori tertentu.

Dalam eksperimen survei, peneliti menekankan desain eksperimental dalam survei sampel,
sering kali bersama instrumen survei standar (seperti yang mengukur informasi demografis atau
niat memilih). Perawatan ditugaskan secara acak untuk individu yang berpartisipasi dalam
survei. Satu desain umum, yang dikenal sebagai survei faktorial, menggunakan sketsa untuk
mengukur sikap terhadap subjek atau kelompok (untuk lebih lanjut tentang penggunaan sketsa
dalam eksperimen survei, lihat Alves & Rossi 1978, Rossi 1979, Rossi & Anderson 1982, Rossi
& Nock 1982). Vignet adalah deskripsi hipotetis individu atau situasi yang pendek, dan secara
faktorial.

survei, peneliti merancang sejumlah sketsa untuk memanipulasi sikap responden terhadap "objek
penilaian" (Mutz 2011, hal. 54). Misalnya, Jasso & Opp (1997) menggunakan survei faktorial
untuk mengukur norma-norma seputar protes politik di kota Leipzig. Mereka mengidentifikasi
beberapa fitur potensial yang dapat membuat individu merasa berkewajiban untuk melakukan
protes politik, termasuk tingkat ketidakpuasan terhadap sistem, jenis tindakan protes yang
tersedia, dan tingkat risiko pribadi yang diharapkan dengan berpartisipasi dalam protes politik .
Mereka kemudian merancang sketsa yang memvariasikan fitur-fitur ini: 504 sketsa yang berbeda
dibangun untuk mewakili semua kombinasi perawatan yang diinginkan, di mana 36 sketsa
dikeluarkan untuk alasan masuk akal. Setiap responden diminta untuk mengevaluasi 10 sketsa
yang dipilih secara acak, dan evaluasi ini terdiri dari variabel hasil analisis. Karena itu minat
dalam menilai efek dari perawatan, baik sendiri dan dalam kombinasi dengan perawatan lain,
pada penilaian evaluatif (atau sikap). Dengan demikian, eksperimen survei memenuhi banyak
kriteria yang diidentifikasi sebelumnya sebagai fitur desain eksperimental yang kuat. Tetapi
mungkin fitur yang paling menarik dari eksperimen survei bagi para ilmuwan sosial adalah,
seperti eksperimen lapangan, mereka terlihat mendapat manfaat dari tingkat validitas eksternal

16
yang tinggi karena percobaan dilakukan pada sampel yang representatif dari orang-orang di luar
laboratorium. Tingkat validitas eksternal yang tinggi ini digabungkan dengan tingkat validitas
internal yang sama tingginya; peneliti mempertahankan kontrol atas kondisi eksperimental
dengan cara yang sama seperti di laboratorium. Konsekuensinya, hasil percobaan survei
dipandang mudah digeneralisasikan dan sesuai untuk menguji hipotesis sebab-akibat.

BEBERAPA PERTIMBANGAN UMUM

Meskipun keutamaan metode pengamatan dalam ilmu sosial, dan sosiologi khususnya, metode
eksperimental telah memiliki pengaruh substansial dan terus berkembang. Dalam ulasan ini,
kami telah memberikan contoh jenis pertanyaan ilmu sosial yang dapat diterima untuk
penyelidikan eksperimental dan alat desain yang tersedia untuk menjawab pertanyaan-
pertanyaan itu. Tetapi sebelum memulai terburu-buru untuk bereksperimen, sosiolog yang serius
mungkin ingin mempertimbangkan tidak hanya masalah desain eksperimental yang ditinjau di
sini, tetapi juga peran eksperimen dalam produksi pengetahuan ilmiah.

Metode eksperimental sangat kuat, terutama dalam menghilangkan sebagian besar peran
kontaminan pembaur yang tidak teramati dan dengan demikian membuat penjelasan kausal lebih
aman, tetapi sebagian besar kekuatan itu berasal dari integrasi metode eksperimental dengan
praktik ilmiah yang mapan. Tiga (terkait) fitur praktik ilmiah harus disorot: peran teori,
pentingnya replikasi, dan peran batas-batas disiplin ilmu. Pertanyaan penelitian yang ketat dan /
atau hipotesis terkait dengan teori merupakan landasan penting dari penemuan ilmiah, dan di
mana tujuannya adalah untuk menarik kesimpulan yang relevan secara teoritis dan bermakna dari
penelitian empiris, teori dan metode harus diintegrasikan. Misalnya, eksperimen dapat digunakan
untuk menguji hipotesis yang berasal teori yang sudah mapan atau untuk membangun
keteraturan empiris dasar yang berpotensi membentuk dasar teori baru. Salah satu konsekuensi
dari integrasi teori dan metode adalah bahwa hasil dari studi yang berbeda dapat diukur, dan
dengan demikian pengetahuan kumulatif dimungkinkan. Dalam ilmu sosial, mungkin dengan
pengecualian ekonomi dan psikologi sosial, ada beberapa teori yang diterima umum dari mana
hipotesis dapat diturunkan dan diuji. Sebagai gantinya, ada banyak teori, dan tidak jarang untuk
melihat tes eksperimental teori yang telah ditetapkan hanya beberapa halaman sebelum hasil

17
percobaan dilaporkan. Pada bagian ini dapat dikaitkan dengan status yang dirasakan lebih tinggi
melekat pada pengembangan teori berbeda dengan pengujian teori yang ditetapkan. Tetapi
hasilnya adalah kurangnya koherensi, pola titik-titik kecil cahaya yang tidak bisa dipahami di
langit yang gelap.

Batas-batas disiplin ilmu dalam ilmu sosial sampai batas tertentu membatasi kegunaan saat ini
dari metode eksperimental. Batasan-batasan ini menghambat pembentukan teori umum tentang
perilaku manusia dengan memasukkan teori individual dalam perdebatan dan terminologi khusus
disiplin, akibatnya meningkatkan biaya replikasi independen oleh mereka yang berada di luar
disiplin ilmu. Batas-batas disiplin juga membatasi sejauh mana hasil eksperimen dibagi di
seluruh bidang khusus, sehingga tes, katakanlah, teori reduksi gangguan kognitif dalam ekonomi
dapat berlangsung tanpa mengacu pada tubuh luas pekerjaan sosial psikologis menguji teorinya

18