Bu hikayenin bir versiyonu CNN’in What Matters haber bülteninde yayınlandı. Gelen kutunuza almak için ücretsiz kaydolun Burada.

CNN
—

Amerikan siyasetini takip ederek zaman geçiren herkes, anketlerle ilgili raporlarla karşılaşmak zorundadır.

Doğru yapıldığında, seçmenleri neyin motive ettiğini ve hangi adayların yankı uyandırdığını anlamak değerli olabilir. Yanlış yapıldığında, yanıltıcı ve verimsizdir.

Bu haber bülteni için, CNN’in anket ve seçim analitiği direktörü Jennifer Agiesta ile hangi anketlerin CNN standartlarını karşıladığı ve bunları nasıl doğru bir şekilde kullanabileceğim hakkında uzun uzun konuşmamın nedeni budur.

2024 seçimleri yaklaşırken, sektör Amerikalıların değişen yaşam ve iletişim biçimlerine uyum sağlarken nelere dikkat edilmesi ve kaçınılması gerektiği konusunda ondan ipuçları istemek için iyi bir zaman gibi görünüyordu. E-posta ile gerçekleştirilen sohbetimiz aşağıdadır.

KURT: Benim izlenimim, oylamanın yükselişi kaçırdığı yönünde. donald 2016’da Trump ve ardından 2022’de ulusal düzeyde Demokratların gücünü kaçırdı. Gerçek nedir?

AGI: Hem 2022’de hem de 2016’da, hepsini bir araya getirdiğinizde, anketin karışık bir sicili olduğunu söyleyebilirim. metodolojik olarak Sesli yoklama – oradaki tüm anket yığınlarından ayrı olarak değerlendirildi – daha iyi sonuç verdi.

Özellikle 2022’de birçok anket aslında mükemmel bir yıl geçirdi: Temsilciler Meclisi’nde yüksek kaliteli anketörler tarafından yapılan ulusal genel oy pusulası, tam olarak olan şey olan hafif bir Cumhuriyetçi tarafla yakın bir yarış buldu ve eyalet anketlerinde, metodolojik olarak sağlam, rekabetçi yarışlarda harika bir geçmişe sahipti.

Örneğin, beş önemli Senato savaş alanındaki CNN eyalet anketlerimiz, aday tahminlerimizi nihai oy çetelesiyle karşılaştırırken ortalama bir puandan daha az bir ortalama hataya sahipti ve çekişmeli beş valilik yarışında bir puandan daha az bir ortalama hataya sahiptik ve Yarım.

Ancak, anket ortalamalarının bazılarını yana yatıran ve belki de “anketlerin” ne gösterdiğine dair hikayeyi çarpıtan partizanlık etkisi taşıyan epeyce anket vardı.

2016’da, ulusal anketlerin aslında oldukça doğru olduğu ve daha büyük sorunların eyalet anketlerinde yaşandığı şeklindeki büyük çıkarımı muhtemelen hatırlıyorsunuzdur.

Bunun bir nedeni, ulusal düzeyde metodolojik olarak daha sağlam işlerin yapılıyor olması ve birçok eyalet anketinin, anketleri yanıtlayanların eğitim düzeyine göre ayarlama yapmamasıydı (“ağırlıklandırma”, bu tür bir ayarlama için anket araştırma terimidir).

Daha resmi eğitime sahip olanların anketlere katılma olasılığı daha yüksek ve Trump döneminde eğitim açısından yeni bölünmüş bir seçmenle, buna göre ayarlanmayan bu anketler, Donald Trump’ı destekleme olasılığı daha düşük olan üniversite mezunu olanları fazla temsil etme eğilimindeydi.

Buna, yarıştaki geç vardiyaların ve son derece yakın yarışmaların kanıtlarına ve kilit eyaletlerdeki bu anketlerin büyük bir kısmının doğru bir tablo çizmediğine dair kanıtlar eklersiniz (yoklama endüstrisinin 2016 sorunlarına ilişkin değerlendirmesi buradadır). Eyalet anketlerinin çoğu artık eğitime göre ayarlanıyor.

KURT: Genel olarak, CNN anketini nasıl yürütür?

AGI: CNN yakın zamanda, yaptığımız işin türüne bağlı olarak birkaç farklı metodoloji kullanarak, insanların bugün iletişim kurma biçimleriyle daha uyumlu olması için oylamamızı yürütme biçimimizde değişiklikler yaptı.

Yılda birkaç kez, Amerika Birleşik Devletleri’ndeki ikamet adresleri listesinden örneklenen 1.500 ila 2.000 katılımcıyla anketler yapıyoruz. Bu yanıtlayanlarla ilk olarak, duruma göre çevrimiçi veya telefonla anketi yanıtlamaya davet eden bir posta yoluyla iletişim kurarız. tercihlerine ve kolaylıklarına göre ve ardından, ulaşılması biraz daha zor olma eğiliminde olan grupların üyeleri olan örneklemdeki kişilere ek bir hatırlatma postası ve biraz telefonla ulaşarak devam ediyoruz.

Bu anketler neredeyse bir ay boyunca sahada kalıyor. Bu süreç, daha yüksek yanıt oranları elde etmemize ve partizanlık ve ideoloji gibi bağımsız, ulusal ölçütlerin bulunmadığı bazı temel siyasi ölçütlerin metodolojik olarak sağlam bir tahminini elde etmemize olanak tanır.

Ayrıca, ankete katılmak için kaydolan, ancak başlangıçta herkesin kaydolabileceği panellerde bulunabilecek bazı önyargılara karşı korunmaya yardımcı olan bilimsel örnekleme yöntemleri kullanılarak işe alınan insanlardan oluşan bir panelden örnekler alarak anket yapıyoruz.

Panel tabanlı anketlerimiz, ne kadar hızlı sahaya çıkmaya çalıştığımıza ve konunun ne kadar karmaşık olduğuna bağlı olarak çevrimiçi, telefonla veya kısa mesajla yapılabilir.

KURT: İyi bir ankette aradığınız işaretler nelerdir ve anket kırmızı bayraklarından bazıları nelerdir?

AGI: Anket metodolojisi konusunda bilgili olmayan kişiler için, ilgilerine değer anketler ile değmeyen anketler arasındaki farkı söylemek gerçekten zor olabilir.

Anketçiler veri toplamak için birçok farklı metodoloji kullanıyor ve iyi bir anket yapmanın tek bir doğru yolu yok.

Ancak, ilki şeffaflık olmak üzere, aranacak birkaç temel gösterge vardır. Bir anketin temelleri hakkında bilgi bulamıyorsanız – bunun için kimin ödeme yaptığı, hangi soruların sorulduğu (yalnızca birinin bir grafiğe koyduğu kısa açıklama değil, tam ifade), anketlerin nasıl toplandığı, kaç kişiye anket yapıldığı , vb. – o zaman muhtemelen çok iyi bir anket değildir.

Saygın anketörlerin çoğu bu tür bilgileri memnuniyetle paylaşacaktır ve sektörde bunu yapmak oldukça standart bir uygulamadır.

İkinci olarak, diğer herhangi bir bilgi parçasında olduğu gibi kaynağı göz önünde bulundurun.

Örneğin Gallup ve Pew, metodolojik uzmanlıkları ve uzun bağımsız, düşünceli araştırma geçmişleri ile tanınırlar. Yayınladıkları her şeyin sağlam bilime dayalı olması ihtimali oldukça yüksektir.

Aynı şekilde, çoğu akademik araştırma merkezi ve bağımsız medyadan birçok anket kuruluşu, metodolojik olarak sağlam olmak için doğru adımları atıyor.

Ancak geçmiş performansı olmayan ve metodoloji konusunda belirsiz ayrıntılara sahip bir anketör olsam muhtemelen pas geçerdim.

Ayrıca seçim kampanyasına şüpheyle yaklaşmayı da söyleyebilirim. Kampanyalar genellikle yalnızca kendi çıkarlarına hizmet ettiğinde anketler yayınlar, bu yüzden bu rakamlara karşı temkinli davranırım.

Aynı şekilde, belirli bir ürün veya hizmete duyulan ihtiyacı kanıtlıyor gibi görünen halka açık bir pazar araştırması – örneğin, Amerikalıların iyi uyumadığını söyleyen bir anket yayınlayan bir yatak şirketi – belki onu da almayın. cidden ya.

KURT: Önümüzdeki ilk sezon, Iowa, New Hampshire ve Güney Carolina gibi belirli erken yarışma eyaletlerine odaklanan anketler olduğu için kendi zorluklarını sunuyor. Özellikle bu erken yarışma anketleriyle ilgili herhangi bir tavsiyeniz var mı?

AGI: Ön seçmenlere oy vermek herkesin bildiği gibi zordur. Muhtemel seçmenleri belirlemek daha zordur, çünkü bunlar oldukça düşük katılımlı yarışmalar olma eğilimindedirler, kimlerin katılıp katılamayacağına ilişkin kurallar eyaletten eyalete değişir ve anketörlerin örnekleme için kullanabilecekleri seçmen listelerinin kalitesi eyalete göre değişir. .

Bunun da ötesinde, seçimler yaklaştıkça, adayların alanı ve yarışın ana hatları, bir yarışma başlamadan hemen önce değişebilir – Güney Carolina ön seçimleri ile 2020’deki Süper Salı arasındaki iki günde Demokratik alanın nasıl dramatik bir şekilde daraldığını hatırlayın. Örnek olarak.

Bu nedenle, birincil oylamaya baktığınızda, anketlerin zamanın anlık görüntüleri olduğunu ve gelecekteki olayların ille de büyük tahmincileri olmadığını hatırlamak çok önemlidir.

KURT: Benim gibi genel tüketicilerin bir anketten görmek istedikleri çoğu, hangi adayın önde olduğudur. Ama anketin at yarışı yönüne odaklanmama konusunda uyarıda bulunduğunuzu duydum. Neden?

AGI: Bu uyarının birkaç nedeni var.

Birincisi, herhangi bir yoklamanın örnekleme nedeniyle bir hata payı vardır. En doğru anket bile, içinde yerleşik bir miktar gürültü olasılığına sahiptir, çünkü herhangi bir örnek, alındığı daha büyük havuzun mükemmel bir ölçüsü olmayacaktır.

Bu nedenle, 5 puanlık bir farktan daha yakın olan herhangi bir yarış, anketlerde çoğunlukla yakın bir yarış gibi görünecektir.

Bu durumda oylamanın değeri iki yönlüdür: Bir yarışın neden yakın olduğu veya her adayın sahip olduğu avantajlar hakkında size ne söyleyebilir ve benzer metodolojilere sahip birden fazla anket yaptığınızda, bir yarışın nasıl olduğu hakkında bir fikir edinmeye başlayabilirsiniz. trend.

Anket, seçmenler için hangi konuların daha önemli olduğunu, seçmenlerin farklı kesimlerinin ne kadar hevesli olduğunu ve insanların kişisel özellikleri veya iş performansları açısından adaylar hakkında ne düşündüklerini ölçmek için harikadır. Bu ölçüler size bir yarışın durumu hakkında yalnızca bir at yarışı ölçüsünden elde edemeyeceğiniz çok şey söyleyebilir.

KURT: Nedir Bir seçimde kimin önde kimin geride olduğunu takip etmenin en iyi yolu nedir?

AGI: Zaman içindeki eğilimlere baktığınızda, farklı verileri anlamlandırmanıza yardımcı olabilecek birkaç taktik vardır.

En iyi seçenek, tek bir ankette trend çizgisini takip etmektir. Bir anketör aynı metodolojiyi sürdürüyorsa, bir yarışın o anketin trend çizgisinde hareket edip etmemesi size nasıl şekillendiği hakkında çok şey söyleyebilir.

Yine de, her anketör aynı ırk için birden fazla anket yapmadığından, bunu bulmak bazen zor olabilir.

Zaman içindeki değişimi ölçmenin bir başka iyi yolu da, anketlerin ortalamasına bel bağlamaktır, ancak 2022’de öğrendiğimiz gibi, bu ortalamalar, aynı anketörden birden fazla anket gibi şeyleri nasıl ele aldıklarına veya anket yapıp yapmadıklarına bağlı olarak oldukça büyük ölçüde değişebilir. partizan eğilimli anketler dahil.

KURT: Sabit hattım yok ve garip numaralar için telefonuma cevap vermem. Anketin yeterince geniş bir insan kitlesine ulaştığını düşünmemize neden olan nedir?

AGI: Bugünlerde birçok anket telefon dışındaki yöntemlerle yapılıyor.

Mayıs veya Haziran aylarında Joe Biden’ın onay notu hakkında CNN’in raporlama standartlarını karşılayan anketler yayınlayan 13 farklı anketöre bakıldığında, yalnızca altısı anketlerini tamamen telefonla gerçekleştirdi. Ve bu telefon anketörleri, sabit hatlardan çok daha fazla cep telefonunu arıyor.

Herhangi bir anket için en önemli şey, nasıl yapılırsa yapılsın, ankete cevap vermeyenleri temsil eden insanlara ulaşmasıdır ve şimdiye kadar, birden fazla olası metodoloji aracılığıyla doğru karışıma ulaşılabileceği görülüyor.

KURT: Anketörlerin ulaşmakta zorlandıklarını kabul ettikleri belirli insan grupları var mı? Düzeltmek için ne yapılıyor?

AGI: Anketörlerin erişimin diğerlerinden daha zor olduğunu bildiği birkaç demografik grup var – gençler, daha az resmi eğitime sahip olanlar, Siyah ve Hispanik Amerikalılar en dikkate değer olanlar arasında – ve 2020 seçim anketinin neden ters gittiğine dair hakim teori, bazı Cumhuriyetçilerin diğerlerine göre anketlere katılma olasılıkları daha düşüktü.

Anketörlerin bununla mücadele etmek için çeşitli teknikleri var.

Katılabilecek kişilerin demografik ve politik özelliklerini önceden bildikleri çevrimiçi panellerden yararlanan bazı anketörler, örnekleme planlarında bunu hesaba katacaktır.

Telefonla anket yapanlar, bir seçmen listesinden alınan ve bu bilgilerin bir kısmının seçmenin iletişim bilgileriyle bağlantılı olduğu bir örneği kullandıklarında benzer bir şey yapabilirler.

Ve bir anketör, ulaşılması zor bir grup üzerinde gerçekten derinlemesine araştırma yapmak istiyorsa, o grup içindeki tahminlerinin istatistiksel gücünü artırmak için o gruptan daha fazla sayıda kişiye kasıtlı olarak ulaşmak için bir üst örnekleme yapabilir.

KURT: Anketörlerin karşılaştığı bir sonraki büyük zorluk nedir?

AGI: Pekala, bir sonraki seçim, anketörler için bir sonraki büyük mücadele için her zaman iyi bir aday!

Ancak bence tüm bunların önündeki en büyük zorluk, insanlara ulaşmak ve onları araştırmaya dahil etmek için doğru yolları bulduğumuzdan emin olmak. Sektörün liderleri, temsili, tekrarlanabilir işler üretirken kısa mesaj, sosyal medya ve yapay zeka gibi araçları kullanmanın doğru yollarını düşünüyor.

Seçimler, anket araştırmasının dikkat çekici kısmıdır, ancak anketörler, günlük yaşamın pek çok alanında tutum ve davranışları ölçerler; anket yöntemleri, insanların iletişim kurma biçimine ayak uyduramadığı takdirde toplum anlayışımız gerçekten zarar görür. Gelişmeye devam ettiğini görmek beni heyecanlandırıyor.