女士品茶

在統計實驗的設計中，女士品茶是羅納德·愛爾默·費沙（Ronald Fisher）設計的隨機實驗，並在他的《實驗設計》（The Design of Experiments，1935）一書中得到記錄。該實驗是費沙對虛無假設「從未被證明或建立，但可能在實驗過程中被推翻」概念的原始闡述。

實驗詢問，當一杯茶備好時，受試者能否分辨出是否在沖茶之前添加了牛奶

羅納德·費舍爾（Ronald Fisher），1913年

受試者是費舍爾的同事，也是一位藻類學家繆麗·布里斯托，她聲稱能夠辨別沖茶時先放的是茶還是牛奶。費舍爾提出隨機給她8杯茶，其中4杯先放茶，4杯先放牛奶，然後便可知道她碰巧猜對特定杯數的可能性。

費舍爾的描述只有不到10頁，以其在術語、計算和實驗設計方面的簡潔和完整而著稱。該示例大致基於費舍爾生活中的一個事件。使用的測試是費沙精確檢驗。

實驗內容

事先準備八杯奶茶，其中四杯先加牛奶再加入茶，另外四杯先加茶再加牛奶，共有兩種沖泡方式。之後由受試者以隨機順序試喝八杯奶茶。過程中，受試者可以多次試喝同一杯茶以前後比較，並已經明確知曉兩種沖泡方法的茶各有四杯。最終由受試者回答每杯茶分別屬於何種沖泡方式。

這項檢驗的虛無假設是受試者並沒有任何能力區別沖泡方法。在費沙的方法中並沒有對立假設，不同於內曼-皮爾遜引理的方法。

統計檢驗量的形式很簡單，是受試者正確地選出其中一項沖泡方式（例如先加牛奶再加茶）的次數。也就是說，受試者從八杯中選出四杯屬於先加牛奶者，再事後比對該四杯中有幾杯確實屬於先加牛奶。在此例中要求受試者從八杯茶選出四杯茶，可利用組合數計算所有可能組合數：

${\binom {8}{4}}={\frac {8!}{4!(8-4)!}}=70$

並可區分為0至4杯正確，共五種情況：

各種正確次數對應的組合數。

正確次數	組合	組合數
0正確	oooo	${\binom {4}{0}}\times {\binom {4}{4-0}}={\frac {4!}{4!\times 0!}}\times {\frac {4!}{0!\times 4!}}=1$
1正確	ooox, ooxo, oxoo, xooo	${\binom {4}{1}}\times {\binom {4}{4-1}}={\frac {4!}{3!\times 1!}}\times {\frac {4!}{1!\times 3!}}=16$
2正確	ooxx, oxox, oxxo, xoxo, xxoo, xoox	${\binom {4}{2}}\times {\binom {4}{4-2}}={\frac {4!}{2!\times 2!}}\times {\frac {4!}{2!\times 2!}}=36$
3正確	oxxx, xoxx, xxox, xxxo	${\binom {4}{3}}\times {\binom {4}{4-3}}={\frac {4!}{1!\times 3!}}\times {\frac {4!}{3!\times 1!}}=16$
4正確	xxxx	${\binom {4}{4}}\times {\binom {4}{4-4}}={\frac {4!}{0!\times 4!}}\times {\frac {4!}{4!\times 0!}}=1$
總和		70

上述正確次數所對應的組合次數有以下關係；若是0次正確，很明顯地僅對應一種情況，即受試者完全錯誤地挑出其中四杯茶；若是1次正確，表示受試者僅正確挑出四杯中的一杯（共${\binom {4}{1}}=4$種情況），同時錯誤地挑出四杯中的三杯（共${\binom {4}{3}}=4$種情況）為獨立事件，故共有4 × 4 = 16種情況；以此類推。這顯示了正確次數的概率分佈X屬於超幾何分佈：

$X\sim \operatorname {Hypergeometric} (n=4,K=4,N=8)$

若虛無假設（即受試者不能區別沖泡方式）為真，在第一型錯誤率上限5%的設定下，此例應拒絕虛無假設（受試者無法區別沖泡方式）的拒絕域僅包括了受試者達成「4正確」結果。這是因為在所有70種情況下，發生「4正確」結果的概率為1/70（約1.429%），但發生「4正確」或「3正確」的概率則有(16 + 1) / 70≈24.286%，超過先前設定的第一型錯誤率上限。換句話說，唯有當受試者完全正確地挑出屬於先加牛奶再加茶的4杯茶，費沙才會有信心認為受試者有區別沖泡方式的能力（因為在實際上受試者不能區別沖泡方式時，這個結論錯誤的幾率只有1.429%），儘管量化這一能力不在他考慮範圍之內。

費沙在書中亦討論了增加測試杯數與重複測試對檢驗的益處。例如，增加茶杯數至12杯（二種沖泡方式各6杯），或是原本8杯的實驗重覆進行二次，則可以提高檢驗的統計功效而更敏感地偵測出能夠區別沖泡方式的受試者。

在戴維·薩爾斯伯格的的著作《女士品茶：統計學如何變革了科學和生活》中，費沙的同事費爾菲爾德·史密斯（H. Fairfield Smith）透露了故事的結尾：這位叫繆麗的女士確實地猜中了全部8杯茶的沖泡方式，成功地證明了自己。

反響

德巴布拉塔·巴蘇認為「女士品茶」這一知名案例是實驗數據隨機化分析的兩大支柱之一。

參見

• 超幾何分佈
• 排列檢驗
• 隨機分配
• 重抽樣