【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格:https://bit.ly/3rPadlk
(圖文同步、畫好重點,閱讀更方便)
.
最近這兩週我在研究A/B測試,
何謂A/B測試我就直接引用文章內的話:
「針對某一需要改進的功能、頁面或是產品,提供兩種或以上的方案,合理分配流量,將不同方案发布給不同用戶。在運行一段時間後,結合各項指標和科學的統計方法,對比實驗數據做出決策,將最優方案更新給全量用戶。」
.
因此,A/B測試在現今網路行業中被用的相當頻繁,
Google更是把A/B測試視為圭臬,
大到一個功能,
小到一個按鈕的顏色都要做A/B測試,
也因為Google進行了大量的A/B測試,
把用戶旅程(user journey)中每個節點的轉換率一步步提高,
使得每次產品功能或是頁面的改動更符合多數用戶需求,
自然效能與績效就能極大化,
其他像是臉書、亞馬遜等電商公司,
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人,
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker),
大家到104人力銀行搜尋就知道其工作內容,
這邊不贅述。
(注意,A/B測試只是成長駭客內的其中一個工作項目,並非成長駭客就只做A/B測試,差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試,
因為用戶幾乎都從雙平台上下載遊戲,
如果要做A/B測試就只能在雙平台上著手,
新產品或許還能這樣做,
但對既有產品來說就不切實際點,
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享:
.
1⃣A/B測試不代表一次只能測試兩個,你想測試2個以上也行,主要是得確認每個群體樣本數要夠多,如果樣本數太少,達不到性效度的話,做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢?身為營運人員,自家的營運數據自己最清楚,可以透過這個網站輸入母體大小,就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告,如果不曉得母體會有多少,那可以用以下免費工具來反推,例如你想要達到的轉換率是1%提升到5%,這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠,就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個,一個是預算問題,另一個是在不確定風險下,建議做足夠樣本數就好。
👉舉例來說,如果今天某款遊戲每月付費玩家有10,000人,如果想改動一個功能,可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險,萬一這個改動是失敗的,等於就會直接影響到5,000人,那在A/B測試期間,可能就開始蒙受不小的營收損失,或是等不到信效度出現就提早結束測試,因此如果能事前估出足夠的樣本數,就能降低上述風險。
.
以10,000人這例子,丟到頁面內,只要370人的樣本就能達到統計顯著性了,不用分到50% / 50%這麼多,只要5%就足夠了,這樣即使A/B測試不理想,也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立,而非交集,如果有交集,就會影響分析結果。
👉這點比較吃技術的工,技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內,如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話,那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下,又緊接著做另一個A/B測試,除非能確定這兩個A/B測試是完全不相干,不然不但在分析時不容易分清楚每個群體,也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性,可以把數據輸入到這個網頁內,非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前,可以先執行A/A測試,先確認目前的隨機分配中有沒有其他的變異數,確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因,而非方案本身,因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享,
如果要再探討下去絕對有更多的理論基礎與分析模組,
我自己也還在學習摸索中,
日後如果有甚麼心得或是勘誤,
我會持續更新在這篇文章中,
如果你有其他心得或是已經發現錯誤的地方,
也歡迎分享給我。
.
🔎參考資料:A/B 測試要測多久?從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀:谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ
同時也有154部Youtube影片,追蹤數超過25萬的網紅森零,也在其Youtube影片中提到,今天終於迎來了櫻花校園的最後一天了,我們主角出院就馬上去討好別人啊!! 並立志成為世界上最受歡迎的人類!! 但是最後卻淪落到四處逃亡,人人厭惡?!! 而且居然這樣還可以成為偶像開演唱會?!! 究竟中間發生什麼事了呢?!! ▶每天都會有新影片! 歡迎大家訂閱我!!☛https://goo.gl/k5...
「google下載失敗」的推薦目錄:
- 關於google下載失敗 在 玩遊戲不難,做營運好難 Facebook 的最佳貼文
- 關於google下載失敗 在 從前從前 Facebook 的最佳解答
- 關於google下載失敗 在 蘋果新聞網 Facebook 的最佳解答
- 關於google下載失敗 在 森零 Youtube 的最讚貼文
- 關於google下載失敗 在 森零 Youtube 的最佳解答
- 關於google下載失敗 在 森零 Youtube 的最讚貼文
- 關於google下載失敗 在 [問題] Google Drive下載失敗無法建立壓縮檔- 看板Free_box 的評價
- 關於google下載失敗 在 #問題google drive雲端硬碟大型資料夾下載失敗 - 3C板 | Dcard 的評價
- 關於google下載失敗 在 chrome下載檔案失敗在PTT/Dcard完整相關資訊 - 動漫二維世界 的評價
- 關於google下載失敗 在 chrome下載檔案失敗在PTT/Dcard完整相關資訊 - 動漫二維世界 的評價
- 關於google下載失敗 在 Google Drive下載失敗問題 - Mobile01 的評價
- 關於google下載失敗 在 chrome下載失敗網路錯誤在PTT/Dcard完整相關資訊 - 媽媽最愛你 的評價
- 關於google下載失敗 在 chrome下載失敗網路錯誤在PTT/Dcard完整相關資訊 - 媽媽最愛你 的評價
- 關於google下載失敗 在 下載東西時遇到「這個檔案並不安全因此遭到Chrome的封鎖 ... 的評價
google下載失敗 在 從前從前 Facebook 的最佳解答
本集節目由【Lingumi】贊助播出
Lingumi 專為幼兒設計,幫助孩子英語啟蒙
來自牛津、哈佛的專業課程團隊打造
讓零基礎的孩子也能自然開口說英文!
下載 APP 免費試用五堂課
官網訂閱輸入折扣碼「auntie20」
還可享全方案 8 折優惠👇
https://bit.ly/Auntie_Lingumi
#lingumi #幼兒英文
---本集內容---
大衛威廉繪本系列中最適合父親節的作品
快在父親節前夕,溫馨聽一波!
企鵝寶寶傑洛尼莫打從出生就有個夢想
那就是飛上天!
無論把拔怎麼勸他、國王企鵝的國王怎麼告訴他
傑洛尼莫就是不放棄飛行的夢想
傑洛尼莫的把拔看著兒子這麼想飛上天
又屢屢失敗,非常心疼
於是,把拔召集所有企鵝開會
要替傑洛尼莫想出一個圓夢的辦法!
最新一集《飛天企鵝傑洛尼莫》已上線
歡迎所有嚴父慈父抱著孩子溫馨重播
Apple Podcast|Spotify|Google Podcast|KKBOX等所有平台免費收聽👇
https://open.firstory.me/user/onceuponatime/platforms
抽獎來這邊👇
只要留言回答童話阿姨在節目中的問題
再tag兩位朋友
就有機會獲得《飛天企鵝傑洛尼莫》繪本1本!
活動於8/2截止,並於8/3抽出3位得獎者。
贊助阿姨買故事書👇
https://pay.firstory.me/user/onceuponatime
📖《飛天企鵝傑洛尼莫》
作者:大衛.威廉
繪者:東尼.羅斯
翻譯:謝雅文
出版社:晨星
看看這本書👇
https://supr.link/jMJfO
google下載失敗 在 蘋果新聞網 Facebook 的最佳解答
貝克力認為,解放軍很可能透過頻繁演習削弱台灣的警覺心!!
🍎《蘋果》御守 全年無休
【警告解放軍恐假裝軍演攻台 美學者預言結果:絕對失敗】
https://bit.ly/3wHSf5h
🔴《蘋果》YouTube頻道→
https://bit.ly/3oL5vTn
🍎蘋果播客 請你來作客
🎧SoundOn:https://bit.ly/3q6PCa0
🎧Apple Podcast:https://apple.co/3nAIuBa
🎧Google Podcast:http://bit.ly/3spdRT9
🎧Spotify:https://spoti.fi/2LIBhlv
🎧KKBOX:https://bit.ly/3nAI8e2
📱0元下載《蘋果》App抽TOYOTA👉https://bit.ly/3wlpvzy
#蘋果國際 #解放軍 #台灣 #中國
google下載失敗 在 森零 Youtube 的最讚貼文
今天終於迎來了櫻花校園的最後一天了,我們主角出院就馬上去討好別人啊!!
並立志成為世界上最受歡迎的人類!! 但是最後卻淪落到四處逃亡,人人厭惡?!!
而且居然這樣還可以成為偶像開演唱會?!! 究竟中間發生什麼事了呢?!!
▶每天都會有新影片! 歡迎大家訂閱我!!☛https://goo.gl/k5ySNC
▶最新精華播放清單☛https://goo.gl/H9z7cd
#歡樂遊戲 #櫻花校園模擬器 #任務系列
Google Play遊戲鏈接:https://play.google.com/store/apps/details?id=jp.garud.ssimulator
App Store遊戲鏈接:https://apps.apple.com/us/app/sakura-school-simulator/id1439434588
Facebook☛https://www.facebook.com/Forest0
Twitter☛https://twitter.com/Forest_Zer0
業務諮詢 ▶ white10156@gmail.com
喜歡這部影片的話可以按個喜歡,並且幫我分享
想要看更多的話可以訂閱哦
有任何意見都可以在底下留言
我會努力下去的!!
BGM來源:https://dova-s.jp/
片尾曲:You 8 Me
google下載失敗 在 森零 Youtube 的最佳解答
自從上次被黑道給盯上後只能偷偷的躲著啊,現在必須想辦法反擊了!!!
先去尋找世界上最強的神隊友,並且取得最強的武器啊!! 打算一統天下!!!
但是...那些隊友只會打自己人啊!!! 搞到敵人和隊友都在針對我們!!!!
▶每天都會有新影片! 歡迎大家訂閱我!!☛https://goo.gl/k5ySNC
▶最新精華播放清單☛https://goo.gl/H9z7cd
#歡樂遊戲 #櫻花校園模擬器 #任務系列
Google Play遊戲鏈接:https://play.google.com/store/apps/details?id=jp.garud.ssimulator
App Store遊戲鏈接:https://apps.apple.com/us/app/sakura-school-simulator/id1439434588
Facebook☛https://www.facebook.com/Forest0
Twitter☛https://twitter.com/Forest_Zer0
業務諮詢 ▶ white10156@gmail.com
喜歡這部影片的話可以按個喜歡,並且幫我分享
想要看更多的話可以訂閱哦
有任何意見都可以在底下留言
我會努力下去的!!
BGM來源:https://dova-s.jp/
片尾曲:You 8 Me
google下載失敗 在 森零 Youtube 的最讚貼文
自從上次吃掉了恐怖冰淇淋人的冰淇淋之後,我們的主角變肥胖並被捕捉了啊!!
在身體被做成冰淇淋之前必須離開這裡!! 拯救肥胖朋友們一起離開!!!
但是四周到處都是機器人啊!! 一旦被發現就會被電擊,並拿去做成美味冰淇淋!!!
▶每天都會有新影片! 歡迎大家訂閱我!!☛https://goo.gl/k5ySNC
▶最新精華播放清單☛https://goo.gl/H9z7cd
#恐怖遊戲 #冰淇淋人 #全結局
Google Play遊戲鏈接:https://play.google.com/store/apps/details?id=com.keplerians.icescream4
Facebook☛https://www.facebook.com/Forest0
Twitter☛https://twitter.com/Forest_Zer0
業務諮詢 ▶ white10156@gmail.com
喜歡這部影片的話可以按個喜歡,並且幫我分享
想要看更多的話可以訂閱哦
有任何意見都可以在底下留言
我會努力下去的!!
BGM來源:https://dova-s.jp/
片尾曲:You 8 Me
google下載失敗 在 #問題google drive雲端硬碟大型資料夾下載失敗 - 3C板 | Dcard 的推薦與評價
用google雲端下載資料夾的時候會在右下角顯示正在壓縮檔案,如圖,但是讀條跑完之後他就神奇的消失了,沒有詢問存檔位置,也沒有跳出下載的讀條, ... ... <看更多>
google下載失敗 在 chrome下載檔案失敗在PTT/Dcard完整相關資訊 - 動漫二維世界 的推薦與評價
修正檔案下載錯誤- Google Chrome說明- Google Support... 下載錯誤. 如果Chrome 在您嘗試下載應用程式、主題、擴充功能或其他檔案時顯示錯誤訊息,建議您使用以下方法 ... ... <看更多>
google下載失敗 在 [問題] Google Drive下載失敗無法建立壓縮檔- 看板Free_box 的推薦與評價
剛剛發現的問題,
我是點一個資料夾要抓下來,發現下載失敗,
原因是無法建立壓縮檔
僅僅選擇兩個小檔案下載也失敗(因為多檔一律會過壓縮這道)
但是單檔一個一個下載OK正常
測試過Chrome和FireFox都失敗,推測是Server端的問題
有人也有類似的狀況嗎?
--
我覺得C#是世界上最強的語言了 π紅膠咖咖N希希C ◥▁▁▁▁ ◢ 麥
其他的應該廢除 省寶水啡啡S嘉 # ◤ ██ /- 科
石 腳 蘋嘉 □–□◢◤ 舒
如果各位有興趣的話,可以現在開始學 本 果 ▼ㄑ ◢ 服
但是要安裝VisualStudio 希 ▼ㄧ /◣ 特
因為我們只會支援精英IDE,絕對不會接受垃圾 ψ ◢ /◣– ◤ /█◣
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.161.35.131
※ 文章網址: https://www.ptt.cc/bbs/Free_box/M.1448900831.A.CD2.html
... <看更多>