เปรียบเทียบการส่งด้วยการทดสอบ A/B

การทดสอบ A/B เป็นฟีเจอร์ที่ส่งการส่งข้อความ 2 แพทเทิร์นแยกกัน เพื่อยืนยันด้วยข้อมูลจริงว่าแบบใดมีประสิทธิภาพมากกว่า เปรียบเทียบ 2 แบบที่เปลี่ยนเนื้อหาหรือมุมการนำเสนอ แล้วนำแพทเทิร์นที่ชนะไปใช้กับการส่งครั้งถัดไปได้

การทดสอบ A/B คืออะไร

การทดสอบ A/B เป็นฟีเจอร์ที่แบ่งการส่งเดียวกันออกเป็น 2 แพทเทิร์นแล้วส่ง เพื่อเปรียบเทียบอัตราการเปิดและอัตราการคลิก

เมื่อตั้งค่าข้อความที่ต่างกันให้แพทเทิร์น A (หลัก) และแพทเทิร์น B (รอง) แล้วส่ง ผลลัพธ์ของแต่ละแพทเทิร์นจะถูกรวบรวม แพทเทิร์นที่มีตัวเลขสูงกว่าจะแสดงเป็น "แพทเทิร์นที่ชนะ" จึงตัดสินทิศทางการปรับปรุงได้โดยอิงจากข้อมูล ไม่ใช่ความรู้สึก

เมื่อเข้าใจว่าเปลี่ยนอะไรแล้วการตอบสนองจะเปลี่ยน การส่งครั้งถัดไปก็จะแม่นยำขึ้น แนะนำให้ปล่อยให้ Marketing Agent ทำการวิเคราะห์ พร้อมใช้การทดสอบ A/B เป็นเหตุผลประกอบการตัดสินใจ

ปล่อยให้เอเจนต์ทำการวิเคราะห์

การเปรียบเทียบผลการส่งและการพิจารณาแผนถัดไป สามารถปรึกษา Marketing Agent ได้

เอเจนต์ในโหมดอัตโนมัติหรือโหมดปรึกษาจะจัดระเบียบว่า "แพทเทิร์นใดได้ผล" และ "ครั้งหน้าควรลองอะไร" โดยอิงจากข้อมูลการส่งในอดีต หลังจากผลการทดสอบ A/B ออกมาแล้ว หากถามว่า "ควรอ่านผลนี้อย่างไร" เอเจนต์จะเสนอแนวโน้มของแพทเทิร์นที่ชนะและวิธีนำไปใช้ในครั้งถัดไป

เนื้อหาที่เอเจนต์เสนอมา คุณสามารถเลือกได้ว่าจะดำเนินการต่อหรือไม่ด้วยการอนุมัติ หากพอใจกับเนื้อหาให้เลือก "ดำเนินการ" หากต้องการยกเลิกให้เลือก "ไว้ก่อน" หากต้องการตั้งค่าอย่างละเอียดด้วยตนเอง ให้ใช้ขั้นตอนการทำด้วยมือในส่วนถัดไป

สร้างการทดสอบ A/B

การทดสอบ A/B สร้างได้จากหน้าจอแก้ไขการส่งข้อความ

1. สร้างการส่งใหม่ด้วย "สร้างการส่ง" หรือเปิดการส่งที่มีอยู่
2. เลือก "สร้างการทดสอบ A/B" จาก "การดำเนินการอื่น" ในหน้าจอแก้ไข
3. เลือก "สร้าง" ในกล่องโต้ตอบยืนยัน เนื้อหาการส่งเดิมจะถูกบันทึกเป็นฉบับร่างและกลายเป็นแพทเทิร์น A
4. สลับการแสดงผลไปยังแพทเทิร์น B แล้วแก้ไขเนื้อหาข้อความที่ต้องการเปรียบเทียบ
5. ตรวจสอบเนื้อหา แล้วตั้งเวลาหรือส่งการส่ง

บทบาทของแพทเทิร์น A และแพทเทิร์น B

แพทเทิร์น A และแพทเทิร์น B มีรายการที่แก้ไขได้ต่างกัน เงื่อนไขการส่งร่วมจะจัดการที่ฝั่งแพทเทิร์น A

การตั้งค่าการส่ง เช่น ปลายทาง เวลาส่ง และผู้ส่ง เมื่อตั้งค่าในแพทเทิร์น A จะใช้กับทั้งสองแพทเทิร์นร่วมกัน สิ่งที่แก้ไขได้ในแพทเทิร์น B คือชื่อและข้อความเท่านั้น

องค์ประกอบที่ทดสอบได้

ในการทดสอบ A/B จะเปรียบเทียบความแตกต่างของข้อความเอง เนื่องจากปลายทางและเวลาการส่งใช้ร่วมกันทั้งสองแพทเทิร์น สิ่งที่ตรวจสอบจึงเป็น "เนื้อหา" เป็นหลัก

หากจำกัดให้เปลี่ยนเพียงองค์ประกอบเดียวในการทดสอบแต่ละครั้ง จะตีความผลลัพธ์ได้ง่ายขึ้น หากเปลี่ยนหลายองค์ประกอบพร้อมกัน จะตัดสินไม่ได้ว่าความแตกต่างใดเป็นตัวที่ได้ผล

ตรวจสอบผลลัพธ์

ผลการทดสอบ A/B ตรวจสอบได้ในหน้าจอรายละเอียดของการส่ง

หลังการส่ง ตัวเลขของแต่ละแพทเทิร์นจะถูกรวบรวม และแพทเทิร์นที่มีการตอบสนองดีกว่าจะแสดงเป็น "แพทเทิร์นที่ชนะ" หากทั้งสองไม่มีความแตกต่าง จะแสดงเป็น "เสมอ"

ผลลัพธ์ยังตรวจสอบได้ในตารางรายการแยกตามแพทเทิร์น ซึ่งดูรายละเอียดต่างๆ เช่น จำนวนส่ง จำนวนที่เข้าถึง จำนวนที่เปิด และจำนวนที่คลิกได้

ยกเลิกการทดสอบ A/B

การทดสอบ A/B ที่สร้างไว้ สามารถเปลี่ยนกลับเป็นการส่งข้อความปกติได้

เมื่อเลือก "ยกเลิกการทดสอบ A/B" จาก "การดำเนินการอื่น" ในหน้าจอแก้ไข แล้วดำเนินการต่อในกล่องโต้ตอบยืนยัน จะกลับเป็นการส่งปกติที่สืบทอดเนื้อหาของแพทเทิร์น A ในตอนนี้ เนื้อหาที่กรอกในแพทเทิร์น B จะถูกลบ หากต้องการเก็บเนื้อหาของแพทเทิร์น B ไว้ ให้ทำซ้ำเป็นการส่งอีกรายการก่อนการยกเลิก

เมื่อไม่เป็นไปตามที่คาดหวัง

สรุปจุดที่มักสะดุดในการทดสอบ A/B พร้อมวิธีแก้ไข

• ผลลัพธ์ไม่มีความแตกต่าง: ความแตกต่างระหว่างแพทเทิร์น A กับแพทเทิร์น B อาจเล็กน้อยเกินไป ลองเปลี่ยนองค์ประกอบที่น่าจะทำให้การตอบสนองเปลี่ยน เช่น มุมการนำเสนอหรือประเภทข้อความ ในระดับที่ใหญ่ขึ้น ไม่ใช่แค่ลงท้ายประโยคในเนื้อหา
• มีรายการที่แก้ไขไม่ได้ในแพทเทิร์น B: สิ่งที่แก้ไขได้ในแพทเทิร์น B คือชื่อและข้อความเท่านั้น เมื่อต้องการเปลี่ยนปลายทาง เวลาส่ง หรือผู้ส่ง ให้สลับไปยังแพทเทิร์น A แล้วตั้งค่า
• ข้อมูลประกอบการตัดสินใจไม่เพียงพอ: หากเป้าหมายการส่งมีน้อย แม้มีความแตกต่างเกิดขึ้น ก็ตัดสินได้ยากว่าเป็นเรื่องบังเอิญหรือเป็นประสิทธิภาพจริง หากทดสอบด้วยการส่งที่ถึงผู้รับจำนวนเพียงพอ ความน่าเชื่อถือของผลลัพธ์ก็จะสูงขึ้น