เปรียบเทียบการส่งด้วยการทดสอบ A/B

การทดสอบ A/B เป็นฟีเจอร์ที่ส่งการส่งข้อความ 2 แพทเทิร์นแยกกัน เพื่อยืนยันด้วยข้อมูลจริงว่าแบบใดมีประสิทธิภาพมากกว่า เปรียบเทียบ 2 แบบที่เปลี่ยนเนื้อหาหรือมุมการนำเสนอ แล้วนำแพทเทิร์นที่ชนะไปใช้กับการส่งครั้งถัดไปได้

การทดสอบ A/B คืออะไร

การทดสอบ A/B เป็นฟีเจอร์ที่แบ่งการส่งเดียวกันออกเป็น 2 แพทเทิร์นแล้วส่ง เพื่อเปรียบเทียบอัตราการเปิดและอัตราการคลิก

เมื่อตั้งค่าข้อความที่ต่างกันให้แพทเทิร์น A (หลัก) และแพทเทิร์น B (รอง) แล้วส่ง ผลลัพธ์ของแต่ละแพทเทิร์นจะถูกรวบรวม แพทเทิร์นที่มีตัวเลขสูงกว่าจะแสดงเป็น "แพทเทิร์นที่ชนะ" จึงตัดสินทิศทางการปรับปรุงได้โดยอิงจากข้อมูล ไม่ใช่ความรู้สึก

เมื่อเข้าใจว่าเปลี่ยนอะไรแล้วการตอบสนองจะเปลี่ยน การส่งครั้งถัดไปก็จะแม่นยำขึ้น แนะนำให้ปล่อยให้ Marketing Agent ทำการวิเคราะห์ พร้อมใช้การทดสอบ A/B เป็นเหตุผลประกอบการตัดสินใจ

ปล่อยให้เอเจนต์ทำการวิเคราะห์

การเปรียบเทียบผลการส่งและการพิจารณาแผนถัดไป สามารถปรึกษา Marketing Agent ได้

เอเจนต์ในโหมดอัตโนมัติหรือโหมดปรึกษาจะจัดระเบียบว่า "แพทเทิร์นใดได้ผล" และ "ครั้งหน้าควรลองอะไร" โดยอิงจากข้อมูลการส่งในอดีต หลังจากผลการทดสอบ A/B ออกมาแล้ว หากถามว่า "ควรอ่านผลนี้อย่างไร" เอเจนต์จะเสนอแนวโน้มของแพทเทิร์นที่ชนะและวิธีนำไปใช้ในครั้งถัดไป

เนื้อหาที่เอเจนต์เสนอมา คุณสามารถเลือกได้ว่าจะดำเนินการต่อหรือไม่ด้วยการอนุมัติ หากพอใจกับเนื้อหาให้เลือก "ดำเนินการ" หากต้องการยกเลิกให้เลือก "ไม่ต้องแล้ว" หากต้องการตั้งค่าอย่างละเอียดด้วยตนเอง ให้ใช้ขั้นตอนการทำด้วยมือในส่วนถัดไป

สร้างการทดสอบ A/B

การทดสอบ A/B สร้างได้จากหน้าจอแก้ไขการส่งข้อความ

1. สร้างการส่งใหม่ด้วย "สร้างการส่ง" หรือเปิดการส่งที่มีอยู่
2. เลือก "สร้างการทดสอบ A/B" จาก "การดำเนินการอื่น" ในหน้าจอแก้ไข
3. เลือก "สร้าง" ในกล่องโต้ตอบยืนยัน แท็บ "แพทเทิร์น A" และ "แพทเทิร์น B" จะปรากฏในการตั้งค่าข้อความบนหน้าเดียวกัน และเนื้อหาเดิมจะกลายเป็นแพทเทิร์น A
4. สลับไปที่แท็บ "แพทเทิร์น B" แล้วแก้ไขเนื้อหาข้อความที่ต้องการเปรียบเทียบ
5. ตรวจสอบเนื้อหา แล้วตั้งเวลาหรือส่งการส่ง

แท็บจะสลับเฉพาะเนื้อหาข้อความและตัวอย่างเท่านั้น แม้ยังไม่ได้บันทึกก็สลับไปมาระหว่างแท็บได้อย่างอิสระ การส่งทดสอบจะส่งเนื้อหาของแพทเทิร์นที่กำลังแสดงอยู่

การตั้งค่าตามแพทเทิร์นและการตั้งค่าที่ใช้ร่วมกัน

สิ่งที่เปลี่ยนได้ตามแพทเทิร์นคือเนื้อหาข้อความเท่านั้น การตั้งค่าอื่น ๆ ใช้ร่วมกันทั้งสองแพทเทิร์น

ชื่อใช้ชื่อฐานร่วมกันเพียงชื่อเดียว เมื่อบันทึก ระบบจะเติม "(A)" และ "(B)" ให้แต่ละแพทเทิร์นโดยอัตโนมัติ

องค์ประกอบที่ทดสอบได้

ในการทดสอบ A/B จะเปรียบเทียบความแตกต่างของข้อความเอง เนื่องจากปลายทางและเวลาการส่งใช้ร่วมกันทั้งสองแพทเทิร์น สิ่งที่ตรวจสอบจึงเป็น "เนื้อหา" เป็นหลัก

หากจำกัดให้เปลี่ยนเพียงองค์ประกอบเดียวในการทดสอบแต่ละครั้ง จะตีความผลลัพธ์ได้ง่ายขึ้น หากเปลี่ยนหลายองค์ประกอบพร้อมกัน จะตัดสินไม่ได้ว่าความแตกต่างใดเป็นตัวที่ได้ผล

ตรวจสอบผลลัพธ์

ผลการทดสอบ A/B ตรวจสอบได้ในหน้าจอรายละเอียดของการส่ง

หลังการส่ง ตัวเลขของแต่ละแพทเทิร์นจะถูกรวบรวม และแพทเทิร์นที่มีการตอบสนองดีกว่าจะแสดงเป็น "แพทเทิร์นที่ชนะ" หากทั้งสองไม่มีความแตกต่าง จะแสดงเป็น "เสมอ"

ผลลัพธ์ยังตรวจสอบได้ในตารางรายการแยกตามแพทเทิร์น ซึ่งดูรายละเอียดต่าง ๆ เช่น จำนวนส่ง จำนวนที่เข้าถึง จำนวนที่เปิด และจำนวนที่คลิกได้

ยกเลิกการทดสอบ A/B

การทดสอบ A/B ที่สร้างไว้ สามารถเปลี่ยนกลับเป็นการส่งข้อความปกติได้

เมื่อเลือก "ยกเลิกการทดสอบ A/B" จาก "การดำเนินการอื่น" ในหน้าจอแก้ไข แล้วเลือก "ยกเลิกการทดสอบ" ในกล่องโต้ตอบยืนยัน แท็บจะหายไปและกลับเป็นการส่งปกติที่สืบทอดเนื้อหาของแพทเทิร์น A ในตอนนี้ เนื้อหาที่กรอกในแพทเทิร์น B จะถูกลบ หากต้องการเก็บเนื้อหาของแพทเทิร์น B ไว้ ให้ทำซ้ำเป็นการส่งอีกรายการก่อนการยกเลิก

เมื่อไม่เป็นไปตามที่คาดหวัง

สรุปจุดที่มักสะดุดในการทดสอบ A/B พร้อมวิธีแก้ไข

• ผลลัพธ์ไม่มีความแตกต่าง: ความแตกต่างระหว่างแพทเทิร์น A กับแพทเทิร์น B อาจเล็กน้อยเกินไป ลองเปลี่ยนองค์ประกอบที่น่าจะทำให้การตอบสนองเปลี่ยน เช่น มุมการนำเสนอหรือประเภทข้อความ ในระดับที่ใหญ่ขึ้น ไม่ใช่แค่ลงท้ายประโยคในเนื้อหา
• หาการตั้งค่าการส่งในแพทเทิร์น B ไม่พบ: ชื่อ ปลายทาง เวลาส่ง และผู้ส่งไม่ใช่การตั้งค่าแยกตามแพทเทิร์น แต่เป็นการตั้งค่าร่วมที่อยู่นอกแท็บ เมื่อเปลี่ยนแล้วจะมีผลกับทั้งสองแพทเทิร์น
• ข้อมูลประกอบการตัดสินใจไม่เพียงพอ: หากเป้าหมายการส่งมีน้อย แม้มีความแตกต่างเกิดขึ้น ก็ตัดสินได้ยากว่าเป็นเรื่องบังเอิญหรือเป็นประสิทธิภาพจริง หากทดสอบด้วยการส่งที่ถึงผู้รับจำนวนเพียงพอ ความน่าเชื่อถือของผลลัพธ์ก็จะสูงขึ้น