Hướng dẫn hoàn chỉnh về thử nghiệm A / B: Mẹo của chuyên gia từ Google, HubSpot, v.v.

Đây có lẽ không phải là lần đầu tiên bạn đọc về thử nghiệm A / B. Bạn thậm chí có thể đã thử nghiệm A / B các dòng tiêu đề email hoặc các bài đăng trên mạng xã hội của mình.

Mặc dù thực tế đã có rất nhiều điều tiếng về thử nghiệm A / B trong lĩnh vực tiếp thị, nhưng rất nhiều người vẫn hiểu sai. Kết quả? Những người đưa ra các quyết định kinh doanh quan trọng dựa trên kết quả không chính xác từ một thử nghiệm không đúng.

Thử nghiệm A / B thường được đơn giản hóa quá mức, đặc biệt là trong nội dung được viết cho chủ cửa hàng. Dưới đây, bạn sẽ tìm thấy mọi thứ bạn cần biết để bắt đầu với các loại thử nghiệm A / B khác nhau cho thương mại điện tử, được giải thích rõ ràng nhất có thể.

Thử nghiệm A / B là gì?

Thử nghiệm A / B, đôi khi được gọi là thử nghiệm phân tách, là quá trình so sánh hai phiên bản của cùng một trang web, email hoặc nội dung kỹ thuật số khác để xác định phiên bản nào hoạt động tốt hơn.

Quá trình này cho phép bạn trả lời các câu hỏi kinh doanh quan trọng, giúp bạn tạo thêm doanh thu từ lưu lượng truy cập mà bạn đã có và đặt nền tảng cho chiến lược tiếp thị thông tin dữ liệu.

Tìm hiểu thêm: Cách thực hiện phân tích SWOT cho doanh nghiệp của bạn

Cách thử nghiệm A / B hoạt động

Khi sử dụng thử nghiệm A / B trong bối cảnh tiếp thị, bạn hiển thị 50% khách truy cập phiên bản A của nội dung của bạn (chúng ta hãy gọi đây là “kiểm soát”) và 50% khách truy cập phiên bản B (hãy gọi đây là “biến thể”).

Phiên bản mang lại tỷ lệ chuyển đổi cao nhất sẽ thắng. Ví dụ: giả sử biến thể (phiên bản B) mang lại tỷ lệ chuyển đổi cao nhất. Sau đó, bạn sẽ tuyên bố nó là người chiến thắng và đẩy 100% khách truy cập vào biến thể.

Sau đó, biến thể trở thành điều khiển mới và bạn phải thiết kế một biến thể mới.

Điều đáng nói là tỷ lệ chuyển đổi thử nghiệm A / B là một thước đo thành công không hoàn hảo. Tại sao? Bạn có thể tăng tỷ lệ chuyển đổi ngay lập tức bằng cách làm cho mọi thứ trong cửa hàng của bạn miễn phí. Tất nhiên, đó là một quyết định kinh doanh tồi tệ.

Đó là lý do tại sao bạn nên theo dõi giá trị của một chuyển đổi cho đến khi máy tính tiền đổ chuông.

Liên quan: Tiếp thị trên YouTube dành cho Bán lẻ: 7 Mẹo chuyên nghiệp để tăng phạm vi tiếp cận của bạn với các video nổi bật

Danh sách đọc miễn phí: Tối ưu hóa chuyển đổi cho người mới bắt đầu

Biến nhiều khách truy cập trang web thành khách hàng hơn bằng cách tham gia khóa học cấp tốc về tối ưu hóa chuyển đổi. Truy cập danh sách các bài báo có tác động cao, miễn phí được sắp xếp của chúng tôi bên dưới.

Thử nghiệm A / B / n là gì?

Với thử nghiệm A / B / n, bạn có thể thử nghiệm nhiều biến thể so với đối chứng. Vì vậy, thay vì hiển thị cho 50% khách truy cập quyền kiểm soát và 50% khách truy cập biến thể, bạn có thể hiển thị cho 25% khách truy cập quyền kiểm soát, 25% biến thể đầu tiên, 25% biến thể thứ hai và 25% biến thể thứ ba.

Lưu ý: Điều này khác với thử nghiệm đa lượng biến, cũng liên quan đến nhiều biến thể. Khi chạy thử nghiệm đa lượng biến, bạn không chỉ thử nghiệm nhiều biến thể, bạn còn thử nghiệm nhiều yếu tố, chẳng hạn như thử nghiệm A / B thử nghiệm UX hoặc thử nghiệm phân tách SEO. Mục tiêu là tìm ra kết hợp nào hoạt động tốt nhất.

Kiểm tra đa biến — Nguồn ảnh: *Google* .

Bạn sẽ cần nhiều lưu lượng truy cập để chạy các thử nghiệm đa biến, vì vậy bạn có thể bỏ qua những thử nghiệm đó ngay bây giờ.

Thử nghiệm A / B nên chạy trong bao lâu?

Chạy thử nghiệm A / B của bạn trong ít nhất một, lý tưởng là hai, chu kỳ kinh doanh đầy đủ. Đừng dừng thử nghiệm của bạn chỉ vì bạn đã đạt đến mức quan trọng. Bạn cũng sẽ cần phải đáp ứng kích thước mẫu đã định trước của mình. Cuối cùng, đừng quên chạy tất cả các bài kiểm tra theo gia số cả tuần.

Tại sao hai chu kỳ kinh doanh đầy đủ? Cho người mới bắt đầu:

Bạn có thể giải thích cho người mua “Tôi cần suy nghĩ về điều đó”.
Bạn có thể tính đến tất cả các nguồn lưu lượng truy cập khác nhau (Facebook, bản tin email, tìm kiếm không phải trả tiền, v.v.)
Bạn có thể giải thích cho sự bất thường. Ví dụ: bản tin email thứ sáu của bạn.

Nếu bạn đã sử dụng bất kỳ loại A / B hoặc công cụ kiểm tra trang đích nào, bạn có thể quen thuộc với biểu tượng “Quan trọng về mặt thống kê” nhỏ màu xanh lục.

Thật không may, đối với nhiều người, đó là dấu hiệu chung cho “bài kiểm tra đã chín, hãy gọi nó”. Khi bạn sẽ tìm hiểu thêm về phần bên dưới, chỉ vì đã đạt được ý nghĩa thống kê của thử nghiệm A / B không có nghĩa là bạn nên dừng thử nghiệm.

Và kích thước mẫu xác định trước của bạn? Nó không đáng sợ như nó có vẻ. Mở một máy tính kích thước mẫu, như máy tính này của Evan Miller.

Tính toán này nói rằng nếu tỷ lệ chuyển đổi hiện tại của bạn là 5% và bạn muốn có thể phát hiện ra hiệu ứng 15%, bạn cần một mẫu là 13.533 cho mỗi biến thể. Vì vậy, tổng cộng, hơn 25.000 khách truy cập là cần thiết nếu đó là một bài kiểm tra A / B tiêu chuẩn.

Xem điều gì xảy ra nếu bạn muốn phát hiện một hiệu ứng nhỏ hơn:

Tất cả những gì đã thay đổi là hiệu ứng tối thiểu có thể phát hiện được (MDE). Nó giảm từ 15% xuống 8%. Trong trường hợp này, bạn cần một mẫu là 47.127 cho mỗi biến thể. Vì vậy, tổng cộng, cần gần 100.000 khách truy cập nếu đó là một bài kiểm tra A / B tiêu chuẩn.

Cho dù bạn đang thử nghiệm A / B UX hay thử nghiệm phân tách SEO, thì kích thước mẫu của bạn nên được tính toán trước, trước khi thử nghiệm của bạn bắt đầu. Thử nghiệm của bạn không thể dừng lại, ngay cả khi nó đạt đến mức quan trọng, cho đến khi đạt được cỡ mẫu đã định trước. Nếu đúng, bài kiểm tra không hợp lệ.

Đây là lý do tại sao bạn không thể làm theo các phương pháp hay nhất một cách không mục đích, chẳng hạn như “dừng lại sau 100 lượt chuyển đổi”.

Điều quan trọng là phải chạy các bài kiểm tra để tăng số lượng cả tuần. Lưu lượng truy cập của bạn có thể thay đổi dựa trên ngày trong tuần và thời gian trong ngày, vì vậy bạn sẽ muốn đảm bảo bao gồm mọi ngày trong tuần.

Tại sao bạn nên thử nghiệm A / B?

Giả sử bạn chi 100 đô la cho quảng cáo Facebook để đưa 10 người đến trang web của bạn. Giá trị đơn đặt hàng trung bình của bạn là $ 25. Tám trong số những du khách rời đi mà không mua bất cứ thứ gì và hai người còn lại chi 25 đô la mỗi người. Kết quả? Bạn đã mất $ 50.

Bây giờ, giả sử bạn chi 100 đô la cho quảng cáo Facebook để đưa 10 người đến trang web của bạn. Giá trị đơn hàng trung bình của bạn vẫn là $ 25. Tuy nhiên, lần này, chỉ có năm trong số những du khách rời đi mà không mua bất cứ thứ gì và năm người còn lại chi 25 đô la mỗi người. Kết quả? Bạn đã kiếm được 25 đô la.

Tất nhiên, đây là một trong những ví dụ thử nghiệm A / B đơn giản hơn. Nhưng bằng cách tăng tỷ lệ chuyển đổi trên trang web, bạn đã làm cho cùng một lưu lượng truy cập có giá trị hơn.

Hình ảnh và bản sao thử nghiệm A / B cũng giúp bạn khám phá thông tin chi tiết, cho dù thử nghiệm của bạn thắng hay thua. Giá trị này rất có thể chuyển nhượng. Ví dụ: thông tin chi tiết về copywriting từ thử nghiệm A / B mô tả sản phẩm có thể giúp cung cấp thông tin về đề xuất giá trị, video sản phẩm hoặc các mô tả sản phẩm khác của bạn.

Bạn cũng không thể bỏ qua giá trị vốn có của việc tập trung liên tục nâng cao hiệu quả của cửa hàng.

Bạn có nên thử nghiệm A / B không?

Không cần thiết. Nếu bạn đang chạy một trang web có lưu lượng truy cập thấp hoặc một trang web hoặc ứng dụng dành cho thiết bị di động, thử nghiệm A / B có lẽ không phải là nỗ lực tối ưu hóa tốt nhất cho bạn. Ví dụ: bạn có thể sẽ thấy lợi tức đầu tư (ROI) cao hơn từ việc tiến hành thử nghiệm người dùng hoặc nói chuyện với khách hàng của mình.

Bất chấp niềm tin phổ biến, tối ưu hóa tỷ lệ chuyển đổi không bắt đầu và kết thúc bằng thử nghiệm.

Hãy xem xét các con số từ máy tính kích thước mẫu ở trên. 47.127 khách truy cập trên mỗi biến thể để phát hiện hiệu ứng 8% nếu tỷ lệ chuyển đổi cơ bản của bạn là 5%. Giả sử bạn muốn kiểm tra một trang sản phẩm. Nó có nhận được gần 100.000 khách truy cập trong hai đến bốn tuần không?

Tại sao lại từ hai đến bốn tuần? Hãy nhớ rằng, chúng tôi muốn chạy thử nghiệm trong ít nhất hai chu kỳ kinh doanh đầy đủ. Thông thường, điều đó kéo dài đến hai đến bốn tuần. Bây giờ có thể bạn đang nghĩ, “Không sao, Shanelle, tôi sẽ chạy thử nghiệm trong hơn hai đến bốn tuần để đạt được kích thước mẫu yêu cầu.” Điều đó cũng sẽ không hoạt động.

Bạn thấy đấy, thử nghiệm chạy càng lâu thì càng dễ bị ảnh hưởng bởi các mối đe dọa về tính hợp lệ bên ngoài và ô nhiễm mẫu. Ví dụ: khách truy cập có thể xóa cookie của họ và cuối cùng vào lại thử nghiệm A / B với tư cách là khách truy cập mới. Hoặc ai đó có thể chuyển từ điện thoại di động của họ sang máy tính để bàn và xem một biến thể thay thế.

Về cơ bản, để thử nghiệm của bạn chạy quá lâu cũng không tốt bằng việc không để nó chạy đủ lâu.

Thử nghiệm đáng để đầu tư cho các cửa hàng có thể đáp ứng kích thước mẫu yêu cầu trong vòng hai đến bốn tuần. Những cửa hàng không thể xem xét các hình thức tối ưu hóa khác cho đến khi lưu lượng truy cập của họ tăng lên.

Julia Starostenko, nhà khoa học dữ liệu tại Shopify, đồng ý, giải thích:

Julia Starostenko, Shopify

“Thử nghiệm rất vui! Nhưng điều quan trọng là phải đảm bảo rằng kết quả là chính xác.

“Hãy tự hỏi bản thân: Đối tượng của bạn có đủ lớn không? Bạn đã thu thập đủ dữ liệu chưa? Để đạt được ý nghĩa thống kê thực sự (trong một khung thời gian hợp lý), quy mô đối tượng cần phải đủ lớn ”.

Bạn nên thử nghiệm A / B gì?

Tôi không thể cho bạn biết bạn nên kiểm tra A / B những gì. Tôi biết rồi mà. Nó chắc chắn sẽ làm cho cuộc sống của bạn dễ dàng hơn nếu tôi có thể cung cấp cho bạn danh sách 99 điều để kiểm tra ngay bây giờ. Không thiếu các nhà tiếp thị sẵn sàng làm điều đó để đổi lấy các nhấp chuột.

Sự thật là, các bài kiểm tra duy nhất đáng chạy là các bài kiểm tra dựa trên dữ liệu của chính bạn. Tôi không có quyền truy cập vào dữ liệu của bạn, khách hàng của bạn, v.v. và cũng không ai quản lý danh sách ý tưởng thử nghiệm A / B khổng lồ đó. Không ai trong chúng tôi có thể cho bạn biết phải kiểm tra những gì một cách có ý nghĩa .

Các bài kiểm tra duy nhất đáng chạy là các bài kiểm tra dựa trên dữ liệu của riêng bạn.

Thay vào đó, tôi khuyến khích bạn tự trả lời câu hỏi này thông qua phân tích định tính và định lượng. Một số ví dụ thử nghiệm A / B phổ biến là:

Phân tích kỹ thuật. Cửa hàng của bạn có tải đúng cách và nhanh chóng trên mọi trình duyệt không? Trên mọi thiết bị? Bạn có thể có một chiếc iPhone 11 mới sáng bóng, nhưng ai đó ở đâu đó vẫn đang sử dụng chiếc Motorola Razr từ năm 2005. Nếu trang web của bạn không hoạt động bình thường và nhanh chóng, nó chắc chắn không thể chuyển đổi tốt như mong đợi.

Khảo sát tại chỗ. Những thứ này bật lên khi khách đến cửa hàng của bạn duyệt xung quanh. Ví dụ: một cuộc khảo sát tại chỗ có thể hỏi những khách truy cập đã ở trên cùng một trang trong một thời gian xem có điều gì cản trở họ mua hàng ngày hôm nay hay không. Nếu vậy, nó là cái gì? Bạn có thể sử dụng dữ liệu định tính này để cải thiện tỷ lệ sao chép và chuyển đổi của mình.

Phỏng vấn khách hàng. Không gì có thể thay thế được việc bắt máy và nói chuyện với khách hàng của bạn. Tại sao họ chọn cửa hàng của bạn thay vì các cửa hàng cạnh tranh? Họ đang cố gắng giải quyết vấn đề gì khi đến trang web của bạn? Có một triệu câu hỏi bạn có thể hỏi để đi sâu vào vấn đề khách hàng của bạn là ai và tại sao họ thực sự mua hàng của bạn.

Các cuộc khảo sát khách hàng. Khảo sát khách hàng là khảo sát có thời lượng dài dành cho những người đã mua hàng (chứ không phải khách truy cập). Khi thiết kế một cuộc khảo sát, bạn muốn tập trung vào: xác định khách hàng của mình, xác định vấn đề của họ, xác định những do dự mà họ đã có trước khi mua hàng và xác định các từ và cụm từ họ sử dụng để mô tả cửa hàng của bạn.

Phân tích phân tích. Các công cụ phân tích của bạn có đang theo dõi và báo cáo dữ liệu của bạn một cách chính xác không? Điều đó nghe có vẻ ngớ ngẩn, nhưng bạn sẽ ngạc nhiên bởi có bao nhiêu công cụ phân tích được định cấu hình không chính xác. Phân tích phân tích là tất cả về việc tìm ra cách khách truy cập của bạn hoạt động. Ví dụ: bạn có thể tập trung vào kênh. Rò rỉ kênh chuyển đổi lớn nhất của bạn ở đâu? Nói cách khác, hầu hết mọi người bỏ kênh của bạn ở đâu? Đó là một nơi tốt để bắt đầu thử nghiệm.

Thử nghiệm người dùng. Đây là nơi bạn xem những người thực trong một thử nghiệm được kiểm soát, trả tiền cố gắng thực hiện các tác vụ trên trang web của bạn. Ví dụ: bạn có thể yêu cầu họ tìm một trò chơi điện tử trong phạm vi $ 40– $ 60 và thêm nó vào giỏ hàng của họ. Trong khi thực hiện những công việc này, họ sẽ thuật lại những suy nghĩ và hành động của mình.

Phát lại phiên. Phát lại phiên tương tự như thử nghiệm người dùng, nhưng bây giờ bạn đang giao dịch với những người thực có tiền thật và ý định mua thực sự. Bạn sẽ xem khi khách truy cập thực sự điều hướng trang web của bạn. Họ gặp khó khăn khi tìm kiếm điều gì? Họ nản lòng ở đâu? Họ có vẻ bối rối ở đâu?

Cũng có nhiều loại nghiên cứu khác, nhưng hãy bắt đầu bằng cách chọn phương pháp thử nghiệm A / B tốt nhất cho bạn. Nếu bạn lướt qua một số trong số chúng, bạn sẽ có một danh sách khổng lồ về các ý tưởng được cung cấp thông tin dữ liệu đáng để thử nghiệm. Tôi đảm bảo danh sách của bạn sẽ mang lại cho bạn nhiều giá trị hơn bất kỳ bài viết “99 điều cần kiểm tra ngay bây giờ” có thể làm được.

Ưu tiên các ý tưởng thử nghiệm A / B

Một danh sách khổng lồ các ý tưởng thử nghiệm A / B rất thú vị, nhưng không hữu ích chính xác cho việc quyết định thử nghiệm cái gì. Bạn bắt đầu từ đâu? Đó là nơi ưu tiên xuất hiện.

Có một số khuôn khổ ưu tiên phổ biến mà bạn có thể sử dụng:

NƯỚC ĐÁ. ICE là viết tắt của tác động, sự tự tin và dễ dàng. Mỗi yếu tố đó nhận được xếp hạng từ 1–10. Ví dụ: nếu bạn có thể dễ dàng tự mình chạy thử nghiệm mà không cần sự trợ giúp từ nhà phát triển hoặc nhà thiết kế, bạn có thể dễ dàng cho điểm tám. Bạn đang sử dụng phán đoán của mình ở đây và nếu bạn có nhiều hơn một người đang chạy thử nghiệm, thứ hạng có thể trở nên quá chủ quan. Sẽ rất hữu ích khi có một bộ hướng dẫn để giữ cho mọi người khách quan.

BÁNH. PIE là viết tắt của tiềm năng, tầm quan trọng và dễ dàng. Một lần nữa, mỗi yếu tố nhận được xếp hạng 1–10. Ví dụ: nếu bài kiểm tra đạt được 90% lưu lượng truy cập của bạn, bạn có thể đưa ra mức quan trọng là tám. PIE cũng mang tính chủ quan như ICE, vì vậy các hướng dẫn cũng có thể hữu ích cho khuôn khổ này.

PXL. PXL là khung ưu tiên từ CXL. Nó hơi khác một chút và có thể tùy chỉnh nhiều hơn, buộc phải đưa ra những quyết định khách quan hơn. Thay vì ba yếu tố, bạn sẽ tìm thấy câu hỏi có / không và câu hỏi dễ triển khai. Ví dụ: khung có thể hỏi: “Bài kiểm tra có được thiết kế để tăng động lực không?” Nếu có, nó sẽ nhận 1. Nếu không, nó sẽ nhận 0. Bạn có thể tìm hiểu thêm về khung này và tải xuống bảng tính tại đây.

Bây giờ bạn có ý tưởng về nơi bắt đầu, nhưng nó cũng có thể giúp phân loại các ý tưởng của bạn. Ví dụ: trong một số nghiên cứu chuyển đổi mà tôi đã thực hiện gần đây, tôi đã sử dụng ba danh mục: triển khai, điều tra và thử nghiệm.

Thực hiện. Cứ làm đi. Nó bị hỏng hoặc hiển nhiên.
Điều tra. Cần suy nghĩ thêm để xác định vấn đề hoặc thu hẹp giải pháp.
Bài kiểm tra. Ý tưởng là âm thanh và dữ liệu được thông báo. Kiểm tra nó!

Giữa phân loại và ưu tiên này, bạn đã đặt.

Một khóa học về thống kê thử nghiệm A / B

Trước khi bạn chạy thử nghiệm, điều quan trọng là phải tìm hiểu số liệu thống kê. Tôi biết, số liệu thống kê thường không phải là thứ mà người hâm mộ yêu thích, nhưng hãy nghĩ đây là khóa học bắt buộc bạn phải miễn cưỡng để tốt nghiệp.

Thống kê là một phần quan trọng của thử nghiệm A / B. May mắn thay, các công cụ kiểm tra A / B và phần mềm kiểm tra phân tách đã làm cho công việc của một trình tối ưu hóa dễ dàng hơn, nhưng hiểu biết cơ bản về những gì đang xảy ra đằng sau hậu trường là rất quan trọng để phân tích kết quả kiểm tra của bạn sau này.

Alex Birkett, Giám đốc Tiếp thị Tăng trưởng tại HubSpot, giải thích:

Alex Birkett, HubSpot

“Thống kê không phải là một con số chuyển đổi kỳ diệu hay một số nhị phân ‘Thành công!’ hoặc điều ‘Thất bại 😞’. Đó là một quá trình được sử dụng để đưa ra các quyết định trong điều kiện không chắc chắn và để giảm thiểu rủi ro bằng cách cố gắng giảm sự nghi ngờ về kết quả của một quyết định nhất định.

“Với ý nghĩ đó, tôi nghĩ điều cần thiết nhất là phải biết những điều cơ bản: giá trị trung bình, phương sai, lấy mẫu, độ lệch chuẩn, hồi quy về giá trị trung bình và điều gì tạo thành mẫu ‘đại diện’. Ngoài ra, nó sẽ giúp ích khi bạn bắt đầu với thử nghiệm A / B để thiết lập một số lan can cụ thể để giảm thiểu lỗi của con người càng nhiều càng tốt. ”

Nghĩa là gì?

Mean là giá trị trung bình. Mục tiêu của bạn là tìm ra một ý nghĩa đại diện cho toàn bộ.

Ví dụ: giả sử bạn đang cố gắng tìm giá trung bình của trò chơi điện tử. Bạn sẽ không cộng giá của mọi trò chơi điện tử trên thế giới và chia nó cho số lượng trò chơi điện tử trên thế giới. Thay vào đó, bạn sẽ tách ra một mẫu nhỏ đại diện cho tất cả các trò chơi điện tử trên thế giới.

Cuối cùng, bạn có thể tìm thấy mức giá trung bình của một vài trăm trò chơi điện tử. Nếu bạn đã chọn một mẫu đại diện, giá trung bình của hai trăm trò chơi điện tử đó phải đại diện cho tất cả các trò chơi điện tử trên thế giới.

Lấy mẫu là gì?

Cỡ mẫu càng lớn thì càng ít biến động, có nghĩa là giá trị trung bình có nhiều khả năng chính xác hơn.

Vì vậy, nếu bạn tăng mẫu của mình từ hai trăm trò chơi điện tử lên hai nghìn trò chơi điện tử, bạn sẽ có ít phương sai hơn và trung bình chính xác hơn.

Phương sai là gì?

Phương sai là mức độ biến thiên trung bình. Về cơ bản, độ biến thiên càng cao thì mức trung bình càng kém chính xác trong việc dự đoán một điểm dữ liệu riêng lẻ.

Vậy giá thực tế của từng trò chơi điện tử gần như thế nào?

Ý nghĩa thống kê là gì?

Giả sử không có sự khác biệt giữa A và B, bạn sẽ tình cờ thấy được hiệu quả như thế nào?

Mức ý nghĩa thống kê càng thấp, thì khả năng biến thể chiến thắng của bạn hoàn toàn không phải là biến thể chiến thắng càng lớn.

Nói một cách đơn giản, mức ý nghĩa thấp có nghĩa là có nhiều khả năng “người chiến thắng” của bạn không phải là người chiến thắng thực sự (điều này được gọi là dương tính giả).

Cần biết rằng hầu hết các công cụ kiểm tra A / B và phần mềm kiểm tra A / B mã nguồn mở đều gọi là ý nghĩa thống kê mà không cần đợi đến thời điểm hoặc cỡ mẫu xác định trước. Đó là lý do tại sao bạn có thể nhận thấy thử nghiệm của mình chuyển qua lại giữa có ý nghĩa thống kê và không quan trọng về mặt thống kê.

Peep Laja, người sáng lập Viện CXL, muốn nhiều người thực sự hiểu ý nghĩa thống kê của thử nghiệm A / B và tại sao nó lại quan trọng:

Peep Laja, Viện CXL

“Ý nghĩa thống kê không có giá trị như nhau — nó không phải là một quy tắc dừng. Khi bạn đạt đến mức ý nghĩa thống kê 95% hoặc cao hơn, điều đó có nghĩa là còn rất ít trước khi hai điều kiện quan trọng khác được đáp ứng:

“1. Có đủ kích thước mẫu mà bạn tìm ra bằng cách sử dụng máy tính kích thước mẫu. Có nghĩa là, đủ số người đã tham gia thử nghiệm để chúng ta có thể kết luận bất cứ điều gì.

“2. Thử nghiệm đã chạy đủ lâu để mẫu có tính đại diện (và không quá lâu để tránh ô nhiễm mẫu). Trong hầu hết các trường hợp, bạn sẽ muốn chạy thử nghiệm của mình trong hai, ba hoặc bốn tuần, tùy thuộc vào tốc độ bạn có thể nhận được mẫu cần thiết. “

Hồi quy về giá trị trung bình là gì?

Bạn có thể nhận thấy những biến động mạnh khi bắt đầu thử nghiệm A / B của mình.

Hồi quy về giá trị trung bình là hiện tượng cho biết nếu một cái gì đó cực trị trong lần đo đầu tiên, thì nó sẽ có khả năng gần với mức trung bình hơn trong lần đo thứ hai.

Nếu lý do duy nhất khiến bạn gọi xét nghiệm là vì nó đạt được ý nghĩa thống kê, thì bạn có thể thấy dương tính giả. Biến thể chiến thắng của bạn có thể sẽ thụt lùi về mức trung bình theo thời gian.

Sức mạnh thống kê là gì?

Giả sử có sự khác biệt giữa A và B, bạn sẽ thấy hiệu quả thường xuyên như thế nào?

Mức sức mạnh càng thấp, cơ hội người chiến thắng sẽ không được công nhận càng lớn. Mức sức mạnh càng cao, khả năng người chiến thắng sẽ không được công nhận càng thấp. Thực sự, tất cả những gì bạn cần biết là 80% sức mạnh thống kê là tiêu chuẩn cho hầu hết các công cụ kiểm tra A / B và / hoặc bất kỳ dịch vụ kiểm tra phân tách nào.

Ton Wesseling, người sáng lập Đối thoại Trực tuyến, mong muốn nhiều người biết hơn về sức mạnh thống kê:

Ton Wesseling, Đối thoại trực tuyến

“Rất nhiều người lo lắng về kết quả dương tính giả. Chúng tôi lo lắng nhiều hơn về âm tính giả. Tại sao phải chạy thử nghiệm trong đó cơ hội tìm thấy bằng chứng cho thấy sự thay đổi tích cực của bạn có tác động thực sự thấp? “

Các mối đe dọa về giá trị bên ngoài là gì?

Có những yếu tố bên ngoài đe dọa tính hợp lệ của các bài kiểm tra của bạn. Ví dụ:

Bán hàng vào Thứ Sáu Đen Thứ Hai Điện Tử (BFCM)
Đề cập báo chí tích cực hoặc tiêu cực
Một chiến dịch trả tiền lớn ra mắt
Ngày trong tuần
Sự thay đổi các mùa

Một trong những ví dụ thử nghiệm A / B phổ biến hơn trong đó các mối đe dọa về hiệu lực bên ngoài ảnh hưởng đến kết quả của bạn là trong các sự kiện theo mùa. Giả sử bạn đã chạy thử nghiệm trong tháng 12. Các ngày lễ mua sắm lớn sẽ có nghĩa là lưu lượng truy cập đến cửa hàng của bạn trong tháng đó sẽ tăng lên. Vào tháng 1, bạn có thể thấy rằng người chiến thắng trong tháng 12 của bạn không còn hoạt động tốt nữa.

Tại sao?

Bởi vì một mối đe dọa hiệu lực bên ngoài: những ngày lễ.

Dữ liệu bạn dựa trên quyết định thử nghiệm của mình là một điều bất thường. Khi mọi thứ lắng xuống vào tháng Giêng, bạn có thể ngạc nhiên khi thấy người chiến thắng của bạn thua cuộc.

Bạn không thể loại bỏ các mối đe dọa về tính hợp lệ bên ngoài, nhưng bạn có thể giảm thiểu chúng bằng cách chạy thử nghiệm trong cả tuần (ví dụ: không bắt đầu kiểm tra vào thứ Hai và kết thúc vào thứ Sáu), bao gồm các loại lưu lượng truy cập khác nhau (ví dụ: don ‘ t kiểm tra lưu lượng truy cập phải trả phí độc quyền và sau đó đưa ra kết quả cho mọi nguồn lưu lượng truy cập) và lưu ý đến các mối đe dọa tiềm ẩn.

Nếu bạn tình cờ chạy thử nghiệm trong mùa mua sắm bận rộn, chẳng hạn như BFCM hoặc thông qua một mối đe dọa lớn về hiệu lực bên ngoài, bạn có thể muốn đọc Hướng dẫn đầy đủ về Thử nghiệm A / B của chúng tôi.

Cách thiết lập thử nghiệm A / B

Hãy xem qua một hướng dẫn thử nghiệm A / B nhỏ. Trước khi bạn kiểm tra bất cứ điều gì , bạn cần phải có một giả thuyết vững chắc. (Tuyệt vời, chúng tôi vừa hoàn thành lớp toán và bây giờ chúng tôi đang học khoa học.)

Đừng lo lắng, nó không phức tạp. Về cơ bản, bạn cần kiểm tra một giả thuyết, không phải một ý tưởng. Một giả thuyết có thể đo lường được, mong muốn giải quyết một vấn đề chuyển đổi cụ thể và tập trung vào những hiểu biết sâu sắc thay vì chiến thắng.

Bạn cần A / B kiểm tra một giả thuyết, không phải một ý tưởng.

Bất cứ khi nào tôi viết một giả thuyết, tôi sử dụng một công thức được mượn từ Bộ công cụ giả thuyết của Craig Sullivan:

Vì bạn thấy [chèn dữ liệu / phản hồi từ nghiên cứu]
Bạn mong đợi rằng [thay đổi mà bạn đang thử nghiệm] sẽ gây ra [tác động mà bạn dự đoán] và
Bạn sẽ đo lường điều này bằng cách sử dụng [data metric]

Dễ dàng, phải không? Tất cả những gì bạn phải làm là điền vào chỗ trống và ý tưởng thử nghiệm của bạn đã chuyển thành giả thuyết.

Chọn một công cụ kiểm tra A / B

Bây giờ bạn có thể bắt đầu chọn một công cụ thử nghiệm A / B hoặc dịch vụ thử nghiệm phân tách. Thường xuyên hơn không, bạn sẽ nghĩ đến Google Optimize, Optimizely và VWO trước tiên.

Tất cả đều là những lựa chọn tốt, an toàn.

Google Tối ưu hóa. Miễn phí, tiết kiệm cho một số hạn chế đa biến, điều này sẽ không thực sự ảnh hưởng đến bạn nếu bạn chỉ mới bắt đầu. Nó hoạt động tốt khi thực hiện thử nghiệm A / B của Google Analytics, đây là một điểm cộng.

Một cách tối ưu. Dễ dàng thực hiện các bài kiểm tra nhỏ, ngay cả khi không có kỹ năng kỹ thuật. Stats Engine giúp phân tích kết quả thử nghiệm dễ dàng hơn. Thông thường, Optimizely là tùy chọn đắt nhất trong ba tùy chọn.

VWO. VWO có SmartStats để phân tích dễ dàng hơn. Thêm vào đó, nó có một trình soạn thảo WYSIWYG tuyệt vời cho người mới bắt đầu. Mỗi kế hoạch VWO đều đi kèm với bản đồ nhiệt, khảo sát tại chỗ, phân tích biểu mẫu, v.v.

Chúng tôi cũng có một số công cụ kiểm tra A / B trong Shopify App Store mà bạn có thể thấy hữu ích.

Khi bạn đã chọn công cụ kiểm tra A / B hoặc phần mềm kiểm tra phân tách, hãy điền vào biểu mẫu đăng ký và làm theo hướng dẫn được cung cấp. Quá trình này khác nhau giữa các công cụ. Tuy nhiên, thông thường, bạn sẽ được yêu cầu cài đặt một đoạn mã trên trang web của mình và đặt mục tiêu.

Cách phân tích kết quả thử nghiệm A / B

Hãy nhớ khi tôi nói rằng viết một giả thuyết sẽ chuyển trọng tâm từ chiến thắng sang hiểu biết sâu sắc? Krista Seiden, Người ủng hộ Analytics và Giám đốc sản phẩm tại Google, giải thích điều đó có nghĩa là gì:

Krista Seiden, Google

“Khía cạnh bị bỏ qua nhiều nhất của thử nghiệm A / B là học hỏi từ những người thua cuộc của bạn. Trên thực tế, trong các chương trình tối ưu hóa mà tôi đã chạy, tôi có thói quen xuất bản ‘báo cáo thất bại’ trong đó tôi chỉ ra một số người thất bại lớn nhất trong số quý và những gì chúng tôi học được từ họ.

“Một trong những mục yêu thích nhất mọi thời đại của tôi là từ một chiến dịch đã được thực hiện trong nhiều tháng. Chúng tôi đã có thể lén lút thử nghiệm trang đích ngay trước khi nó được đưa vào hoạt động và đó là điều tốt mà chúng tôi đã làm, bởi vì nó đã thất bại thảm hại. Nếu chúng tôi thực sự khởi chạy trang như ban đầu, chúng tôi sẽ có một tác động đáng kể đến điểm mấu chốt. Cuối cùng, chúng tôi không chỉ tiết kiệm cho doanh nghiệp rất nhiều tiền mà còn có thể đào sâu và đưa ra một số giả định (mà sau đó chúng tôi đã thử nghiệm) về lý do tại sao trang mới hoạt động kém như vậy và điều đó khiến chúng tôi trở thành những nhà tiếp thị tốt hơn và thành công hơn trong các chiến dịch trong tương lai. ”

Nếu bạn đưa ra giả thuyết của mình một cách chính xác, thì ngay cả kẻ thua cuộc cũng là người chiến thắng, bởi vì bạn sẽ có được những hiểu biết sâu sắc mà bạn có thể sử dụng cho các thử nghiệm trong tương lai và trong các lĩnh vực kinh doanh khác của mình. Vì vậy, khi phân tích kết quả bài kiểm tra, bạn cần tập trung vào những thông tin chi tiết, chứ không phải việc bài kiểm tra đó thắng hay thua. Luôn luôn có một cái gì đó để học, luôn luôn một cái gì đó để phân tích. Đừng gạt bỏ những người thua cuộc!

Nếu bạn đưa ra giả thuyết của mình một cách chính xác, thì ngay cả người thua cuộc cũng là người chiến thắng.

Điều quan trọng nhất cần lưu ý ở đây là sự cần thiết của sự phân khúc. Một bài kiểm tra có thể thua về tổng thể, nhưng rất có thể nó được thực hiện tốt với ít nhất một phân đoạn. Ý tôi là gì theo phân đoạn?

Khách mới
Khách truy cập trở lại
khách truy cập iOS
Khách truy cập Android
Khách truy cập Chrome
Khách tham quan Safari
Khách truy cập máy tính để bàn
Khách truy cập máy tính bảng
Khách truy cập tìm kiếm không phải trả tiền
Khách truy cập trả tiền
Khách truy cập phương tiện truyền thông xã hội
Người mua đã đăng nhập

Bạn có được ý tưởng, phải không?

Khi bạn xem kết quả trong công cụ thử nghiệm của mình, bạn đang nhìn vào toàn bộ hộp kẹo. Những gì bạn cần làm là tách các Smarties theo màu sắc để bạn có thể ăn những con màu đỏ cuối cùng. Ý tôi là, vì vậy bạn có thể khám phá những thông tin chi tiết được phân đoạn, sâu hơn.

Kỳ lạ là giả thuyết đã được chứng minh đúng trong số các phân đoạn nhất định. Điều đó cũng cho bạn biết điều gì đó.

Phân tích không chỉ đơn giản là việc bài kiểm tra là người chiến thắng hay kẻ thua cuộc. Phân đoạn dữ liệu của bạn để tìm thông tin chi tiết ẩn bên dưới bề mặt.

Các công cụ kiểm tra A / B sẽ không thực hiện phân tích cho bạn, vì vậy đây là một kỹ năng quan trọng cần phát triển theo thời gian.

Sách điện tử miễn phí: Phân tích thương mại điện tử cho người mới bắt đầu

Tìm hiểu những chỉ số nào là chìa khóa để thiết lập và phát triển doanh nghiệp trực tuyến của bạn. Hướng dẫn miễn phí này là bước đầu tiên hoàn hảo để tìm hiểu về phân tích thương mại điện tử.

Cách lưu trữ các bài kiểm tra A / B trước đây

Giả sử bạn chạy thử nghiệm đầu tiên vào ngày mai. Hai năm kể từ ngày mai, bạn có nhớ chi tiết của bài kiểm tra đó? Không có khả năng.

Đó là lý do tại sao việc lưu trữ kết quả thử nghiệm A / B của bạn là quan trọng. Nếu không có một kho lưu trữ được duy trì tốt, tất cả những thông tin chi tiết bạn có được sẽ bị mất. Thêm vào đó, tôi không tin bạn, rất dễ dàng để kiểm tra cùng một thứ hai lần nếu bạn không lưu trữ.

Tuy nhiên, không có cách “đúng” nào để làm điều này. Bạn có thể sử dụng một công cụ như Dự án hoặc Thử nghiệm hiệu quả hoặc bạn có thể sử dụng Excel. Nó thực sự phụ thuộc vào bạn, đặc biệt là khi bạn mới bắt đầu. Chỉ cần đảm bảo rằng bạn đang theo dõi:

Giả thuyết
Ảnh chụp màn hình của điều khiển và biến thể
Dù thắng hay thua
Thông tin chi tiết thu được thông qua phân tích

Khi bạn phát triển, bạn sẽ cảm ơn chính mình vì đã giữ kho lưu trữ này. Nó không chỉ giúp bạn mà còn cả những người mới tuyển dụng và cố vấn / các bên liên quan.

Quy trình thử nghiệm A / B của những ưu điểm

Bây giờ bạn đã xem qua hướng dẫn kiểm tra A / B tiêu chuẩn, hãy cùng xem các quy trình chính xác của các chuyên gia từ các công ty như Google và HubSpot.

Danh sách đọc miễn phí: Tối ưu hóa chuyển đổi cho người mới bắt đầu

Biến nhiều khách truy cập trang web thành khách hàng hơn bằng cách tham gia khóa học cấp tốc về tối ưu hóa chuyển đổi. Truy cập danh sách các bài báo có tác động cao, miễn phí được sắp xếp của chúng tôi bên dưới

Krista Seiden, Google

Quy trình từng bước của tôi cho thử nghiệm A / B web và ứng dụng bắt đầu bằng phân tích — theo ý kiến của tôi, đây là cốt lõi của bất kỳ chương trình thử nghiệm tốt nào. Trong giai đoạn phân tích, mục tiêu là kiểm tra dữ liệu phân tích, dữ liệu khảo sát hoặc trải nghiệm người dùng hoặc bất kỳ nguồn thông tin chi tiết nào khác về khách hàng mà bạn có thể có để hiểu cơ hội tối ưu hóa của bạn đến đâu.

Khi bạn đã có một nguồn ý tưởng tốt từ giai đoạn phân tích, bạn có thể chuyển sang giả thuyết điều gì có thể xảy ra và cách bạn có thể sửa chữa hoặc cải thiện các lĩnh vực tối ưu hóa này.

Tiếp theo, đã đến lúc xây dựng và chạy các thử nghiệm của bạn. Hãy đảm bảo chạy chúng trong một khoảng thời gian hợp lý (tôi mặc định là hai tuần để đảm bảo rằng tôi đang tính toán các thay đổi hoặc bất thường hàng tuần) và khi bạn có đủ dữ liệu, hãy phân tích kết quả để xác định người chiến thắng.

Cũng cần dành chút thời gian trong giai đoạn này để phân tích những người thua cuộc — bạn có thể học được gì từ những biến thể này?

Cuối cùng, và bạn chỉ có thể đạt đến giai đoạn này khi bạn đã dành thời gian đặt nền móng cho một chương trình tối ưu hóa vững chắc, đã đến lúc xem xét cá nhân hóa. Điều này không nhất thiết yêu cầu một bộ công cụ ưa thích mà có thể lấy từ dữ liệu bạn có về người dùng của mình.

Cá nhân hóa tiếp thị có thể dễ dàng như nhắm mục tiêu đúng nội dung đến đúng vị trí hoặc phức tạp như nhắm mục tiêu dựa trên hành động của từng người dùng. Tuy nhiên, đừng nhảy vào tất cả cùng một lúc trên bit cá nhân hóa. Hãy chắc chắn rằng bạn dành đủ thời gian để nắm được những kiến thức cơ bản trước.

Alex Birkett, HubSpot

Ở cấp độ cao, tôi cố gắng làm theo quy trình này:

Thu thập dữ liệu và đảm bảo việc triển khai phân tích là chính xác.
Phân tích dữ liệu và tìm hiểu thông tin chi tiết.
Biến những hiểu biết sâu sắc thành giả thuyết.
Ưu tiên dựa trên tác động và mức độ dễ dàng, và phân bổ tối đa các nguồn lực (đặc biệt là nguồn lực kỹ thuật).
Chạy thử nghiệm (theo các phương pháp thống kê tốt nhất theo hiểu biết và khả năng của tôi).
Phân tích kết quả và thực hiện hoặc không theo kết quả.
Lặp lại dựa trên kết quả và lặp lại.

Nói một cách đơn giản hơn: nghiên cứu, thử nghiệm, phân tích, lặp lại.

Mặc dù quy trình này có thể đi chệch hướng hoặc thay đổi dựa trên bối cảnh là gì (Tôi có đang thử nghiệm một tính năng sản phẩm quan trọng đối với doanh nghiệp không? Một bài đăng trên blog? Hồ sơ rủi ro và sự cân bằng của sự đổi mới so với giảm thiểu rủi ro là gì?), Nhưng nó khá áp dụng cho mọi quy mô hoặc loại hình công ty.

Vấn đề là quy trình này nhanh nhưng cũng thu thập đủ dữ liệu, cả phản hồi định tính của khách hàng và phân tích định lượng, để có thể đưa ra các ý tưởng thử nghiệm tốt hơn và ưu tiên chúng tốt hơn để bạn có thể thúc đẩy lưu lượng truy cập đến cửa hàng trực tuyến của mình.

Ton Wesseling, Đối thoại trực tuyến

Câu hỏi đầu tiên chúng tôi luôn trả lời khi muốn tối ưu hóa hành trình của khách hàng là: Sản phẩm hoặc dịch vụ này phù hợp với mô hình ROAR mà chúng tôi đã tạo tại Đối thoại Trực tuyến ở đâu? Bạn vẫn đang trong giai đoạn rủi ro mà chúng tôi có thể thực hiện rất nhiều nghiên cứu nhưng không thể xác thực các phát hiện của mình thông qua các thử nghiệm trực tuyến thử nghiệm A / B (dưới 1.000 chuyển đổi mỗi tháng) hay bạn đang trong giai đoạn tối ưu hóa? Hoặc thậm chí ở trên?

Giai đoạn R isk: rất nhiều nghiên cứu, sẽ được chuyển thành bất cứ điều gì từ mô hình kinh doanh xoay vòng đến một thiết kế và đề xuất giá trị hoàn toàn mới.
O giai đoạn tối ưu hóa: các thử nghiệm lớn sẽ tối ưu hóa đề xuất giá trị và mô hình kinh doanh.
Giai đoạn tối ưu hóa O : các thử nghiệm nhỏ để xác thực các giả thuyết về hành vi của người dùng, điều này sẽ xây dựng kiến thức cho những thay đổi thiết kế lớn hơn.
Lưu ý: bạn vẫn còn quyền thử nghiệm (khách truy cập), có nghĩa là bạn không cần có tiềm năng thử nghiệm đầy đủ để xác thực hành trình người dùng của mình. Những gì còn lại nên được sử dụng để khai thác, để phát triển nhanh hơn ngay bây giờ (mà không cần tập trung vào việc học tập lâu dài). Điều này có thể được tự động hóa bằng cách chạy kẻ cướp / sử dụng thuật toán.
R e-think: bạn ngừng thêm nhiều nghiên cứu, trừ khi đó là một cái gì đó xoay quanh một cái gì đó mới.

Vì vậy, thử nghiệm A / B trên web hoặc ứng dụng chỉ là một vấn đề lớn trong giai đoạn tối ưu hóa ROAR và hơn thế nữa (cho đến khi suy nghĩ lại).

Cách tiếp cận của chúng tôi để chạy thử nghiệm là mô hình THỰC TẾ & HÀNH ĐỘNG:

Nghiên cứu chúng tôi thực hiện dựa trên Mô hình 5V của chúng tôi:

Chúng tôi thu thập tất cả những thông tin chi tiết này để đưa ra giả thuyết chính được hỗ trợ bởi nghiên cứu, giả thuyết này sẽ dẫn đến các giả thuyết phụ sẽ được ưu tiên dựa trên dữ liệu thu thập được thông qua thử nghiệm A / B trên máy tính để bàn hoặc thiết bị di động. Cơ hội giả thuyết đúng càng cao thì nó sẽ được xếp hạng càng cao.

Khi chúng tôi biết được giả thuyết của mình là đúng hay sai, chúng tôi có thể bắt đầu kết hợp các tìm hiểu và thực hiện các bước lớn hơn bằng cách thiết kế lại / thiết kế lại các phần lớn hơn trong hành trình của khách hàng. Tuy nhiên, tại một số thời điểm, tất cả các triển khai chiến thắng sẽ dẫn đến mức tối đa cục bộ. Sau đó, bạn cần thực hiện một bước lớn hơn để có thể đạt mức tối đa tiềm năng trên toàn cầu.

Và tất nhiên, những kiến thức chính sẽ được phổ biến trong toàn công ty, dẫn đến tất cả các loại tối ưu hóa và đổi mới rộng rãi hơn dựa trên thông tin chi tiết của bên thứ nhất đã được xác thực của bạn.

Bạn có đang tiếp thị cho khán giả quốc tế không? Tìm hiểu cách làm cho quá trình đó trở nên dễ dàng với bản địa hóa giả.

Julia Starostenko, Shopify

Mục đích của thử nghiệm là xác thực rằng việc thực hiện các thay đổi đối với trang web hiện tại sẽ có tác động tích cực đến doanh nghiệp.

Trước khi bắt đầu, điều quan trọng là phải xác định xem việc chạy thử nghiệm có thực sự cần thiết hay không. Hãy xem xét tình huống sau: có một nút có tỷ lệ nhấp chuột cực kỳ thấp. Gần như không thể giảm hiệu suất của nút này. Do đó, việc xác thực tính hiệu quả của một thay đổi được đề xuất đối với nút (tức là chạy thử nghiệm) là không cần thiết.

Tương tự, nếu thay đổi được đề xuất cho nút là nhỏ, thì có lẽ không đáng để dành thời gian thiết lập, thực hiện và hủy bỏ một thử nghiệm. Trong trường hợp này, các thay đổi chỉ nên được triển khai cho mọi người và hiệu suất của nút có thể được theo dõi.

Nếu xác định rằng việc chạy thử nghiệm trên thực tế sẽ có lợi, thì bước tiếp theo là xác định các chỉ số kinh doanh cần được cải thiện (ví dụ: tăng tỷ lệ chuyển đổi của một nút). Sau đó, chúng tôi đảm bảo rằng việc thu thập dữ liệu thích hợp được thực hiện.

Khi điều này hoàn tất, khán giả được chạy thử nghiệm phân chia ngẫu nhiên giữa hai nhóm; một nhóm được hiển thị phiên bản hiện có của nút trong khi nhóm khác nhận được phiên bản mới. Tỷ lệ chuyển đổi của từng đối tượng được theo dõi và khi đạt được ý nghĩa thống kê, kết quả của thử nghiệm sẽ được xác định.

Peep Laja, Viện CXL

Thử nghiệm A / B là một phần của bức tranh tối ưu hóa chuyển đổi lớn hơn. Theo tôi, đó là 80% về nghiên cứu và chỉ 20% về thử nghiệm. Nghiên cứu chuyển đổi sẽ giúp bạn xác định những gì cần thử nghiệm để bắt đầu.

Quy trình của tôi thường trông như thế này (một bản tóm tắt đơn giản hóa):

Tiến hành nghiên cứu chuyển đổi bằng cách sử dụng một khuôn khổ như ResearchXL để xác định các vấn đề trên trang web của bạn.
Chọn một vấn đề có mức độ ưu tiên cao (một vấn đề ảnh hưởng đến một phần lớn người dùng và là một vấn đề nghiêm trọng) và suy nghĩ càng nhiều giải pháp cho vấn đề này càng tốt. Thông báo quá trình hình thành ý tưởng của bạn với thông tin chi tiết về nghiên cứu chuyển đổi của bạn. Xác định thiết bị bạn muốn chạy thử nghiệm (bạn cần chạy thử nghiệm A / B trên thiết bị di động tách biệt với máy tính để bàn).
Xác định số lượng biến thể bạn có thể kiểm tra (dựa trên lưu lượng truy cập / mức độ giao dịch của bạn), sau đó chọn một đến hai ý tưởng tốt nhất của bạn cho một giải pháp để kiểm tra chống lại sự kiểm soát.
Wireframe các phương pháp xử lý chính xác (viết bản sao, thực hiện thay đổi thiết kế, v.v.) Tùy thuộc vào phạm vi thay đổi, bạn cũng có thể cần bao gồm một nhà thiết kế để thiết kế các phần tử mới.
Yêu cầu nhà phát triển giao diện người dùng của bạn triển khai các phương pháp điều trị trong công cụ thử nghiệm của bạn. Thiết lập các tích hợp cần thiết (Google Analytics), đặt mục tiêu phù hợp.
Tiến hành QA trong bài kiểm tra (các bài kiểm tra hỏng cho đến nay là sát thủ kiểm tra A / B lớn nhất) để đảm bảo nó hoạt động với mọi kết hợp trình duyệt / thiết bị.
Khởi chạy thử nghiệm!
Sau khi kiểm tra được thực hiện, tiến hành phân tích sau kiểm tra.
Tùy thuộc vào kết quả hoặc triển khai người chiến thắng, lặp lại các phương pháp điều trị hoặc đi và thử nghiệm thứ gì đó khác.

Tiếp thị 101

Khó khăn để tăng doanh số bán hàng? Tìm hiểu cách đi từ ngày đầu tiên đến lần bán hàng đầu tiên trong khóa đào tạo miễn phí này.

Liên quan: Cách trao quyền cho nhân viên bán lẻ bằng công nghệ

Tối ưu hóa thử nghiệm A / B cho doanh nghiệp của bạn

Bạn có quá trình, bạn có sức mạnh! Vì vậy, hãy ra khỏi đó, tải phần mềm thử nghiệm A / B tốt nhất và bắt đầu thử nghiệm cửa hàng của bạn. Trước khi bạn biết điều đó, những thông tin chi tiết đó sẽ tạo ra nhiều tiền hơn trong Ngân hàng của Bạn.

Nếu bạn muốn tiếp tục tìm hiểu về tối ưu hóa, hãy cân nhắc tham gia một khóa học miễn phí, chẳng hạn như thử nghiệm A / B của Udacity của Google. Bạn có thể tìm hiểu thêm về thử nghiệm A / B trên web và ứng dụng dành cho thiết bị di động để tăng cường kỹ năng tối ưu hóa của mình.

Sẵn sàng tạo doanh nghiệp đầu tiên của bạn? Bắt đầu dùng thử Shopify miễn phí trong 14 ngày của bạn — không cần thẻ tín dụng.

Danh Mục Sản Phẩm

Hướng dẫn hoàn chỉnh về thử nghiệm A / B: Mẹo của chuyên gia từ Google, HubSpot, v.v.

Thử nghiệm A / B là gì?

Cách thử nghiệm A / B hoạt động

Danh sách đọc miễn phí: Tối ưu hóa chuyển đổi cho người mới bắt đầu

Thử nghiệm A / B / n là gì?

Thử nghiệm A / B nên chạy trong bao lâu?