Optimizely Intelligence Cloud. Ինչպես օգտագործել վիճակագրության շարժիչը A/B փորձարկման համար ավելի խելացի և արագ

Optimizely Stats Engine և A/B փորձարկման ռազմավարություններ

Եթե ​​դուք փնտրում եք գործարկել փորձարարական ծրագիր, որը կօգնի ձեր բիզնեսին փորձարկել և սովորել, հավանականությունը մեծ է, որ օգտագործում եք Optimizely Intelligence Cloud - կամ գոնե դու նայեցիր դրան: Optimizely- ը խաղի ամենահզոր գործիքներից մեկն է, բայց ինչպես ցանկացած նման գործիք, դուք կարող եք այն սխալ օգտագործել, եթե չեք հասկանում, թե ինչպես է այն աշխատում: 

Ինչո՞վ է Optimizely- ն այդքան հզոր: Իր գործառույթների հավաքածուի հիմքում ընկած է երրորդ կողմի գործիքի վիճակագրության առավել տեղեկացված և ինտուիտիվ շարժիչը, որը թույլ է տալիս ավելի շատ կենտրոնանալ կարևոր թեստեր ուղիղ հեռարձակման վրա `առանց անհանգստանալու, որ ձեր արդյունքները սխալ եք մեկնաբանում: 

Շատ նման է ավանդական կույր ուսումնասիրության բժշկության, A / B փորձարկում պատահականորեն ցույց կտա տարբեր բուժում Ձեր կայքի տարբեր օգտվողներին, որպեսզի համեմատեք բուժման յուրաքանչյուր արդյունավետությունը: 

Վիճակագրությունն այնուհետև օգնում է մեզ եզրակացություններ անել այն մասին, թե որքանով է արդյունավետ այդ բուժումը երկարաժամկետ հեռանկարում: 

A/B թեստավորման գործիքների մեծ մասը հիմնված է վիճակագրական եզրակացության երկու տեսակներից մեկի վրա `հաճախակի կամ բեյեսյան վիճակագրություն: Յուրաքանչյուր դպրոց ունի տարբեր առավելություններ և թերություններ: Optimizely- ի գերտերությունն այն է, որ այն այսօր շուկայում միակ գործիքն է, որը կարող է վերցնել երկու աշխարհներից լավագույնը մոտեցում.

Վերջնական արդյունքը? Optimizely- ն հնարավորություն է տալիս օգտվողներին փորձեր կատարել ավելի արագ, ավելի հուսալի և ինտուիտիվ:

Այնուամենայնիվ, դրանից լիարժեք օգտվելու համար կարևոր է հասկանալ, թե ինչ է կատարվում կուլիսներում: Ահա 5 խորաթափանցություն և ռազմավարություն, որոնք կստիպեն ձեզ օգտվել Optimizely- ի հնարավորություններից ՝ որպես մասնագետ:

Ռազմավարություն #1: Հասկացեք, որ ոչ բոլոր չափանիշներն են ստեղծված հավասար

Փորձարկման գործիքների մեծ մասում սովորաբար անտեսված խնդիրն այն է, որ որքան ավելի շատ չափումներ ավելացնեք և հետևեք ձեր թեստի շրջանակներում, այնքան ավելի հավանական է, որ պատահական պատահականության պատճառով որոշ սխալ եզրակացություններ տեսնեք (վիճակագրության մեջ սա կոչվում է «բազմակի թեստավորման խնդիր »): Իր արդյունքները հուսալի պահելու համար Optimizely- ն կիրառում է մի շարք վերահսկումներ և ուղղումներ `հնարավորինս ցածր պահելու դրա հավանականությունը: 

Այդ վերահսկումներն ու ուղղումները երկու ենթատեքստ ունեն, երբ գնում եք Optimizely- ում թեստեր տեղադրելու: Նախ, ձեր կողմից նշանակված չափանիշը Առաջնային մետրիկ ամենաարագը կհասնի վիճակագրական նշանակության, մնացած բոլորը ՝ հաստատուն: Երկրորդ, որքան ավելի շատ չափումներ ավելացնեք փորձին, այնքան ավելի երկար ժամանակ կպահանջվի վիճակագրական նշանակության հասնելու համար:

Փորձը պլանավորելիս ՝ համոզվեք, որ դուք գիտեք, թե որ չափանիշը կլինի ձեր Northշմարիտ Հյուսիսը ձեր որոշումների կայացման գործընթացում: Այնուհետև ձեր չափիչ ցուցակի մնացորդը պահեք նիհար ՝ հեռացնելով ավելորդ կամ շոշափելի ամեն ինչ:

Ռազմավարություն #2: Կառուցեք ձեր սեփական անհատական ​​հատկանիշները

Optimizely- ը հիանալի է ձեզ տալիս փորձի արդյունքները բաժանելու մի քանի հետաքրքիր և օգտակար եղանակներ: Օրինակ, կարող եք ուսումնասիրել, թե արդյոք որոշակի բուժումներն ավելի լավ են աշխատում աշխատասեղանի և բջջայինի վրա, կամ նկատում եք երթևեկության աղբյուրների տարբերությունները: Չնայած ձեր փորձարարական ծրագրի հասունացմանը, դուք արագորեն կցանկանաք նոր հատվածներ ունենալ. Դրանք կարող են հատուկ լինել ձեր օգտագործման դեպքում, օրինակ ՝ մեկանգամյա և բաժանորդագրության գնումների հատվածները, կամ ընդհանրական ՝ որպես «նոր ընդդեմ վերադարձող այցելուների» (որոնք, անկեղծ ասած, մենք դեռ չենք կարող պարզել, թե ինչու դա չի տրամադրվում տուփից դուրս):

Լավ նորությունն այն է, որ Optimizely- ի Javրագրի Javascript դաշտի միջոցով Optimizely- ին ծանոթ ինժեներները կարող են կառուցել ցանկացած շարք հետաքրքիր անհատական ​​հատկանիշներ, որոնցով այցելուները կարող են նշանակվել և բաժանվել: Cro Metrics- ում մենք կառուցել ենք մի շարք ֆոնդային մոդուլներ (օրինակ ՝ «նոր ընդդեմ վերադարձող այցելուների»), որոնք մենք տեղադրում ենք մեր բոլոր հաճախորդների համար իրենց Project Javascript- ի միջոցով: Այս կարողությունից օգտվելը հիմնական տարբերակիչն է այն հասուն թիմերի միջև, որոնք ունեն ճիշտ տեխնիկական ռեսուրսներ, որոնք կօգնեն նրանց կատարելագործմանը, և այն թիմերի միջև, ովքեր պայքարում են փորձերի ողջ ներուժը իրացնելու համար:

Ռազմավարություն #3: Ուսումնասիրեք Optimizely- ի վիճակագրության արագացուցիչը

Հաճախ չափազանց չափազանց փորձարկվող գործիքի առանձնահատկությունն այն է, որ կարողանաք օգտագործել «բազմաբազուկ ավազակներ», մեքենայական ուսուցման ալգորիթմի մի տեսակ, որը դինամիկ փոխվում է փորձի ընթացքում ձեր երթևեկի տեղաբաշխման դեպքում ՝ նույնքան այցելու ուղարկելու «հաղթողին»: հնարավորինս տատանումներ: Բազմազավակ ավազակների խնդիրն այն է, որ դրանց արդյունքները երկարաժամկետ աշխատանքի հուսալի ցուցանիշներ չեն, ուստի այս տեսակի փորձերի կիրառման դեպքերը սահմանափակվում են ժամանակի նկատմամբ զգայուն դեպքերով, ինչպիսիք են վաճառքի խթանումները:

Օպտիմալ կերպով, սակայն, ունի այլ տեսակի ավազակային ալգորիթմ, որը հասանելի է ավելի բարձր ծրագրերի օգտվողներին `Stats Accelerator (այժմ հայտնի է որպես« Ավազակների ներսում «Արագացնել սովորելը» տարբերակ): Այս կարգավորման մեջ, փոխանակ երթևեկը դինամիկ կերպով բաշխելու ամենաբարձր կատարողականի տատանումներին, Optimizely- ն դինամիկ կերպով բաշխում է երթևեկությունը այն տատանումներին, որոնք, ամենայն հավանականությամբ, ամենաարագը կհասնեն վիճակագրական նշանակության: Այս կերպ Դուք կարող եք ավելի արագ սովորել և պահպանել ավանդական A/B թեստի արդյունքների կրկնօրինակելիությունը:

Ռազմավարություն #4. Ավելացրեք էմոջիներ ձեր չափիչ անուններին

Առաջին հայացքից այս գաղափարը, հավանաբար, անտեղի է հնչում, նույնիսկ անմիտ: Այնուամենայնիվ, փորձի ճիշտ արդյունքները կարդալիս համոզվելու հիմնական ասպեկտը սկսվում է այն համոզվելուց, որ ձեր լսարանը կարող է հասկանալ հարցը: 

Երբեմն, չնայած մեր բոլոր ջանքերին, մետրային անունները կարող են շփոթեցնել (սպասեք. Արդյո՞ք այդ մետրիկն ազդում է, երբ պատվերն ընդունվում է, կամ երբ օգտվողը հարվածում է շնորհակալության էջին), կամ մի փորձարկումն այնքան շատ չափումներ ունի, որոնք պտտում են արդյունքները վեր ու վար: էջը հանգեցնում է ճանաչողական ընդհանուր ծանրաբեռնվածության:

Ձեր չափիչ անուններին էմոջիներ ավելացնելը (թիրախներ, կանաչ նշաններ, նույնիսկ դրամական մեծ պայուսակը կարող է աշխատել) կարող է հանգեցնել շատ ավելի սկանավորվող էջերի: 

Վստահեք մեզ. Արդյունքները կարդալը շատ ավելի հեշտ կլինի:

Ռազմավարություն #5: Վերանայեք ձեր վիճակագրական նշանակության մակարդակը

Արդյունքները համարվում են վերջնական Optimizely փորձի համատեքստում, երբ դրանք հասնում են վիճակագրական նշանակություն. Վիճակագրական նշանակությունը կոշտ մաթեմատիկական տերմին է, բայց ըստ էության դա այն հավանականությունն է, որ ձեր դիտարկումները երկու պոպուլյացիաների իրական տարբերության արդյունք են, և ոչ թե պարզապես պատահական պատահականության: 

Optimizely- ի հաղորդած վիճակագրական նշանակության մակարդակները «միշտ վավերական» են մաթեմատիկական հայեցակարգի շնորհիվ հաջորդական փորձարկում - սա իրականում դրանք շատ ավելի հուսալի է դարձնում, քան փորձարկման այլ գործիքները, որոնք հակված են բոլոր տեսակի «հայացքների» խնդիրների, եթե դրանք շուտ կարդաք:

Արժե հաշվի առնել, թե վիճակագրական նշանակության ինչ մակարդակ եք համարում կարևոր ձեր թեստավորման ծրագրի համար: Մինչ 95% -ը գիտական ​​համայնքի պայմանականությունն է, մենք փորձարկում ենք վեբ կայքի փոփոխությունները, այլ ոչ թե պատվաստանյութերը: Մեկ այլ սովորական ընտրություն փորձարարական աշխարհում `90%: Բայց դուք պատրա՞ստ եք մի փոքր ավելի անորոշություն ընդունել, որպեսզի ավելի արագ փորձեր կատարեք և ավելի շատ գաղափարներ փորձարկեք: Կարո՞ղ եք օգտագործել 85% կամ նույնիսկ 80% վիճակագրական նշանակություն: Ձեր ռիսկի և պարգևի հավասարակշռության վերաբերյալ միտումնավոր լինելը ժամանակի ընթացքում կարող է վճարել արտոնյալ շահաբաժիններ, ուստի ուշադիր մտածեք դրա մասին:

Կարդալ ավելին Optimizely Intelligence Cloud- ի մասին

Այս հինգ արագ սկզբունքներն ու պատկերացումները աներևակայելի օգտակար կլինեն հաշվի առնել Optimizely- ն օգտագործելիս: Ինչպես ցանկացած գործիքի դեպքում, այնպես էլ այն կայանում է նրանում, որ համոզված եք, որ լավ եք հասկանում կուլիսների բոլոր հարմարեցումները, այնպես որ կարող եք համոզվել, որ գործիքը արդյունավետ և արդյունավետ եք օգտագործում: Այս հասկացությունների շնորհիվ դուք կարող եք ստանալ ձեր փնտրած հուսալի արդյունքները, երբ դրանք ձեզ անհրաժեշտ են: 

Ինչ եք կարծում?

Այս կայքը օգտագործում է Akismet- ը սպամի նվազեցման համար: Իմացեք, թե ինչպես է ձեր տվյալները մշակվում.