سیستم رشد؛ از اولین کلیک تا دلیلی برای برگشتن

کمپین تمام شده... چند روز پر از کلیک و ثبت نام. حالا بودجه پایین آمده و نمودار هم همراهش برگشته. تیم دنبال ایده بعدی می گردد. پیشنهاد بعدی. مناسبت بعدی.

این اتفاق به خودی خود عجیب نیست. کمپین برای یک هدف و یک بازه طراحی می شود. مشکل از جایی شروع می شود که از روی ثبت نام های آن، درباره رشد محصول نتیجه می گیریم؛ بی آنکه بدانیم آدم هایی که آمده اند، چه کرده اند و چرا باید برگردند.

من برای حرف زدن درباره سیستم رشد، از همین فاصله شروع می کنم... فاصله بین ورود یک نفر و تجربه ای که برایش ارزش تکرار دارد. اگر این مسیر را نشناسیم، بودجه بیشتر می تواند تعداد ورودی ها را بالا ببرد، در حالی که هنوز نمی دانیم با آن ها چه اتفاقی می افتد.

یک مسیر مشخص... با تعریف هایی که بتوان شمرد

برای این یادداشت، سیستم رشد را مجموعه ای از تصمیم ها و سنجش های به هم پیوسته می گیرم: جذب آدم مناسب، رسیدن او به ارزش اولیه، استفاده دوباره، پرداخت و یادگرفتن از نتیجه. این یک مدل کاری برای تحلیل است؛ نسخه یکسان برای همه کسب و کارها نیست.

فرض کنیم یک نرم افزار مدیریت کار گروهی داریم. تعریف هر مرحله می تواند این باشد:

مرحله	تعریف پیشنهادی در این مثال	چیزی که می شماریم
جذب	اولین ثبت نام معتبر	کاربر جدید با شناسه یکتا
فعال سازی	ساخت پروژه و تکمیل اولین کار در هفت روز	سهم ثبت نام های واجد شرایط که هر دو کار را انجام داده اند
نگهداشت	ثبت فعالیت کاری مشخص در هفته چهارم	سهم همان گروه ورودی با فعالیت تعریف شده
درآمد	اولین خرید اشتراک	تعداد خریدار جدید و درآمدشان

این تعریف فعال سازی هنوز یک فرضیه است. باید بررسی کنیم آیا رسیدن به این نقطه، با ادامه استفاده رابطه دارد و آیا کمک به کاربر برای رسیدن به آن، واقعا تجربه اش را بهتر می کند. صرف مشاهده رابطه، دلیل قطعی رابطه علت و معلولی نیست.

مستندات تحلیل نگهداشت Amplitude بر تعریف رویداد شروع، رویداد بازگشت و فاصله زمانی میان آن ها تکیه دارد. پس قبل از نوشتن «نگهداشت ما ۳۰ درصد است»، باید معلوم باشد بازگشت به چه کاری و در چه زمانی را شمرده ایم.

ثبت نام بیشتر... و یک گلوگاه پنهان

یک ماه فرضی را در نظر بگیر. عددها آموزشی هستند و به محصول یا تجربه شخصی مشخصی اشاره ندارند.

هزار نفر ثبت نام کرده اند. از بین آن ها، ۲۵۰ نفر در هفت روز اول به تعریف فعال سازی ما رسیده اند. ۱۰۰ نفر از همان هزار نفر در هفته چهارم فعالیت کاری تعریف شده دارند. ۴۰ نفر هم تا پایان روز سی ام اولین اشتراک را خریده اند.

برای گزارش هفت روزه، فقط کاربرهایی را وارد مخرج می کنیم که هفت روز کامل از ثبت نامشان گذشته. برای هفته چهارم و خرید سی روزه هم باید فرصت مشاهده کامل شده باشد. وگرنه کاربران تازه تر، هنوز فرصت انجام رفتار را نداشته اند و نرخ را گمراه کننده پایین می آورند.

با فرض کامل بودن این پنجره ها، نرخ فعال سازی ۲۵ درصد، نگهداشت هفته چهارم نسبت به تمام ثبت نام ها ۱۰ درصد، و تبدیل سی روزه به خرید ۴ درصد است.

حالا وسوسه روشن است: ثبت نام را دو برابر کنیم. اگر همه نرخ ها ثابت بمانند، خریدار جدید از ۴۰ نفر به ۸۰ نفر می رسد. این فقط یک سناریوی حسابی است. تغییر کانال یا مخاطب می تواند نرخ ها را هم تغییر دهد.

سناریوی دیگری را بررسی کنیم: هزار ثبت نام ثابت بماند، فعال سازی به ۴۰۰ نفر برسد و نرخ خرید در کل گروه به ۶ درصد افزایش پیدا کند. حاصل، ۶۰ خریدار است. این هم پیش بینی قطعی نیست؛ نشان می دهد چرا بررسی مسیر پس از ثبت نام، می تواند به اندازه افزایش ورودی ارزش بررسی داشته باشد.

از همین عددها نمی شود حکم داد مشکل در کدام صفحه است... فقط می فهمیم باید آنجا را دقیق تر ببینیم.

گلوگاه را از روی رفتار پیدا کن

فرض کنیم بررسی مسیر نشان می دهد کاربران زیادی پروژه می سازند، اما اولین کار را ثبت نمی کنند. قبل از پیشنهاد تغییر، باید بفهمیم چرا. ممکن است گزینه ساخت کار پیدا نباشد. شاید محصول را برای نیاز دیگری امتحان کرده اند. شاید هم ثبت رویداد خراب است و رفتار انجام شده در گزارش دیده نمی شود.

من این بررسی را از تطبیق داده با چند مسیر واقعی شروع می کنم: رویداد در زمان درست ثبت می شود؟ کاربر شناسه ثابت دارد؟ خطاهای محصول با ریزش همزمان هستند؟ گفتگو با کاربرهای رهاکرده چه توضیحی به داده اضافه می کند؟

اینجا کمیت و گفتگو مکمل هم هستند. چند گفتگو می تواند فرضیه بسازد؛ اندازه شیوع مشکل را به تنهایی ثابت نمی کند. نمودار هم محل توقف را نشان می دهد، اما همیشه دلیلش را توضیح نمی دهد.

بعد از این بررسی، شاید فرضیه چنین شود: «کاربر بعد از ساخت پروژه، قدم بعدی را تشخیص نمی دهد. اگر همان جا امکان ساخت اولین کار روشن تر شود، سهم کاربرهایی که در هفت روز به فعال سازی می رسند افزایش پیدا می کند.»

حالا یک تصمیم مشخص داریم که می شود سنجید.

آزمایش را قبل از دیدن نتیجه تعریف کن

برای همین فرضیه، یک برگه کوتاه کافی است: چه گروهی وارد آزمایش می شود، چه چیزی تغییر می کند، موفقیت را با کدام شاخص می سنجیم و چه نشانه هایی جلوی ادامه را می گیرد.

شاخص اصلی در این مثال، نرخ فعال سازی هفت روزه است. کنار آن، خطاهای ساخت کار، حذف سریع پروژه و رفتار هفته چهارم را هم زیر نظر می گیریم. هدف این است که یک کلیک بیشتر را با بهترشدن تجربه اشتباه نگیریم.

اگر امکان آزمون تصادفی داریم، کاربران واجد شرایط را با روش ثابت به گروه کنترل و نسخه تازه اختصاص می دهیم. پژوهش Microsoft درباره آزمایش آنلاین توضیح می دهد که تصادفی سازی و طراحی درست، پایه بررسی اثر علت و معلولی هستند.

زمان اجرا را با جمله «سه روز ببینیم چه می شود» تعیین نمی کنیم. پنجره مشاهده باید کامل شود و حجم نمونه با نرخ پایه و اندازه اثری که برای تصمیم مهم است تناسب داشته باشد. دیدن یک عدد بهتر در ساعت اول، مجوز اعلام برنده نیست.

اگر ترافیک برای چنین آزمونی کافی نیست، می توان با بررسی کاربردپذیری و داده های قبل و بعد، تصمیم محدودتری گرفت. فقط باید سطح اطمینان همان قدر محدود بماند؛ همزمانی تغییر و بهبود، اثبات اثر تغییر نیست.

نتیجه هر چه شد، باید به تصمیم بعدی وصل شود

فرض کنیم در پایان آزمون، فعال سازی بهتر شده اما خرید و نگهداشت هنوز فرصت مشاهده کافی ندارند. نتیجه ای که داریم، بهبود همان شاخص در همان شرایط است. ادعای رشد درآمد زود است.

اگر بعدا نگهداشت بهتر نشد، شاید کاربر قدم اول را راحت تر برداشته اما هنوز دلیل کافی برای ادامه ندارد. اگر نگهداشت بهتر شد و خرید تغییری نکرد، باید ارزش بخش پولی و مسیر پرداخت را جدا بررسی کرد.

سیستم از همین اتصال ساخته می شود: مشاهده، فرضیه، تغییر محدود، سنجش، تصمیم بعدی. لازم نیست هر آزمایش موفق باشد. لازم است نتیجه اش جایی ثبت شود و روی تصمیم بعدی اثر بگذارد. تکرار آزمایشی که قبلا با همان شرایط جواب نداده، صرفا به خاطر فراموشی تیم، یادگیری نیست.

حلقه رشد چه زمانی شکل می گیرد؟

در همین محصول گروهی، کاربر ممکن است بعد از ساخت یک پروژه مفید، همکارش را دعوت کند. همکار وارد می شود، در کار مشترک مشارکت می کند و بعد برای تیم دیگری پروژه می سازد. این مسیر می تواند یک حلقه جذب بسازد.

اما وجود دکمه دعوت، وجود حلقه کارآمد را ثابت نمی کند. باید ببینیم چند دعوت به پذیرش می رسد، چند نفر از دعوت شده ها واقعا از محصول استفاده می کنند و آیا این استفاده، دعوت یا ارزش تازه ای ایجاد می کند. دعوت اجباری می تواند عدد ارسال را بالا ببرد و تجربه را خراب کند.

همه محصولات هم به حلقه دعوت نیاز ندارند. در محصولی که سالی یک بار استفاده می شود، بازگشت هفتگی معیار مناسبی نیست. منطق اندازه گیری باید از رفتار طبیعی استفاده بیاید، نه از جدولی که برای محصول دیگری ساخته شده است.

کمپین بعدی را با چه سوالی شروع کنیم؟

قبل از نوشتن بریف، مسیر فعلی را روی یک صفحه بگذار: آدم ها از کجا می آیند؟ کجا اولین ارزش را می بینند؟ چه کسانی برمی گردند؟ چه کسانی پول می دهند؟ و کدام گلوگاه، پشتوانه داده و مشاهده دارد؟

بعد معلوم کن کمپین قرار است کدام بخش را حرکت بدهد. شاید جذب گروه مناسبی که کم داریم. شاید برگرداندن کاربرهایی با یک نیاز مشخص. شاید معرفی قابلیتی که استفاده اش هنوز روشن نیست.

برای هر کدام، هزینه و زمان سنجش فرق دارد. یادداشت هزینه جذب مشتری بخش اقتصادی این تصمیم را باز می کند.

وقتی بودجه قطع می شود، ممکن است ورودی هم پایین بیاید... این طبیعی است. چیزی که می خواهم از کار باقی بماند، شناخت روشن تری از مسیر مشتری است؛ و تصمیم بعدی که با همین شناخت گرفته می شود.