اجتناب از نقاط ضعف آزمون A/B

نویسندگان: گیوم سنت-ژاک, مارتین تینگلی, یاوور بوجینوف

مطمئن شوید آزمایش‌هایتان نیازهای متغیر مشتریان را شناسایی ‌می‌کنند.

طی سال‌های اخیر،استفاده از آزمون‌ A/B افزایش چشمگیری یافته است. می‌توان این موضوع را به افزایش مقبولیتش در نزد جامعه و فناوری‌های نسبتاً ارزان اجرای آن نسبت داد. امروزه شرکت‌های دیجیتال و تعداد فزاینده‌ای از کمپانی‌های سنتی، سالانه ده‌ها هزار آزمایش آنلاین انجام می‌دهند که طی آن‌ها، نمونه‌ی «A» یا کنترل (عموماً رویکرد کنونی سازمان) را با نمونه‌ی «B» یا همان اصلاحیه‌ی پیشنهادی برای محصول یا خدمت مقایسه می‌کنند تا تغییرات را بسنجند. این آزمایش‌ها با نمایش واکنش‌های کاربران به این اصلاحات، به شرکت‌ها کمک می‌کنند تا بهترین راهکارها برای ارتقای محصولات دیجیتال و خلق نمونه‌های جدید را بشناسند.

به‌واسطه‌ی انتشار نوآوری‌ها برای یک گروه کوچک و منتخب تحت آزمایش، ریسک عوارض جانبی منفی نیز کاهش خواهند یافت. و توانایی منحصربه‌فرد این آزمایش‌ها در سنجش عینی هر تغییر، به شرکت‌ها اجازه می‌دهد تا هرگونه رشد درآمد، تعهد یا سایر معیارهای کلیدیِ حاصل از آن تغییر را به‌صورت جداگانه بسنجند و آن را با سایر پیشرفت‌ها ترکیب نکند. همچنین فرصتی فراهم می‌آورد تا فرصت‌ها را شناسایی و بازده درآمد ناشی از آن‌ها را ارزیابی کنند.

اغراق نیست اگر موفقیت در آزمون A/B را ازجمله عوامل حیاتی برای آینده‌ی این شرکت‌ها بدانیم. اما در غالب اوقات، اشتباهات بزرگی در روند آزمایش‌های کمپانی‌ها صورت می‌گیرند.

طی تحقیقمان در دانشکده‌ی کسب‌وکار هاروارد و از طریق تجربیاتمان به‌عنوان مدیران علم داده‌ها در کمپانی‌های نت‌فلیکس و لینکدین، سه نقطه‌ضعف اصلی در رویکردهای این کمپانی‌ها را مشاهده کردیم. در این مقاله، با معرفی تکنیک‌های کارآمد نت‌فلیکس و لینکدین که کمک‌حال شما برای اجرای بهتر آزمایش‌‌ها و بهبود عملکرد شرکتتان هستند، رویکردهای احتمالی برای اجتناب از این نقاط ضعف را مطرح خواهیم کرد.

نقطه‌ضعف 1

نگاه نکردن به فراتر از متوسط‌ها

یکی از اشتباهات متداول، تمرکز صِرف سازمان‌ها بر تاثیر نوآوری‌ها روی میانگین معیارهای کسب‌وکار است. بدین ترتیب کمپانی‌ها اساساً تاثیر نوآوری بر یک شخصیت ساختگی و متوسط را می‌سنجند، و تفاوت‌های قابل توجه میان بخش‌های گوناگون مشتریان را نادیده می‌گیرند. بنابراین هرگونه تغییر ممکن است موجب ارتقای وضعیت یک گروه از مشتریان و صدمات جدی به گروه دیگری از آن‌ها شود.

فرض کنید یک محصول جدید معرفی شود که متوسط هزینه‌کرد مشتریان را 1 دلار افزایش دهد. در این شرایط فرض می‌کنیم که هر کاربر، 1 دلار بیشتر هزینه می‌کند. درحالی‌که این امر می‌تواند به‌واسطه‌ی افزایش قابل توجه هزینه‌کرد توسط عده‌ی محدودی از کاربران باشد و شاید انبوهی از سایر افراد، به سراغ محصولات دیگر رفته باشند. داشبوردهای متداول برای آزمون A/B که صرفاً تفاوت میان میانگین‌ها را نشان می‌دهند، هیچ تمایزی میان دو سناریوی فوق قائل نمی‌شوند.

هرگونه تغییر موجب ارتقای وضعیت یک گروه از مشتریان و صدمات جدی به گروه دیگری از آن‌ها می‌شود.

وقتی معیارهای محوری کسب‌وکار متاثر از عده‌ی محدودی از مشتریان بزرگ یا اَبَرکاربرها باشند، امکان گمراه‌کنندگی میانگین‌ها زیاد خواهد بود. زمانی که تصمیم‌گیرندگان یک نمونه‌ی ایده‌آل را نماینده‌ی کل مشتریان در نظر بگیرند، خطر بهینه‌سازی شرایط برای کاربران دائم و قربانی کردن کاربران موقت را افزایش خواهند داد. این امر خطرناک خواهد بود، زیرا عموماً ترغیب کاربران موقت به افزایش استفاده، یکی از بزرگ‌ترین فرصت‌های پیش روی شرکت‌ها است.

در برخی از نمونه‌ها، بهتر است یک راهکار (یا به قول آزمایشگاهی‌ها یک «علاج») واحد برای تمامی کاربران کشف شود. اما گاهی اوقات هم منطقی‌تر است که نسخه‌های گوناگون و متناسب با ترجیحات گروه‌های مهم کاربران ساخته شوند. آزمون A/B می‌تواند کمک‌حال کمپانی‌ها برای این کار باشد. این دسته‌بندی می‌تواند با بهره‌گیری از خصایص معین نظیر کشور، صنعت و مشاغل پیشین باشد یا می‌توان از تکنیک‌های یادگیری ماشینی بهره گرفت تا واکنش متفاوت گروه‌ها به هر نوآوری را شناسایی کرد. حتی وقتی تمامی بینش‌های حاصله شدنی نباشند، همچنان نتایج آزمون به شرکت‌ها اجازه می‌دهند تا فرصت‌های احتمالی و راهکارهای بهره‌مندی از آن‌ها را بسنجند.

به‌منظور در نظر گرفتن ناهمگونی مشتریان، شرکت‌ها باید اقدامات زیر را پیش بگیرند:

از معیارها و رویکردهایی بهره بگیرید که ارزش گروه‌های مختلف مشتریان را منعکس کنند. نت‌فلیکس خواهان افزایش عواید تمامی کاربران خود است – نه صرفاً پیگیر‌ترین کاربران این سرویس. شرایطی را تصور کنید که محبوب‌‌ترین برنامه‌های تلویزیون در بخش توصیه‌های تمامی کاربران ظاهر شوند. این امر موجب افزایش ساعات مشاهده‌ی تلویزیون توسط کاربران پرمصرف می‌شود و متوسط زمان استفاده از نت‌فلیکس را به‌شدت افزایش دهد. اما این تغییر نیازهای آن دسته از کاربرانی که به دنبال استریم محتوای خاص هستند را برآورده نمی‌کند و در ادامه موجب کاهش زمان استفاده‌شان از این سرویس خواهد شد. این امر مشکل‌ساز است: عموماً ارزش ارائه‌شده توسط نت‌فلیکس برای اعضای نه‌چندان علاقه‌مند، بسیار کمتر از کاربران پیگیر است و متعاقباً احتمال لغو اشتراک آن‌ها را افزایش خواهد داد. بنابراین بهتر است نت‌فلیکس محتواهای بیشتری ارائه دهد که اعضای نه‌چندان علاقه‌مند خود را جذب کند، نه اینکه بخواهد کاربران جدی خود را چند ساعت بیشتر به تماشای برنامه‌های خود بنشاند.

آونگ شعله‌دار شارلند، احتمال ابداع و مکاشفه در چارچوب قوانین آزمون‌پس‌داده‌ی علوم را بررسی می‌کند.

به‌منظور غلبه بر این مشکلات، نت‌فلیکس دو رویکرد در پیش گرفته است. اولاً آزمون‌های A/B خود را به‌صورت متوالی برگزار می‌کند. در این تکنیک، نت‌فلیکس تمهیدی می‌اندیشد که هر کاربر دو نمونه‌ی «A» و «B» را تجربه کند: در روز اول، آزمایش کنترل را تجربه خواهد کرد و سپس در روز دوم، در گروه اصلاحیه قرار خواهد گرفت و بالعکس. بدین ترتیب نت‌فلیکس می‌تواند در کنار ملاحظه‌ی رفتارهای متفاوت اعضا، امیدوارکننده‌ترین نوآوری‌ها را شناسایی کند. ثانیاً به‌جای اینکه صرفاً میانگین خام دقایق استریم را لحاظ کند، یک معیار متوازن توسعه بدهد که تاثیر هر راهکار بر کاربران مشتاق و نه‌چندان مشتاق را در نظر بگیرد و تضمین کند که تغییرات محصول صرفاً به نفع یک دسته‌ی خاص از کاربران نباشند.

منظورمان از کیفیت «دسترسی دیجیتال»، سرعت و ثبات اتصال اینترنت مشتریان، دسترسی آن‌ها به جدیدترین و پیشرفته‌ترین دستگاه‌ها، و مواردی از این دست است. طراحی و تحلیل آزمون‌های A/B برای هر یک از این دسته‌های مجزا، موجب تناسب تجربه‌ی کاربران با محیط دیجیتالشان خواهد شد.

وقتی بحث معیارهای فنی (نظیر زمان بارگذاری اپ، تاخیر پیش از آغاز پلی‌بک ویدئو و نرخ کِرَش) در میان باشد، درک برداشت متفاوت هر عضو از تاثیر اصلاحات بر کیفیت سرویس‌ها نیز اهمیت دوچندانی خواهد یافت. بدین منظور هم نت‌فلیکس و هم لینکدین، صدک‌های بالا و میانی و پایین این معیارها و نحوه‌ی تغییرات میانگین‌هایشان را در نظر می‌گیرند. در مقایسه‌ی میان زمان بارگذاری اپ برای صدک 5ام از کاربران (آن‌هایی که دارای سریع‌ترین اتصال اینترنت هستند) و صدک 95ام از آن‌ها (کاربران دارای کمترین سرعت) با گروه کنترل، آیا اصلاحات صورت‌گرفته موجب کاهش سرعت بارگذاری اپ شده‌اند؟ یا راهکار پیشنهادی به نفع کاربران صدک 5ام شده و در عوض کاربران صدک 95ام آسیب دیده‌اند؟ نت‌فلیکس از این رویکرد برای آزمودن نوآوری‌هایی بهره می‌گیرد که هدفشان بهبود کیفیت استریم ویدئو برای دستگاه‌ها و سرعت‌های اینترنت گوناگون است.

همواره رفتارهای مختص هر گروه را در نظر بگیرید.

پلتفرم آزمون A/B در کمپانی لینکدین، تاثیر آزمایش‌ها بر هر گروه را به‌صورت خودکار محاسبه می‌کند. مثلاً تاثیر ویژگی‌های جدید بر هر کشور را به‌صورت مجزا محاسبه می‌کند، زیرا ممکن است یک ویژگی کارآمد در آمریکا نتواند همان موفقیت را در هند تکرار کند. ضمناً افراد را بر اساس دسترسی‌شان به شبکه‌های اجتماعی گروه‌بندی می‌کند؛ زیرا تاثیر یک پیشرفت ارتباطی بر افراد پرنفوذ، متفاوت از تاثیر آن بر اشخاصی است که دوست و آشنای چندانی ندارند؛ مثلاً لینکدین طی یکی از ابتکارهای اخیر خود متوجه شد که ارسال بلافاصله‌ی آگهی‌های استخدام برای کارجوها، احتمال تکمیل فرم درخواست توسط افرادی که دوست و آشنای چندانی ندارند را افزایش خواهد داد؛ زیرا بر خلاف اشخاص پرنفوذ، احتمالش کمتر است که آن‌ها این خبر را از طریق کانال‌های دیگر بشنوند.

برنیس ابوت از پدیده‌های علمی عکس می‌گرفت، نظیر همین الگوی تداخل که در آب مواج رخ داده است.

درنهایت لینکدین با ارزیابی تاثیر هر نوآوری بر افزایش یا کاهش سهم درآمد، بازدید صفحه و سایر معیارهای درآمدی مرتبط با 1درصد از برترین کاربران پلتفرم، تاثیر اصلاحات بر نابرابری را می‌سنجد. بدین ترتیب مانع تاکید بیش‌ازحد بر فعال‌ترین اعضای خود می‌شود و کاربران نه‌چندان علاقه‌مندش را قربانی نمی‌کند.

بازارهای کلیدی را بخش‌بندی کنید.

شناسایی تفاوت‌های میان کشورها به نت‌فلیکس و لینکدین اجازه داده که در عین خدمت‌رسانی مستمر به اصلی‌ترین بازارها و نفوذ به مناطق جدید، مجبور نباشند آزمایش‌های یکسانی برای تمامی آن‌ها اجرا کنند. این نمونه را در نظر بگیرید: با توجه به اینکه اصلی‌ترین روش دسترسی هندی‌ها به اینترنت از طریق دستگاه‌های موبایل است، هر طرح که سرعت بارگذاری اپ را کاهش دهد، تاثیر قابل توجهی بر تعامل مخاطبان این کشور خواهد داشت؛ درحالی‌که چنین تاثیری در آمریکا و سایر بازارهای دنیا مشاهده نمی‌شود. بازارهایی که مصرف‌کنندگانشان تا این اندازه متکی بر دستگاه‌های موبایل قدیمی‌تر یا شبکه‌های 3G کندتر نیستند. بر همین اساس و به‌منظور خدمت‌رسانی به هند و سایر بازارهای مشابه، لینکدین نسخه‌ی سبک‌تر خود با عنوان «لینکدین لایت» را توسعه داده که اصلی‌ترین کاربردهای این پلتفرم را دارد. به‌منظور تسریع عملکرد نسخه‌ی لایت، از راهکار کاهش کیفیت تصاویر و اصلاح رابط کاربری بهره گرفتند تا حجم داده‌های مورد پردازش اپ را کاهش دهند. تحقیقات نت‌فلیکس در زمینه‌ی میزان بهره‌گیری هر بازار از دستگاه‌های گوناگون نیز باعث شد که یک برنامه‌ی عضویت مختص موبایل برای هند توسعه دهند.

نقطه‌ضعف 2

فراموشی ارتباط میان مشتریان

آزمون A/B استاندارد که دو گروه A و B را مقایسه می‌کند، تعامل میان کاربران این گروه‌ها را نادیده می‌گیرد. وقتی پای آزمایش‌های تصادفی متداول در میان باشد – نظیر آزمایش‌های بالینی برای سنجش بازدهی یک داروی جدید – چنین پیش‌فرضی منطقی خواهد بود. اما ممکن است تعاملات میان شرکت‌کنندگان در یک تست A/B آنلاین، بر نتیجه‌ی آن اثر بگذارد.

فرضاً قرار است تغییری صورت گیرد تا گفت‌وگوی میان افراد در شبکه‌ی لینکدین ساده‌تر شود؛ مثلاً هر زمان یک نفر آنلاین شد یا شغلی داشت که در حوزه‌ی علایق شما بود، لینکدین یک هشدار برایتان بفرستد و امکان ارسال پیام از همان صفحه‌ی هشدار را فراهم کند. حال می‌خواهند تاثیر این تغییر را بیازمایند. ازآنجایی‌که ممکن است کاربرانی که به‌روزرسانی نکرده‌اند، پیام‌های بیشتری دریافت کنند و به پیام‌های بیشتری پاسخ دهند (که از طرف افرادی ارسال شده است که این به‌روزرسانی را دریافت کرده‌اند)، گرچه ممکن است شاهد تاثیر مثبت این تغییر بر گروه کنترل باشیم؛ اما وقتی تصمیم‌گیرندگان به این موضوع توجه نکنند، امکان ارزیابی اشتباه وجود خواهد داشت. امری که موجب اتخاذ تصمیمات نادرست می‌شود: شاید یک راهکار بد را خوب قلمداد کنند یا بالعکس. برای جلوگیری از این نقطه‌ضعف، تمهیدات زیر را در نظر بگیرید:

از آزمون A/B شبکه بهره بگیرید.

لینکدین تکنیک‌هایی توسعه داده است که می‌تواند از طریق آن‌ها میزان تعاملات گروهی را بسنجد یا مانع شکل‌گیری آن شود.

این تکنیک‌ها موجب شکل‌گیری یک تصویر دقیق‌تر از رفتار کاربر خواهند شد. فرضاً یک الگوریتم توصیه‌ی محتوای جدید را در نظر بگیرید که محتواهای متنی طولانی‌تر نظیر مقالات خبری با تصاویر کمتر را نشان می‌دهد. عموماً تصاویر می‌توانند لایک‌های زیاد و تعداد نظرات اندکی دریافت کنند، درحالی‌که مقالات خبری برعکس هستند و لایک‌های کمتر اما کامنت‌های بیشتری می‌گیرند. اما میزان تمایل کاربران برای تعامل یا پاسخگویی به یک محتوا، زمانی بیشتر خواهد شد که یکی از مخاطبانشان برای آن نظر گذاشته باشد، نه اینکه صرفاً آن را لایک کرده باشد. درحالی‌که تست A/B استاندارد حاکی از لایک‌های کمتر این الگوریتم جدید خواهد بود، اما آزمون A/B شبکه می‌تواند علاوه بر لایک‌ها، تاثیرات مثبت متعاقب ناشی از افزایش کامنت‌ها را هم پوشش دهد. به‌طورکلی آزمون A/B شبکه به مدیران لینکدین کمک کرده که تاثیر کلی طرح‌‌های خود را درک کنند و در چندین موقعیت، موجب شکل‌گیری تغییرات گسترده در استراتژی آن‌ها شده است.

از آزمایش‌های سری زمانی بهره بگیرید.

این آزمایش‌ها دسته‌ای از آزمون‌های A/B هستند که کل بازار را در معرض راهکار A و سپس به‌صورت کاملاً تصادفی، شرایط را تغییر داده و کل آن را در معرض راهکار B قرار می‌دهند. بازارگاه‌های آنلاین که تعامل بسیاری از خریداران و فروشندگان در دل آن‌‏ها شکل می‌گیرد (نظیر پلتفرم‌های مزایده‌ی تبلیغ آنلاین یا سرویس‌های هم‌پیمایی)، در معرض این مداخله قرار دارند. هرچند تست‌های A/B کوچک با هدف گرفتن بخش کوچکی از کاربران نیز می‌توانند عامل برهم خوردن تعادل بازار باشند، اما نه به‌گونه‌ای که عواقب پیاده‌سازی آن تغییر بر کل جامعه را نشان دهند. درحالی‌که آزمایش‌های سری زمانی می‌توانند تاثیر حقیقی هر تغییر بر کل بازار را بسنجند.

تصور کنید لینکدین یک الگوریتم جدید توسعه داده است که موقعیت‌های شغلی متناسب را به کارجوها پیشنهاد می‌دهد. به‌منظور سنجش بهره‌وری این طرح، لینکدین تصمیم می‌گیرد که به مدت 30 دقیقه، این الگوریتم را بر تمامی آگهی‌های استخدام و کارجوهای یک بازار معین پیاده کند. در 30 دقیقه‌ی بعدی، افراد به‌صورت تصادفی به دو گروه مجزا تقسیم می‌شوند و درحالی‌که یک گروه به الگوریتم قدیمی برمی‌گردد، گروه دوم روی همین الگوریتم جدید باقی می‌ماند. این پروسه حداقل به مدت دو هفته ادامه می‌یابد تا مطمئن شوند که تمامی الگوهای جستجوی شغل را تجربه می‌کند. استراتژی آزمون‌های متوالی نت‌فلیکس، یک کاربرد ویژه از این روش کلی است.

نقطه‌ضعف 3

تمرکز شدید بر کوتاه‌مدت

به‌منظور کسب موفقیت در تست A/B، باید مدت‌زمان کافی برای این آزمون‌ها در نظر گرفته شود. تمرکز صِرف بر نتایج کوتاه‌مدت، موجب گمراهی هر کسب‌وکار خواهد شد و می‌توان چند دلیل برای آن برشمرد. اولاً غالب نتایج اولیه‌ی هر تست، با نتایج بعدی آن یعنی وقتی اعضا با آن خو می‌گیرند، تفاوت‌هایی دارند. این امر علی‌الخصوص برای تغییر رابط کاربری صدق می‌کند، جایی که اثرات تازگی یا «شور وشوق نخستین» معمول است: کاربران عموماً اشتیاق اولیه‌ی بیشتری نسبت به ویژگی‌های جدید دارند که به‌مرورزمان فروکش می‌کند. ثانیاً ممکن است نوآوری‌ها منجر به تغییرات بلندمدت اما آهسته‌رهش در شیوه‌ی تعامل کاربران با محصول شوند. به‌عنوان نمونه، شاید پیشرفت‌های تدریجی و مداوم در الگوریتم‌های توصیه و عملکرد اپ، هیچ اثر ملموس و آنی نداشته باشند، اما رضایت مشتری را به طرز قابل توجهی افزایش می‌دهند. به‌منظور ملاحظه‌ی این رفتارها، نکات زیر را در نظر بگیرید:

مدت‌زمان مناسب برای آزمایش‌ها را در نظر بگیرید.

باید تمهیدی بیندیشید که تاثیر پایدار یک ویژگی جدید را بسنجید، نه اثرات کوتاه‌مدتی که به خاطر جدید بودن آن ظاهر می‌شوند. چه مدت‌زمانی مناسب است؟ بستگی دارد، زیرا واکنش احتمالی کاربران به تغییر رابط کاربری، با واکنششان نسبت به تغییرات سیستم توصیه‌گر متفاوت است. بنابراین باید آزمون‌های A/B خود را ادامه دهید تا زمانی که رفتار کاربران به ثبات برسد. لینکدین و نت‌فلیکس، تکامل تدریجی نحوه‌ی تعامل کاربران با ویژگی‌های جدید را رصد کرده و به این نتیجه رسیده‌اند که در اکثر تست‌ها، نتایج عموماً پس از یک هفته به ثبات می‌رسند.

آزمایش‌های «کنارگذاری یک دسته از کاربران» انجام دهید.

طی این آزمایش مجموعه کوچکی از کاربران برای مدت زمان مشخصی (معمولاً بیش از یک ماه) در معرض تغییرات قرار نمی‌گیرند، در حالی که بقیه در معرض این تغییرات هستند. این رویکرد به کمپانی‌ها کمک می‌کند که اثرات آهسته‌رهش را بسنجند. لینکدین به این نتیجه رسیده که این آزمایش‌ها، به درد مواقعی می‌خورند که تاثیر تجمیعی بسیاری از تغییرات تدریجی منجر به یک پیشرفت چشمگیر می‌شوند یا وقتی کاربران به مدت‌زمان معینی نیاز دارند تا آن ویژگی جدید را کشف کنند.

فرض کنید در حال آزمودن یک ویژگی هستید که قرار است مایلستون‌های حرفه‌ایِ حاصله از روابط شبکه‌ای در فید یک رسانه‌ی اجتماعی (نظیر دستیابی به یک موقعیت شغلی جدید) را برجسته کند. احتمالاً این ویژگی به‌صورت متناوب و هفته‌ای یکی دو بار استفاده خواهد شد، بسته به اینکه چه افرادی در شبکه‌ی آن عضو حضور داشته باشند. در نمونه‌های این‌چنینی باید آزمایش به مدت چند هفته الی چند ماه طول بکشد تا مطمئن شوند که اعضای گروه B، به‌روزرسانی‌های کافی برای سنجش اثرات آن ویژگی بر کیفیت فید را دریافت کرده‌‌اند یا برداشت صحیحی نسبت به اعتبار محتواها دارند.

تست A/B آنلاین، یک روش قدرتمند برای درک اثرات احتمالی هر تغییر بر بازارها و انواع گوناگون مشتریان است. اما ممکن است روش‌های استاندارد با تمرکز بیش‌ازحد روی اثرات کوتاه‌مدت یک تجربه‌ی جدید بر کاربر عادی، منجر به تصمیم‌گیری‌های نادرست شوند. تکنیک‌های مشروح در این مقاله، می‌توانند کمک‌حال مدیران برای اجتناب از اشتباهات متداول باشند و از طریق آن‌ها، ارزشمندترین فرصت‌های کوتاه‌مدت و بلندمدت برای عموم و مشتریان استراتژیک خود را شناسایی کنند.


یاوور بوجینوف، استادیار واحد فناوری و مدیریت عملیات دانشکده‌ی کسب‌وکار هاروارد است. او سابقه‌ی همکاری به‌عنوان متخصص علم داده‌های لینکدین را دارد و رهبر طرح استنتاج علّی در این سازمان بود.

گیوم سنت-ژاک، سرپرست علوم محاسباتی اجتماعی در لینکدین است. او پیش‌تر رهبری تیم آزمایشگاه لینکدین را بر عهده داشت.

مارتین تینگلی، سرپرست تحقیقات آزمایشگاهی محصول در نت‌فلیکس است و سابقه‌ی کار در «گروه بیمه‌ی استرالیا» و حضور در میان اساتید دانشگاه پن استیت را دارد.

این مقاله در شماره ی زیر منتشر شده است:

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *