ROI下降-APP排查思路

这篇是写除了当个\”计划开关师\”,还有很多事情可以做,我一直想找机会给大家写实操文档的续篇吧!

最核心是提醒大家不要一遇到问题就说“玄学”面对问题只有“能解决跟不能解决”2种,不能解决也要尽力去定位,实在没有办法再放弃。

问题背景

1月20日IOS新版本发布,发布后几天的ROI情况:头条跟ASA呈一个下降趋势,快手还是好到爆

节前问题定位步骤

行动一:新版本过审是在1月21日,22日当天成本有小幅度上涨,我推测可能是正常的流量波动(数据归因容易导致发现问题的时候会滞后1-2天)

行动二:23日发现成本继续小幅度上升,平均付费率下降0.5%,继续观察

行动三:24日取数发现:成本环比平均成本上升了10%,次留下降了5%,付费率跌了0.9%

行动四:反馈给项管童靴,她负责取出端内行为数据(行为正常),我拿出手机去走一遍头条的联调流程,走一遍自然下载

发现自然下载的第三方支付(微信跟支付宝)按钮消失不见,取数发现第三方支付在发版后,头条跟ASA的点击数也有下降的问题反馈给产品确认,结果是因为我们针对广告与自然下载做了差异化处理(避开苹果税)

行动五:提出假设归因出现问题(之前频繁出现),取出各项归因数据,发现UA归因率要比我们另外一款产品低30%左右

因为临近春节了,技术童靴们还有很多加班年假要休,基本走得差不多了,先把问题定位到UA获取率低的问题,提出在3月2日发新版修复

我肯定不是最核心的问题

理由一:用快手ROI很好的问题来搪塞头条跟ASA的流量质量下降我不认同

快手是在年前才做好的点击归因,且是一款新产品,用在头条投的好的素材复用过来当然投的很好,没有历史数据给我判断是否异常

理由二:UA获取率低于另外一款产品,是在头条刚接入点击归因(11月接入)就一直存在的问题

继续挠破头过春节,由于IOS的ROI跟付费率未恢复至发版前,我把IOS量级控住

过年回来后,数分与技术一起参与进入IOS的排查,连续定位了1周都未发现问题,但由于春节流量红利逐渐下降,IOS的ROI更惨了,我又控住了50%继续苟着

事情转机

2月19日晚上20点40分,我发现IOS成本异常上升,立马走了遍联调流程发现首页推荐内容空白,一直显示在加载中(BUG得够久,终于全部用户都能看到了)

立马反馈给项管,看看她的手机下载是不是也是同样的情况,结果一致,我立马让快手跟ASA的童靴控住IOS预算

同时摇技术确认是不是大规模爆发,当晚我们几个人确认到0点左右,技术确认是的,然后立马拉其他技术修复,20号需要发新版修复,然后我就麻溜去睡觉了

21号过审,22号头条跟ASA付费率上升,成本逐渐下降,至今ROI水平正常

大家看下来,从发生问题到解决问题,差不多一个月左右,肯定在吐槽我们效率

后面我们在跟技术线过周会的时候,提出建立自动化的数据监测

后面去取数的时候,首页热推的点击率下降了40%(但这块我们谁都没有留意到)

发生了问题不应该是抱着甩锅的态度,直接出文档说明是流量质量下降,这种情况已经好几次了

在定位问题的过程中,也在收获新的知识(无论是提升能力还是发现小BUG),虽然看着数据不好,心情很低落,事后在写这篇文章的时候,笑了下, 哎,都是小事情啦~

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注