老司机经验分享:手游测试的区域发布顺序和几个注意事项
对于所有的手游开发商来说,测试都是必不可少的过程。然而测试的目的是什么、应该在哪些地区测试?需要测试哪些数据、应该测试多久?这些都会根据开发商的预算以及游戏类型而不同,最近,Kongregate助理产品经理James An在博客中分享了基于该公司经验而得出的结果:
在Kongregate,我们所有发行的手游都会进入至少一个月的区域市场测试期,也就是在特定地区发布。这对于手游产品周期来说是非常重要的阶段,因为你可以让团队通过KPI数据判断游戏的优点和不足,在全球发布之前针对所有观察到的问题进行修改和调整,不管是bug、闪退、新手教学/留存率下滑、货币化还是广告参与度,都可以针对性地做出解决方案。
在本博客中,我们分享通过测试市场得到的一些经验,主要专注于在世界不同地区运行测试活动的利与弊:
第一阶段:菲律宾
菲律宾是一个非常热门的测试区,用户购买可以通过非常低的CPI获得,价格范围大概是每用户0.3-1美元之间,这就意味着开发商们可以快速获得大量的用户,同时还能保证开支在预算范围之内。另外要说的是,特定类型的手游可能有比较高的CPI,比如我们最近在美国发布的《Poket Politics》由于美国政治主题而提高了CPI成本,主要是因为目前美国正处在大选活动期。
对于稳定性和兼容性测试来说,菲律宾是特别适合的地区,因为这里的设备和操作系统版本非常多元化。不过需要提醒的是,该地区获得的游戏内KPI数据通常是不可靠的,或者说不会像美国或者西方国家那么直观。菲律宾的玩家们很好会留在游戏里,更不会有比较高的参与度或者太多的消费行为,所以,如果你在该地区测试的时候留存率和货币化数字比较差,不要气馁。
第二阶段:斯堪的纳维亚地区(瑞典、丹麦、芬兰和挪威)
一旦你确定并且提高了游戏的稳定性,就可以推向更多地区进行测试了。北欧国家是非常合适的测试区,因为他们的消费行为和美国以及其他西方国家比较接近,不过该地区的CPI成本通常比其他英语国家更低,比如加拿大、澳大利亚和新西兰(基本上低于4美元)。
我们经常在这些地区对初期留存率(次留和七日留存)、广告参与度和货币化效果进行测试,因为这个数字可以给我们一个非常 的数字,当我们全球发布以后,我们可以预测到它 的表现如何。你还可以在这些地区进行A/B测试并且得到有意义的测试结果。需要牢记的一件事情是,由于这些玩家是付费活动获取的,所以KPI数字往往看起来比实际全球发布之后高一些。比如在这些地区测试次留50%,到全球发布的时候可能只有40%,因为全球发布之后自然增长带来的用户和付费用户会混合在一起,表现好的地区数字也会和表现差的地区综合起来。
第三阶段:CANZ(加拿大、澳大利亚、新西兰)
这三个地区是最受手游开发商们欢迎的,,因为这些地区和美国市场的玩家数据非常接近,所以用来预测在美国市场的KPI表现更加可靠。如此前所说,通过用户购买获得的玩家,KPI表现和参与度数字往往比自然增长获得的更高。
在这些地区进行测试的不利之处就是,成本会比较高,而和你竞争的其他开发商和发行商可能更愿意快速用更低价格获得更多用户量。
需要牢记的一些比较实际的因素
时间点
测试市场的时间段撒于你想要测试的数据以及需要获取数据的重要性,还需要考虑到是否需要更新来解决一些表现不佳的KPI数据或者修复bug等问题。比如,想要测试次日留存和七日留存,留出时间用来获得足够的用户和对游戏进行修改。需要记住的是,除非你的全球发布日期比较灵活,否则你是没办法测试所有问题的,所以有选择性地测试是非常重要的。
预算
要确定预算之内你可以测试什么,你需要对于CPI和需要的安装量进行预测:CP根据地区和游戏内容的不同而不同,比如休闲游戏的CPI往往比中核游戏低。你需要的安装量也根据想要测试的数据而不同,详情请参考本链接(英文):http://www.evanmiller.org/ab-testing/sample-size.html
用户购买
广告网络
为了运行用户购买活动而获得安装量,你需要在广告网络建立账户,比如Facebook、Unity以及Supersonic等等。不同的广告网络带来的流量质量也不一样,从Facebook广告获得的玩家们通过可以得到更高的KPI数据。
营销创意
你的CPI成本还会受到广告资源质量的影响,如果你的市场营销广告点击率比较低或者点击转化率比较低,那么修改广告是比较重要的。当然,你也可以选择测试不同的目标用户群优化营销活动。
ASO
测试市场对于icon和截屏方面也是不错的A/B测试机会,因为这些因素都会决定转化率。谷歌内置了这些测试功能,所以一定要充分利用。
平台考虑
审核时间
每一次推出更新的时候都要考虑这个问题,因为你的更新需要先经过平台的审核才能发布。
评分
检测每一次发布更新之后的游戏崩溃情况。意外的崩溃或者严重的bug可以很快让游戏的评分降低,但评分对于开发商来说是很重要的,因为两个平台都会展示出来,而且会影响游戏在玩家心中的品质,随着评论数的增长,你的后续平均分就很难提高了。