android CTS ! Goodbye fails ! Goodbye timeout !
✿为什么要进行cts测试
Android兼容性测试(CTS)和连带的兼容性定义文档(CDD),是一个确保终端设备与特定版本Android兼容的自管理程序。CTS测试集包含大约24,000个在Android设备上运行的测试用例,这些用例分别针对电话、图形、相机、GPS、触摸屏、无线网等功能。Google针对每个主要Android版本公布了CDD文档,其中指出了对CTS中每类测试的具体要求。通过CTS测试是访问Android软件市场的
必要条件
之一。通过CTS测试之后便允许在设备上使用Android商标,它标志着该设备能够良好
兼容
软件市场中的数十万应用程序。
✿常见问题和解决方案
我在这里不写怎么执行CTS,-p 是什么意思 -t是什么意思,我总结的是在执行 cts_host > start --plan CTS 之后,想all pass 的那些有营养的东西。
❀ testcase timeout
测试某个testcase的时候一直出现 “........”,迟迟没有pass或者fail,等良久出现一个血淋淋的timeout,很让人伤心。有不少人笑嘻嘻的以为timeout 挺好,至少它不是fail。在我看来timeout 比 fail 还恐怖,因为它连进行测试到底是pass还是fail的权利都没有。想不被硬件设备厂商笑话,必须0 timeout ,然后再争取0 fail 。
timeout多数都是由于这个错误造成的:
Exception in thread "Thread-XX" com.android.ddmlib.ShellCommandUnresponsiveException
at com.android.ddmlib.AdbHelper.executeRemoteCommand(AdbHelper.java:408)
at com.android.ddmlib.Device.executeShellCommand(Device.java:276)
at com.android.cts.TestDevice$1.run(TestDevice.java:1718)
解决方案:
这个错误是由于CTS和SDK版本不匹配造成的。倘若用android2.2 SDK 和 android2.2 cts -r6 还是出现了这个问题,那么编译自己工程的sdk (在整体m后,再make sdk),配套官方的cts一起,就可以百分百解决这个问题了。
必须要注意的是,不要用自己的工程代码编译出来的cts(make cts),因为可能编译出来的不是最新的(通常是r1版本)。而google提供的才是最新的,而硬件设备厂商都会信赖最新版本的cts的测试结果。
❀Restarting device ...Restarting ADB...
板子执行几个测试项就停下,让人很郁闷
CTS_INFO >>> Max ADB operations reached. Restarting ADB...
CTS_INFO >>> Restarting device ...
Device(xxxxxxxxxxxxxxxxxxxxxx) disconnected
Test stopped.
Device(xxxxxxxxxxxxxxxxxxxxxx) connected
解决方案:
其实重启adb和板子是正常现象,如果不重启会影响他们的正常工作。但是这样频繁的重启,很影响工作效率。
我们可以控制测试中重启的频率:
修改android-cts/repository/host_config.xml中的 reboots value:
<!-- Number of tests executed between reboots. A value <= 0 disables reboots. -->
<IntValue name="maxTestCount"
value="200"
/>
5000是我测试比较合理的数字,如果不跑全部的cts项23700个test的话,数量不多可以修改为-1,禁止重启。
如果数量过多,则还是重启的好,否则中途adb会卡死停止test。自动化测试,你不会一直盯着它的对吧?
❀java.io.IOException: sad result from adb: closed
倘若中途出现:
java.io.IOException: sad result from adb: closed
00:47 E/ddms: ADB rejected shell command (am instrument -w -e bundle true android.tests.devicesetup/android.tests.getinfo.DeviceInfoInstrument): closed
CTS_ERROR >>> Failed to execute shell command am instrument -w -e bundle true android.tests.devicesetup/android.tests.getinfo.DeviceInfoInstrument on device 0xxxxxxxxxxxx
java.io.IOException: sad result from adb: closed
解决方案:
别担心,重启一下板子就好了。
✿其他fail
因为各个项目差异,所以fail项不同,抛开硬件差异所决定的fail,还有系统工程师为了掩饰别的bug而新增的cts fail bug,我们还需要注意的是:
1.Net相关的testcase ,记得开wifi \ 3G,保持网络联通
2.SMS相关的testcase,记得插SIM卡
3.当I2C上某个设备的testcase没有过,试试禁掉I2C上其他的sensor服务,单一测试,也许会有意外收获