大文件 MD5 SHA 校验时间优化之路

最近研发apk校验服务，很多游戏安装包两三个G，如果整个拿去校验，耗时基本二十多秒，这还仅仅是校验的时间，如果加上下载的时间，等待时间太长了

网上很多方案尝试了一下，不太行

1、fast md5

一个第三方库，csdn有人用过说可以提升40%的速度，然后我去试了一下，本来9秒可以完成的校验，变成了2分多钟，我真是口吐莲花

2、把MD5替换成SHA算法

提升不明显，哪怕从30秒缩短到20几秒，依然接受不了

所以只能寻求其它方案了

分片校验法

很多上传下载大文件，会采用分片的方法去做，这样就可以开启多个任务对同一个文件进行操作，速度提升好几倍

如法炮制，先写个demo尝试一下，看看是否可行

先把文件进行分片，找个几百M的apk测试一下

private fun verifySpilt() {
 filesDir?.let { path ->
 val it = File(path.absolutePath + "/test.apk")
 tvContent?.text = "${path.absolutePath}/test.apk"
 val inputStream = FileInputStream(it)
 var out: FileOutputStream? = null
 val inChannel = inputStream.channel
 var outChannel: FileChannel? = null
 val m = (10 * 1024 * 1024).toLong()
 // 分片数量
 val count = (it.length() / m).toInt()
 Log.e("--==", "count $count")
 for (i in 0..count) {
 // 生成文件的路径
 val tPath = "${path.absolutePath}/test_$i"
 val toFile = File(tPath)
 if (toFile.exists()) {
 toFile.mkdir()
 }
 Log.e("--==", "to path $tPath")
 try {
 out = FileOutputStream(toFile)
 outChannel = out.channel
 // 从inChannel的m*i处，读取固定长度的数据，写入outChannel
 if (i != count) inChannel.transferTo(
 m * i,
 m,
 outChannel
 ) else {
 // 最后一个文件
 inChannel.transferTo(m * i, it.length() - m * count, outChannel)
 }
 } catch (e: IOException) {
 Log.e("--==", "IOException $e")
 return
 } finally {
 out?.close()
 outChannel?.close()
 Log.e("--==", "finally close")
 }
 }
 inputStream.close()
 inChannel.close()
 }
 }

对 test.apk 进行分片校验

直接在 demo 工程里面 main方法调用

得到了十来个片段文件

接下来写个校验方法，对其中的片段文件校验，比如分片后，删了这些片段文件在重新生成，md5值是否一致

private fun verify(position: Int) {
 filesDir?.let { path ->
 val it = File(path.absolutePath + "/test1_$position")
 val digest = MessageDigest.getInstance("MD5")
 val fis = FileInputStream(it)
 val channel = fis.channel
 val byteBuffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, it.length())
 digest.update(byteBuffer)
 val bytes = digest.digest()
 tvContent?.text = bytes2HexString(bytes)
 Log.e("--==", "${bytes2HexString(bytes)}")
 }
 }

打印的日志发现一致，说明只要切片的方式一样，是可以进行校验的

然后我改了分片的逻辑，每个片段大小调整了一下，得到5个片段，此时结果肯定就不一致了

其实到这里已经算成型了，居然分片可行，那么一个大文件直接分成10份，同时验证，然后对比结果，速度可不止快了一倍

后面是无聊尝试的结果，肯定是没问题的，否则就要考虑代码的问题了

找个视频加一个新建的text文本，文本里面输入111，然后压缩，得到 test1 的压缩包

然后修改文本变成1111，在压缩，得到 test2 压缩包，在赋值 test1 压缩包 得到 test1_copy 压缩包，一共三个文件

把文件复制到内存目录中测试

结果没问题，毕竟是整个文件直接校验