核心内容摘要
17.ccc起草的：一场关于未来的数字远见
大文件传输系统设计方案基于SM4国密算法需求分析作为四川某软件公司的开发人员我面临以下核心需求实现10GB级别大文件的分片上传/下载采用国密SM4算法进行端到端加密服务端需支持SM4加密存储兼容主流浏览器及信创国产化环境基于SpringBootVue技术栈需要开源可审查的代码技术选型经过调研我决定采用以下技术方案前端方案基于Vue-cli构建使用自定义分片上传组件替代已停更的WebUploader集成SM4加密的JavaScript实现通过wasm或纯JS实现后端方案SpringBoot
2.
x集成BouncyCastle的SM4实现支持分片合并和加密存储前端核心代码实现
SM4加密工具类 (sm4-utils.js)// 使用wasm版本的SM4实现性能更好letsm4Modulenull;exportasyncfunctioninitSM4(){if(sm4Module)return;try{sm4Moduleawaitimport(sm4-wasm);awaitsm4Module.default();// 初始化wasm模块}catch(e){console.error(SM4 WASM加载失败降级使用JS实现,e);// 降级方案使用纯JS实现awaitimport(./sm4-js).then(module{sm4Modulemodule;});}}exportfunctionencryptFileChunk(chunk,key,iv){if(!sm4Module)thrownewError(SM4未初始化);// 转换为ArrayBufferconstarrayBufferchunkinstanceofArrayBuffer?chunk:awaitnewResponse(chunk).arrayBuffer();// 使用SM4-CBC模式加密returnsm4Module.encrypt(arrayBuffer,key,iv,CBC);}exportfunctiondecryptFileChunk(encryptedChunk,key,iv){if(!sm4Module)thrownewError(SM4未初始化);returnsm4Module.decrypt(encryptedChunk,key,iv,CBC);}
分片上传组件 (FileUploader.vue)import{initSM4,encryptFileChunk}from./sm4-utils;// 生成随机IVfunctiongenerateIV(){returncrypto.getRandomValues(newUint8Array(
);}exportdefault{data(){return{file:null,uploading:false,progress:0,chunkSize:5*1024*1024,// 5MB每片sm4Key:null,// 实际应从安全渠道获取fileId:null};},asyncmounted(){awaitinitSM4();// 生成随机密钥实际项目应从安全渠道获取this.sm4Keycrypto.getRandomValues(newUint8Array(
);},methods:{handleFileChange(e){this.filee.target.files[0];this.progress0;},asyncstartUpload(){if(!this.file)return;this.uploadingtrue;this.progress0;try{//
初始化上传获取fileIdconstinitResawaitthis.$http.post(/api/upload/init,{fileName:this.file.name,fileSize:this.file.size,chunkSize:this.chunkSize});this.fileIdinitRes.data.fileId;constivgenerateIV();//
上传加密分片constchunkCountMath.ceil(this.file.size/this.chunkSize);letuploadedChunks0;for(leti0;ichunkCount;i){conststarti*this.chunkSize;constendMath.min(startthis.chunkSize,this.file.size);constchunkthis.file.slice(start,end);// 加密分片constencryptedChunkawaitencryptFileChunk(chunk,this.sm4Key,iv);// 上传分片constformDatanewFormData();formData.append(fileId,this.fileId);formData.append(chunkIndex,i);formData.append(chunk,newBlob([encryptedChunk]));formData.append(iv,newBlob([iv]));// 每个分片使用相同IV简单实现awaitthis.$http.post(/api/upload/chunk,formData,{headers:{Content-Type:multipart/form-data}});uploadedChunks;this.progressMath.floor((uploadedChunks/chunkCount)*
;}//
完成上传awaitthis.$http.post(/api/upload/complete,{fileId:this.fileId,iv:Array.from(iv).join(,)// 实际应使用更安全的方式传输IV});this.$emit(upload-success,{fileId:this.fileId,fileName:this.file.name});}catch(error){console.error(上传失败:,error);this.$emit(upload-error,error);}finally{this.uploadingfalse;}}}};后端核心代码实现
SM4工具类 (SM4Util.java)importorg.bouncycastle.crypto.engines.SM4Engine;importorg.bouncycastle.crypto.modes.CBCBlockCipher;importorg.bouncycastle.crypto.paddings.PaddedBufferedBlockCipher;importorg.bouncycastle.crypto.params.KeyParameter;importorg.bouncycastle.crypto.params.ParametersWithIV;importorg.bouncycastle.jce.provider.BouncyCastleProvider;importjavax.crypto.Cipher;importjavax.crypto.spec.SecretKeySpec;importjava.security.Security;importjava.util.Base64;publicclassSM4Util{static{Security.addProvider(newBouncyCastleProvider());}// 加密文件分片publicstaticbyte[]encrypt(byte[]key,byte[]iv,byte[]input)throwsException{PaddedBufferedBlockCipherciphernewPaddedBufferedBlockCipher(newCBCBlockCipher(newSM4Engine()));cipher.init(true,newParametersWithIV(newKeyParameter(key),iv));byte[]outputnewbyte[cipher.getOutputSize(input.length)];intlencipher.processBytes(input,0,input.length,output,
;lencipher.doFinal(output,len);if(lenoutput.length){byte[]resultnewbyte[len];System.arraycopy(output,0,result,0,len);returnresult;}returnoutput;}// 解密文件分片publicstaticbyte[]decrypt(byte[]key,byte[]iv,byte[]input)throwsException{PaddedBufferedBlockCipherciphernewPaddedBufferedBlockCipher(newCBCBlockCipher(newSM4Engine()));cipher.init(false,newParametersWithIV(newKeyParameter(key),iv));byte[]outputnewbyte[cipher.getOutputSize(input.length)];intlencipher.processBytes(input,0,input.length,output,
;lencipher.doFinal(output,len);if(lenoutput.length){byte[]resultnewbyte[len];System.arraycopy(output,0,result,0,len);returnresult;}returnoutput;}// 使用JCE方式备选方案publicstaticbyte[]encryptJCE(byte[]key,byte[]iv,byte[]input)throwsException{CiphercipherCipher.getInstance(SM4/CBC/PKCS5Padding,BC);SecretKeySpeckeySpecnewSecretKeySpec(key,SM
;cipher.init(Cipher.ENCRYPT_MODE,keySpec,newjavax.crypto.spec.IvParameterSpec(iv));returncipher.doFinal(input);}}
文件上传控制器 (FileUploadController.java)importorg.springframework.beans.factory.annotation.Value;importorg.springframework.web.bind.annotation.*;importorg.springframework.web.multipart.MultipartFile;importjava.io.File;importjava.io.FileOutputStream;importjava.nio.file.Files;importjava.nio.file.Paths;importjava.util.Base64;importjava.util.UUID;importjava.util.concurrent.ConcurrentHashMap;RestControllerRequestMapping(/api/upload)publicclassFileUploadController{Value(${file.upload-dir})privateStringuploadDir;// 临时存储上传状态privatefinalConcurrentHashMapsessionsnewConcurrentHashMap();// 初始化上传PostMapping(/init)publicUploadInitResponseinitUpload(RequestBodyUploadInitRequestrequest){StringfileIdUUID.randomUUID().toString();UploadSessionsessionnewUploadSession();session.setFileName(request.getFileName());session.setTotalSize(request.getFileSize());session.setChunkSize(request.getChunkSize());session.setReceivedChunks(
;sessions.put(fileId,session);// 创建临时目录newFile(uploadDir/fileId).mkdirs();returnnewUploadInitResponse(fileId);}// 上传分片PostMapping(/chunk)publicvoiduploadChunk(RequestParam(fileId)StringfileId,RequestParam(chunkIndex)intchunkIndex,RequestParam(chunk)MultipartFilechunkFile,RequestParam(iv)StringivBase
throwsException{UploadSessionsessionsessions.get(fileId);if(sessionnull){thrownewRuntimeException(无效的上传会话);}// 解密分片实际项目中密钥应从安全渠道获取byte[]keyhexStringToByteArray(你的SM4密钥16字节);// 示例实际应从配置或安全存储获取byte[]ivBase
getDecoder().decode(ivBase
;byte[]encryptedChunkchunkFile.getBytes();byte[]decryptedChunkSM4Util.decrypt(key,iv,encryptedChunk);// 保存分片StringchunkPathuploadDir/fileId/chunkIndex;try(FileOutputStreamfosnewFileOutputStream(chunkPath)){fos.write(decryptedChunk);}session.setReceivedChunks(session.getReceivedChunks()
;}// 完成上传PostMapping(/complete)publicUploadCompleteResponsecompleteUpload(RequestBodyUploadCompleteRequestrequest)throwsException{StringfileIdrequest.getFileId();UploadSessionsessionsessions.get(fileId);if(sessionnull){thrownewRuntimeException(无效的上传会话);}// 合并分片StringtempDiruploadDir/fileId;StringfinalPathuploadDir/fileId.enc;// 加密存储try(FileOutputStreamfosnewFileOutputStream(finalPath)){for(inti0;isession.getTotalChunks();i){byte[]chunkFiles.readAllBytes(Paths.get(tempDir/i));fos.write(chunk);}}// 清理临时文件Files.walk(Paths.get(tempDir)).sorted((a,b)-b.compareTo(a))// 反向排序先删文件再删目录.forEach(path-{try{Files.delete(path);}catch(Exceptione){// 记录日志}});// 存储文件元信息实际项目应存入数据库FileMetametanewFileMeta();meta.setFileId(fileId);meta.setOriginalName(session.getFileName());meta.setEncryptedPath(finalPath);meta.setSize(session.getTotalSize());// 这里应该将meta保存到数据库returnnewUploadCompleteResponse(fileId,session.getFileName());}// 计算总分片数privateintcalculateTotalChunks(longfileSize,intchunkSize){return(int)Math.ceil((double)fileSize/chunkSize);}// 内部类定义省略...}信创环境兼容性考虑前端兼容性提供wasm和纯JS两套SM4实现wasm优先使用标准的Web API避免使用实验性功能测试环境包括麒麟OS飞腾CPU、UOS龙芯等组合后端兼容性使用BouncyCastle作为密码学提供者兼容国产CPU指令集避免使用与特定JDK版本绑定的API测试环境包括中科方德JDK、华为Kunpeng JDK等安全考虑密钥管理示例中简化了密钥处理实际项目应使用硬件加密机或软HSM管理主密钥每个文件使用随机生成的密钥通过主密钥加密后传输考虑使用国密SSL/TLS (GMTLS)传输安全所有通信必须通过HTTPS考虑使用双向SSL认证存储安全服务端存储的是加密后的文件只有授权用户才能获取解密密钥性能优化建议前端可实现断点续传记录已上传分片后端可使用异步处理合并分片操作对于超大文件考虑使用更高效的存储格式实现分片校验机制确保数据完整性
总结本方案提供了完整的SM4加密大文件传输实现从前端分片加密到后端存储都符合国密要求。
代码结构清晰便于进行源代码审查。
虽然实现起来比使用现成组件复杂但完全可控且符合政府单位的安全要求。
下一步工作建议完善密钥管理方案增加下载功能实现添加更完善的错误处理和日志进行全面的性能测试和安全审计将组件复制到项目中示例中已经包含此目录引入组件配置接口地址接口地址分别对应文件初始化文件数据上传文件进度文件上传完毕文件删除文件夹初始化文件夹删除文件列表参考http://www.ncmem.com/doc/view.aspx?ide1f49f3e1d4742e19135e00bd41fa3de处理事件启动测试启动成功效果数据库效果预览文件上传文件刷新续传支持离线保存文件进度在关闭浏览器刷新浏览器后进行不丢失仍然能够继续上传文件夹上传支持上传文件夹并保留层级结构同样支持进度信息离线保存刷新页面关闭页面重启系统不丢失上传进度。
批量下载支持文件批量下载下载续传文件下载支持离线保存进度信息刷新页面关闭页面重启系统均不会丢失进度信息。
文件夹下载支持下载文件夹并保留层级结构不打包不占用服务器资源。
下载示例点击下载完整示例