高效数据上传的设计

在离线服务器上运行的程序定期需要将本地数据库中的数据同步至云服务器中的数据库。现阶段程序的上传效率较低，导致云端数据库久侯无回。我们探讨高效数据上传方案。

解决方案：

1. 数据压缩与分段上传：将需要上传的数据保存为 SQL 并压缩为 ZIP 文件，再分段上传到线上服务器。文本内容压缩率较高，可大幅缩短传输时间。
2. 线上服务器处理：线上服务器通过 shell 脚本接收 ZIP 文件，解压缩还原成 SQL 并使用 mysqlimport 工具高效导入数据。
3. 上传完后归档：处理完成的 ZIP 文件移动到归档目录，方便故障追踪和存档。