问题现状:
高端配置台式电脑,开机,然后立即剪切一个有8万文件的目录到另一个盘,执行到2%的时候就卡住了,等了10分钟没任何进度。
用另一个文件夹同步工具,将剩下的98%同步过去,仅仅花费了2分钟左右,而且有操作历史,可以看到复制后两边文件完全一致(包括文件的时间截)。
用windows自带的SHIFT+DEL彻底删除功能,删了30秒钟,总进度不到2%,果断取消。
换成了CMD命令直接去删(rd 文件夹 /s /q),8万个文件,10秒不到就删完了。
文件路径太长 无法删除:rd删除提示找不到文件路径!
xcopy复制文件夹,提示:内存不足!
有软链接、硬链接,特别是npm安装包的node_modules文件夹,大量嵌套硬链接存在,堪称杀手!
下面是解决方案:
如果在命令行或 cmd 批处理文件通过 move 移动文件夹的时候,移动的文件夹是跨驱动器的,那么将会显示拒绝访问
解决方案:
通过先复制文件夹到另一个驱动器,然后删除文件夹,
——复制文件夹可以使用 xcopy 的方法
——复制文件,无论文件夹里面的文件是否隐藏文件。复制文件夹里面的子文件夹,无论子文件夹是否空的。忽略提示需要覆盖的文件,可以使用下面代码:
xcopy 原有的文件夹 移动到的文件夹 /H /E /Y
(注意:复制后不会保留外层目录,需要自己先建好)
然后通过 rd 删除文件夹,在 rd 可以使用 /s /q 除目录本身外,还将删除指定目录下的所有子目录和文件,安静模式,带 /S 删除目录树时不要求确认:
rd 原有的文件夹 /s /q
这样就可以做到移动文件夹到另一个服务器。
在 cmd 对于参数是不区分大写和小写,如 /s 和 /S 是相同的。
简记方式:
拷贝:xcopy-hey 源 ——> 目标
删除:rdsq(“入党申请”) 目标
终极方案:改用Robocopy命令
1、查看文件夹信息(大小、文件夹和文件数量)
robocopy /L "D:\__SYNC2" "D:\50-TEMP\EMPTY" /E /XJ /NFL /NDL /BYTES
结果示例如下:
开始时间: 2021年7月4日 7:55:36 源: D:\SQL-PC\ 目标: D:\50-TEMP\EMPTY\ 总数 复制 跳过 不匹配 失败 目录: 193122 193121 1 0 0 0 文件: 1133496 1133496 0 0 0 0 字节: 86183816845 86183816845 0 0 0 0 时间: 0:01:03 0:00:00 0:00:00 0:01:03 结束时间: 2021年7月4日 7:56:39
文件数:113万,文件夹数:19万,
目录总大小:86183816845b = /1024/1024 = 82191Mb = /1024 = 80.26Gb
扫描耗时(7.56:39 - 7:55:36)= 1分钟。速度简直逆天(Windows自带的鼠标右键查看文件夹属性都要5分钟才能显示最终结果),关键是扫描时CPU占用率还很低。
开始时间: 2023年1月3日 17:22:43 源: F:\__SYNC2\ 目标: E:\__SYNC2\ 总数 复制 跳过 不匹配 失败 其他 目录: 278261 0 278261 0 0 0 文件: 1243892 1 1243891 0 0 0 字节: 38139573415 1706 38139571709 0 0 0 时间: 0:00:59 0:00:00 0:00:00 0:00:59 已结束: 2023年1月3日 17:23:43
上面两边文件一样的情况,27.8万的目录124万的文件也只花了1分钟,但不稳定,有一次用了5分钟,然后立即换成FreeFileSync只要了大概20秒。扫描速度最快的还是FreeFileSync。
2、复制文件夹
RoboCopy /E /COPY:DAT /SL /SJ “源文件夹” “目标文件夹”
或者:
/E换成:/MOVE 移动
/SL /SJ 复制链接而非内容 (链接源如果要删除,则复制过去也没用啊!)
换成:/XJ 直接排除链接
屏蔽详细日志、排除链接,并输出到文件:
RoboCopy /E /COPY:DAT /XJ /NS /NC /NFL /NDL /NP "D:\SQL-PC" "E:\SQL-PC" /UNILOG:D:\OUT.log
建议自定义 重试次数和间隔:/R:3 /W:5 (重试三次、每次间隔5秒)
否则可能会遇到一直重试的情况:
2023/01/03 13:41:29 错误 1920 (0x00000780) 正在更改文件属性 F:\__SYNC2\go-path\src\buddhad2\buddhad.sock 系统无法访问此文件。 正在等待 30 秒... 正在重试... 2023/01/03 13:41:59 错误 1920 (0x00000780) 正在更改文件属性 F:\__SYNC2\go-path\src\buddhad2\buddhad.sock 系统无法访问此文件。 正在等待 30 秒... 正在重试... 2023/01/03 13:42:29 错误 1920 (0x00000780) 正在更改文件属性 F:\__SYNC2\go-path\src\buddhad2\buddhad.sock 系统无法访问此文件。 正在等待 30 秒... 正在重试...
3、复制单个大文件
RoboCopy /COPY:DAT /Z /J “源文件夹” “目标文件夹” "单个文件名称(多个以空格分割)"
4、删除文件:
Robocopy /MIR “空文件夹A” “想要删除的文件夹B”
新建一个空文件夹A,作为源,去同步想要删除的文件夹B。
附,Robocopy使用说明:robocopy /?
------------------------------------------------------------------------------- ROBOCOPY :: Windows 的可靠文件复制 ------------------------------------------------------------------------------- 开始时间: 2021年6月5日 21:31:03 用法 :: ROBOCOPY source destination [file [file]...] [options] 源 :: 源目录(驱动器:\路径或\\服务器\共享\路径)。 目标 :: 目标目录(驱动器:\路径或\\服务器\共享\路径)。 文件 :: 要复制的文件(名称/通配符: 默认为 "*.*")。 :: :: 复制选项: :: /S :: 复制子目录,但不复制空的子目录。 /E :: 复制子目录,包括空的子目录。 /LEV:n :: 仅复制源目录树的前 n 层。 /Z :: 在可重新启动模式下复制文件。 /B :: 在备份模式下复制文件。 /ZB :: 使用可重新启动模式;如果拒绝访问,请使用备份模式。 /J :: 复制时使用未缓冲的 I/O (推荐在复制大文件时使用)。 /EFSRAW :: 在 EFS RAW 模式下复制所有加密的文件。 /COPY:复制标记:: 要复制的文件内容(默认为 /COPY:DAT)。 (copyflag: D=数据,A=属性,T=时间戳,X=跳过替换数据流)。 (S=安全=NTFS ACL,O=所有者信息,U=审核信息)。 /SEC :: 复制具有安全性的文件(等同于 /COPY:DATS)。 /COPYALL :: 复制所有文件信息(等同于 /COPY:DATSOU)。 /NOCOPY :: 不复制任何文件信息(与 /PURGE 一起使用)。 /SECFIX :: 修复所有文件的文件安全性,即使是跳过的文件。 /TIMFIX :: 修复所有文件的文件时间,即使是跳过的文件。 /PURGE :: 删除源中不再存在的目标文件/目录。 /MIR :: 镜像目录树(等同于 /E 加 /PURGE)。 /MOV :: 移动文件(复制后从源中删除)。 /MOVE :: 移动文件和目录(复制后从源中删除)。 /A+:[RASHCNET] :: 将给定的属性添加到复制的文件。 /A-:[RASHCNET] :: 从复制的文件中删除给定的属性。 /CREATE :: 仅创建目录树和长度为零的文件。 /FAT :: 仅使用 8.3 FAT 文件名创建目标文件。 /256 :: 关闭超长路径(> 256 个字符)支持。 /MON:n :: 监视源;发现多于 n 个更改时再次运行。 /MOT:m :: 监视源;如果更改,在 m 分钟时间后再次运行。 /RH:hhmm-hhmm :: 可以启动新的复制时运行的小时数 - 时间。 /PF :: 基于每个文件(而不是每个步骤)来检查运行小时数。 /IPG:n :: 程序包间的间距(ms),以释放低速线路上的带宽。 /SJ:: 将接合复制为接合而非接合目标。 /SL:: 将符号链接复制为链接而非链接目标。 /MT[:n] :: 使用 n 个线程进行多线程复制(默认值为 8)。 n 必须至少为 1,但不得大于 128。 该选项与 /IPG 和 /EFSRAW 选项不兼容。 使用 /LOG 选项重定向输出以便获得最佳性能。 /DCOPY:复制标记:: 要复制的目录内容(默认为 /DCOPY:DA)。 (copyflag: D=数据,A=属性,T=时间戳,E=EA,X=跳过替换数据流)。 /NODCOPY :: 不复制任何目录信息(默认情况下,执行 /DCOPY:DA)。 /NOOFFLOAD :: 在不使用 Windows 复制卸载机制的情况下复制文件。 /COMPRESS :: 在文件传输期间请求网络压缩(如果适用)。 :: :: 文件选择选项: :: /A :: 仅复制具有存档属性集的文件。 /M :: 仅复制具有存档属性的文件并重置存档属性。 /IA:[RASHCNETO] :: 仅包含具有任意给定属性集的文件。 /XA:[RASHCNETO] :: 排除具有任意给定属性集的文件。 /XF 文件[文件]... :: 排除与给定名称/路径/通配符匹配的文件。 /XD 目录[目录]... :: 排除与给定名称/路径匹配的目录。 /XC :: 排除已更改的文件。 /XN :: 排除较新的文件。 /XO :: 排除较旧的文件。 /XX :: 排除多余的文件和目录。 /XL :: 排除孤立的文件和目录。 /IS :: 包含相同文件。 /IT :: 包含已调整的文件。 /MAX:n :: 最大的文件大小 - 排除大于 n 字节的文件。 /MIN:n :: 最小的文件大小 - 排除小于 n 字节的文件。 /MAXAGE:n :: 最长的文件存在时间 - 排除早于 n 天/日期的文件。 /MINAGE:n :: 最短的文件存在时间 - 排除晚于 n 天/日期的文件。 /MAXLAD:n :: 最大的最后访问日期 - 排除自 n 以来未使用的文件。 /MINLAD:n :: 最小的最后访问日期 - 排除自 n 以来使用的文件。 (If n < 1900 then n = n days, else n = YYYYMMDD date)。 /FFT :: 假设 FAT 文件时间(2 秒粒度)。 /DST :: 弥补 1 小时的 DST 时间差。 /XJ:: 排除(文件和目录的)符号链接和接合点。 /XJD:: 排除目录和接合点的符号链接。 /XJF :: 排除文件的符号链接。 /IM :: 包含已修改的文件(更改时间不同)。 :: :: 重试选项: :: /R:n :: 失败副本的重试次数: 默认为 1 百万。 /W:n :: 两次重试间的等待时间: 默认为 30 秒。 /REG :: 将注册表中的 /R:n 和 /W:n 保存为默认设置。 /TBD :: 等待定义共享名称(重试错误 67)。 /LFSM :: 在低可用空间模式下运行,启用复制暂停和继续(参见“备注”)。 /LFSM:n[KMG] :: /LFSM,指定下限大小(以 n [K:kilo、M:mega、G:giga] 字节为单位)。 :: :: 日志记录选项: :: /L :: 仅列出 - 不复制、添加时间戳或删除任何文件。 /X :: 报告所有多余的文件,而不只是选中的文件。 /V :: 生成详细输出,同时显示跳过的文件。 /TS :: 在输出中包含源文件的时间戳。 /FP :: 在输出中包含文件的完整路径名称。 /BYTES :: 以字节打印大小。 /NS :: 无大小 - 不记录文件大小。 /NC :: 无类别 - 不记录文件类别。 /NFL :: 无文件列表 - 不记录文件名。 /NDL :: 无目录列表 - 不记录目录名称。 /NP :: 无进度 - 不显示已复制的百分比。 /ETA :: 显示复制文件的预期到达时间。 /LOG:文件 :: 将状态输出到日志文件(覆盖现有日志)。 /LOG+:文件 :: 将状态输出到日志文件(附加到现有日志中)。 /UNILOG:文件 :: 以 UNICODE 方式将状态输出到日志文件(覆盖现有日志)。 /UNILOG+:文件 :: 以 UNICODE 方式将状态输出到日志文件(附加到现有日志中)。 /TEE :: 输出到控制台窗口和日志文件。 /NJH :: 没有作业标头。 /NJS :: 没有作业摘要。 /UNICODE :: 以 UNICODE 方式输出状态。 :: :: 作业选项 : :: /JOB:作业名称 :: 从命名的作业文件中提取参数。 /SAVE:作业名称 :: 将参数保存到命名的作业文件 /QUIT :: 处理命令行后退出(以查看参数)。 /NOSD :: 未指定源目录。 /NODD :: 未指定目标目录。 /IF :: 包含以下文件。 :: :: 备注: :: 以前在卷的根目录上使用 /PURGE 或 /MIR 导致 robocopy 也对“系统卷信息”目录内的 文件应用所请求的操作。现在不再是这种情形;如果 指定了任何一项,则 robocopy 将跳过 复制会话简要源目录和目标目录中具有该名称的任何文件或目录。 已修改的文件分类仅在源 和目标文件系统支持更改时间戳(例如 NTFS) 以及源和目标文件具有不同的更改时间(否则相同) 时才适用。默认情况下不复制这些文件;指定 /IM 以包含它们。 /DCOPY:E 标志请求扩展属性复制应该 针对目录进行尝试。请注意,如果目录的 EA 无法复制, 则当前 robocopy 将继续。/COPYALL 中也未包括 在 /COPYALL 中。 使用 /LFSM 请求 robocopy 在“低可用空间模式”下运行。 在该模式下,每当文件副本导致 目标卷的可用空间低于可以 由 LFSM:n[KMG] 形式的标志明确指定的“下限”值时,robocopy 将会暂停。 如果指定了 /LFSM,但没有显式下限值,则会将下限设置为 目标卷大小的 10%。 低可用空间模式与 /MT、/EFSRAW、/B 和/ZB 不兼容。