★ FEATURED ARTICLE 【免费下载链接】TreeMap-Disk-VisualizerTreeMap is a fully downloadable app that can run on mac, windows, and linux. That visualizeses all of your disk-space into charts and square board. It also lets you delete unwanted files and opens files for you aswell.项目地址https://gitcode.com/gh_mirrors/tr/TreeMap-Disk-Visualizer点击查看免费下载TreeMap 重复文件检测内置两套互补引擎分阶段 SHA-256 内容哈希精准找出逐字节相同的真重复64 位感知哈希 dHash 则能抓住被缩放、重新编码过的相似图片。本文带你完整看懂它如何分三阶段省掉 99% 的无谓读取、如何避免误删以及相似图片的阈值该怎么调。一分钟上手找到重复文件的 3 个步骤TreeMap 是一款可在 Mac、Windows、Linux 上运行的磁盘可视化工具扫描完成后即可开始重复文件狩猎完成一次扫描—— 重复检测建立在扫描结果树上扫描未完成时接口会返回 409SCAN_RUNNING提示稍后再试打开 Duplicates 视图—— 默认只统计 ≥ 1 KB十进制 1,000 字节的文件小文件噪音被过滤可传minSize参数调整等待后台哈希任务—— 任务按扫描 ID 建立前端轮询进度运行中返回 202 进度完成后返回 200 重复分组每组的可回收空间会逐组列出。任务进度会明确告诉你当前处于哪个阶段sizes→partial→full这正是下面三阶段哈希的直观体现。核心机制SHA-256 分阶段哈希为什么快朴素做法是对每个文件都算完整 SHA-256磁盘读满一遍。TreeMap 的做法是由便宜到昂贵三级过滤源码位于 duplicateFinder.ts第 1 阶段按精确大小分桶零成本大小完全来自扫描树不读任何文件内容——大小不同的文件绝不可能是内容重复一步筛掉绝大多数候选。只有同桶且 ≥ 2 个文件才进入下一阶段。第 2 阶段只读前 64 KiB 做局部哈希对每个候选文件仅读取开头 64 KiB 计算 SHA-256。绝大多数同大小文件在这里就会分道扬镳绝大多数磁盘 I/O 被省掉。第 3 阶段完整流式 SHA-256只对前 64 KiB 都相同的幸存文件用流式读取算完整 SHA-256见 hashFile全程以 4 路并发HASH_CONCURRENCY 4后台运行不阻塞界面。阶段读盘量淘汰对象大小分桶0所有不同大小的文件前 64 KiB 哈希很少开头就不同的假候选完整 SHA-256仅幸存者中途开始不同的文件这种分层设计让全盘扫描后找重复的代价从再读一遍整个磁盘降到几乎只读同大小文件的头部。它如何避免越帮越忙边界情况一览重复检测最怕误报TreeMap 对这些棘手场景都做了诚实处理☁️云端占位文件iCloud / OneDrive / Dropbox永不打开—— 读取占位符会触发下载所以它们只被计入notHashed统计多少个、多大绝不参与比较界面也会如实说明符号链接不读—— 跟随链接读到的可能是另一个文件甚至一个 Windows 云端重解析点硬链接—— 扫描器只在首个名字上计字节其余名字大小为 0天然不会进桶被误判macOS APFS 克隆—— Finder 的制作副本与原件共享底层数据块删掉副本并不省空间因此界面会把可回收数字标注为上界并给出说明⏳扫描后数据已同步走—— 读取前会再次确认文件仍在本地确认不了的宁可跳过并计入缺口绝不假装没发现重复。感知哈希 dHash相似图片也能被抓住字节级哈希有个盲区同一张照片的截图版、缩小版、重编码版一个字节不同就逃过 SHA-256。TreeMap 的 Near-duplicate images 标签页用 64 位dHash补上这块实现在 perceptualDupes.ts解码—— 图片被解码并缩放为 9×8 的灰度图8 行 9 列取指纹—— 每行比较相邻像素的明暗关系得到 8 位共 8 行 64 位 dHash比距离—— 两张图的 dHash 用汉明距离衡量差异小于等于阈值即判为相似。关键参数速查threshold 阈值默认100–32。值越小越严格误报越少值越大越宽松可能把不同图片聚到一起支持格式jpg / jpeg / png / gif / webp / bmp / tiff / heic / heif / avif大小门槛小于 4 KB 的图favicon 级直接跳过避免淹没真照片数量上限最多比较 8,000 张按大小取最大的防止 O(n²) 聚类的计算爆炸超限会如实标记truncated解码器优先用 sharp4 路并发无 sharp 时回退 ffmpeg两者都没有则明确报告不可用而不是静默失败。相似图片会经并查集聚类成簇每簇内按修改时间从新到旧排列——自动选择会保留最新的一份。点击 Compare 可以并排查看缩略图、尺寸、EXIF 拍摄日期还能看到两图64 个块中相差 4 块的 dHash 差异高亮删不删心里有数。读懂结果可回收空间是怎么算的每个重复组的可回收空间 文件大小 × (数量 − 1)即保留一份后省下的部分簇内按可回收量从高到低排序先看最值得动手的组。注意 macOS 上的 APFS 克隆说明见上文那是一组理论上限。相关接口与源码地图资源说明位置GET /api/duplicates?scanIdminSize真重复分组轮询至 completeinsightRoutes.tsGET /api/near-duplicates?scanIdthreshold10dHash 相似图片簇insightRoutes.tsGET /api/duplicates/detail2–8 个文件并排对比insightRoutes.ts三阶段哈希主体大小 → 64KiB → 完整 SHA-256duplicateFinder.tsdHash 汉明距离9×8 灰度 → 64 位指纹perceptualDupes.tsDuplicates 视图阈值滑块、ΔN 距离徽章200-duplicates-view.jsMCP 用户还可直接调用find_duplicates工具获取真重复结果。想亲自上手的话git clone https://gitcode.com/gh_mirrors/tr/TreeMap-Disk-Visualizer cd TreeMap-Disk-Visualizer npm install npm start常见问题 FAQ问重复检测会把文件删错吗不会自动删。每组都有 Compare 视图展示缩略图、路径、拍摄日期与推荐保留项删除规则还会被明文写出批量清理最终都进入 Clean Up 购物车人工确认。问为什么云端文件不在结果里打开 iCloud/OneDrive 占位文件等于下载它。TreeMap 选择跳过并如实报告多少张图未比较、占多少字节宁可答案有缺口也不悄悄下载。问图片太多检测会卡吗会按大小取最大的 8,000 张比较任务全程显示hashed / toHash进度且可随时取消cancelAllNearDupeJobs语义下的取消标记会让聚类循环提前退出。问阈值 10 该怎么调照片缩略图、截图副本一般 5–10 就能聚到一起如果不同照片也被误判为一组把 threshold 调小即可。赞分享【免费下载链接】TreeMap-Disk-VisualizerTreeMap is a fully downloadable app that can run on mac, windows, and linux. That visualizeses all of your disk-space into charts and square board. It also lets you delete unwanted files and opens files for you aswell.项目地址https://gitcode.com/gh_mirrors/tr/TreeMap-Disk-Visualizer点击查看免费下载相关推荐imagededup 哈希算法详解感知哈希、差异哈希、小波哈希深度解析imagededup 哈希算法详解感知哈希、差异哈希、小波哈希深度解析 在数字图像管理领域imagededup 项目提供了一套简单高效的图像去重解决方案。这计算机视觉图像处理Semaphore Runner Token 哈希化改造从明文存储到 SHA-256 哈希的完整实施方案Semaphore Runner Token 哈希化改造从明文存储到 SHA 256 哈希的完整实施方案 Runner Token 是 Semaphore 中后端前端任务调度运维CI/CD认证鉴权如何快速掌握开源音频编辑神器Audacity 4.0 终极使用指南如何快速掌握开源音频编辑神器Audacity 4.0 终极使用指南 Audacity 是一款完全免费的开源音频编辑软件支持多轨录音、专业效果处理和跨平台使用桌面应用音频音频处理上一篇express-validator 自定义错误消息完全指南从 Validator 级到字段级的消息控制与动态国际化下一篇Path of Building5分钟上手的流放之路离线Build规划与DPS计算器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
