그래서 일하기 싫어하는 엔지니어가 자동화 스크립트를 가져왔어!

folder1이랑 folder2랑 비교해서 파일들 해시값 리스트업 해주고
동일한 해시값끼리 묶어주는 스크립트임

난 개발자는 아니라서 gpt쟝한테 부탁해서 쓴 코드긴 한데

간단한 업무 자동화 하는 수준에서는 편하게 쓰기 좋더라

md5, sha1, sha256, sha512 해시값 총 네개를 비교해주고 엑셀파일로 떨궈줄거임

우선 비교 대상을 folder1, folder2에 각각 넣어주고

메모장을 켠 다음 맨 아래에 있는 코드 복사/붙여넣기 한 다음 filename.py로 이름 변경

폴더명은 필요하면 코드 수정해서 바꿔주면 되고

그 다음 파이썬3를 설치하고 cmd에서 아래 라이브러리를 설치해줘
파이썬 설치 링크

파이썬을 설치 했으면 폴더를 우클릭 한 다음 터미널에서 열기

그 다음 라이브러리 설치 아래 복붙하면 돼

pip install pandas openpyxl

그런 다음은 python ./filename.py

하면 따란

기계가 알아서 해시값을 구하고 비교까지 해서 나한테 갖다 바쳐줌

반복 노동은 기계한테 시키고 이제 우리는 저걸 가지고 저작권자한테 주기만 하면 됨

코드
##################################################

import os
import hashlib
import pandas as pd
from openpyxl import Workbook
from concurrent.futures import ThreadPoolExecutor, as_completed

def calculate_hashes(file_info):
folder_name, rel_path, full_path = file_info
hashes = {'sha256': hashlib.sha256(),
'sha1': hashlib.sha1(),
'md5': hashlib.md5(),
'sha512': hashlib.sha512()}

try:
with open(full_path, 'rb') as f:
while chunk := f.read(8192):
for h in hashes.values():
h.update(chunk)
return {
'folder': folder_name,
'filename': rel_path,
'sha256': hashes['sha256'].hexdigest(),
'sha1': hashes['sha1'].hexdigest(),
'md5': hashes['md5'].hexdigest(),
'sha512': hashes['sha512'].hexdigest(),
}
except Exception:
return {
'folder': folder_name,
'filename': rel_path,
'sha256': 'ERROR',
'sha1': 'ERROR',
'md5': 'ERROR',
'sha512': 'ERROR',
}

def gather_file_list(folder_name):
file_list = []
for root, _, files in os.walk(folder_name):
for file in files:
full_path = os.path.join(root, file)
rel_path = os.path.relpath(full_path, folder_name)
file_list.append((folder_name, rel_path, full_path))
return file_list

def main():
folders = ['folder1', 'folder2']
all_file_info = []

for folder in folders:
all_file_info.extend(gather_file_list(folder))

print(f"🔍 총 파일 수: {len(all_file_info)}개 - 해시 계산 중...")

results = []
with ThreadPoolExecutor() as executor:
futures = [executor.submit(calculate_hashes, fi) for fi in all_file_info]
for future in as_completed(futures):
results.append(future.result())

df = pd.DataFrame(results)

# 전체 해시 목록 Sheet2
sheet2 = df[['folder', 'filename', 'sha256', 'sha1', 'md5', 'sha512']]

# 중복 해시 비교 Sheet1 (sha256 기준)
folder1_hashes = df[df['folder'] == 'folder1']
folder2_hashes = df[df['folder'] == 'folder2']
duplicates = pd.merge(
folder1_hashes, folder2_hashes,
on='sha256', suffixes=('_f1', '_f2')
)

sheet1 = duplicates[['filename_f1', 'filename_f2', 'sha256', 'sha1_f1', 'md5_f1', 'sha512_f1']]
sheet1.columns = ['folder1', 'folder2', 'sha256', 'sha1', 'md5', 'sha512']

with pd.ExcelWriter('hash_comparison_parallel.xlsx', engine='openpyxl') as writer:
sheet1.to_excel(writer, sheet_name='Duplicates_SHA256', index=False)
sheet2.to_excel(writer, sheet_name='All_File_Hashes', index=False)

print("✅ 병렬 해시 비교 완료: hash_comparison_parallel.xlsx")

if __name__ == "__main__":
main()