[자작기타] AI가 실시간으로 야겜... 아니 갓겜 번역해줌. 'KO Trans'!(자작)

[빵맨]

안녕하세요!

요즘 AI 성능이 좋아져서 번역은 거의 사람이 번역한 것과 구분할 수 없을 정도로 좋아졌다고 하는데, 현실적으로는 사용하기가 쉽지 않습니다.

그래서, 궁금증에 평소에 플레이하던 미연시(비주얼 노벨)에 적용하면 얼마나 좋을지 제미나이 API 를 써서 프로토타입을 만들어봤습니다.

그랬더니, 결과는 깜놀!!! 문맥까지 파악해서 번역하니 기대 이상으로 자연스러웠습니다. 프로토타입은 제미나이에게 코드를 만들어달라고 했더니 몇 시간만에 간단히 만들 수 있었습니다.

그럼, 성능 좋다는 PaddleOCR 을 이용해서 실제로 내가 실시간 AI 미연시 번역기를 만들어볼까라는 가벼운 생각으로 시작했다가, 지옥의 시작...

프로토타입은 바이브코딩 이용해서 소위 말하는 '딸깍' 만들 수 있었지만, 쓸만하게 만들려니 한달이 넘게 걸렸습니다.

막상 만들고 보니, 요즘은 미연시 플레이하는 사람 별로 없고, 유명한 미연시는 유저 한글 패치 다 나와 있고, 이미 MORT 라는 유사 기능의 프로그램이 있고, Textractor 쓰면 왠만한 미연시는 후킹 다 되는데 이게 뭔 필요냐 싶지만, 그래도 추억으로 예전 미연시 플레이할 때 유용하게 쓰실 분들도 있을 것 같아 공개합니다.

OCR 성능과 번역 성능은 제가 제미나이 괴롭혀서 만든 것이긴 하지만, 정말로 끝내주거든요!

약간 과장하면, magpie 로 해상도 높이고 제가 만든 KO Trans 로 번역해서 플레이하니, 옛날 미연시가 새로 정발된 것처럼 느껴졌습니다.

KO Trans 소개입니다.

직접 AI를 때려 박아 만든 KO Trans를 소개하러 왔습니다! 🥊

1. "야, 너두 일본어/영어 할 수 있어" (feat. 제미나이 & ChatGPT)

단순한 데이터베이스 번역이 아닙니다. 구글 제미나이(Gemini 2.5), ChatGPT, 심지어 내 컴의 자원을 쓰는 로컬 LLM(Ollama)까지 연결했습니다! 문맥을 파악해서 소설처럼 자연스럽게 번역해 주는 AI의 위엄을 느껴보세요. (어색한 말투는 이제 안녕...!)

2. 난 돈 좀 드는 건 괜찮아도, 어색한 번역은 못 참아!

구글 제미나이, ChatGPT API 를 사용하려면 돈을 내야 합니다. 그래서, 기존 프로그램들은 API 콜 수를 줄이려고 노력합니다.

하지만, KO Trans는 돈 좀 쓰는 건 괜찮아도 어색한 번역은 못 참기 때문에, 기존 대화 히스토리 보내고, 필요하면 캐릭터 사전까지 넣을 수 있도록 해서 번역의 질에 집중하였습니다. 미연시 하나 클리어하는데 몇 천원 정도는 태울 수 있잖아요~.

3. "공부인 척 가능? AI 사전 모드"

번역만 해주는 게 아닙니다. 모르는 단어가 나오면 Alt+F12를 누르세요. 'AI 사전'이 튀어나와서 해당 단어의 발음, 예문, 꿀팁까지 사전처럼 촤르륵 뽑아줍니다. 게임하면서 외국어 실력까지 느는 (척하는) 기적을 체험할 수 있습니다!

4. "내 입맛대로 세팅하는 프로필 관리"

이 게임은 영어, 저 게임은 일본어, 이 게임은 세로 읽기, 저 게임은 가로 읽기, 또 어떤 게임은 클립보드 방식... 일일이 설정하기 귀찮으시죠? 게임별로 프로필을 딱 한 번만 저장해두면, 다음부턴 원클릭으로 최적의 환경에서 즐길 수 있습니다.

5. 나도 이제 스위치로 '쓰르라미 울적에 봉' 한 번 플레이해보자.

고성능의 Paddle OCR 과 자동으로 텍스트 영역 인식을 위해 CRAFT 를 결합하였기 때문에, 고해상도 폰트를 적용한 요즘 게임은 95% 이상의 놀라운 인식률을 보여줍니다. 특히, 장갑악귀 무라마사와 같이 텍스트 표시 위치가 여기저기 옮겨다니는 게임의 플레이를 위해 넓은 화면 인식 영역을 설정해도 텍스트 표시 영역을 잘 인식합니다.

OCR 을 사용하기 때문에 '쓰르라미 울적에'와 같은 스위치 게임도 캡처보드를 이용해 한글로 플레이하는 것이 가능합니다.

설치 방법과 사용 방법은 아래 gibhub 페이지를 참조해주세요

https://github.com/breadu/ko_trans

설치 파일은 아래에서 다운로드 가능합니다.

https://github.com/breadu/ko_trans/releases/tag/V1.0.0

써보시고 마음에 드신 분들은 다른 사람들에게도 알려주세요.

[보라색맛 라임]

정말 놀라운 시대다

[양치기매리]

오옹

[대혁명]

그럼 이거 스팀에서 판매 중인 안한글 영어 게임에 사용해도 되나요?

[시질]

번역와드

[똥개 연탄이]

MORT나 루나 트랜스레이트랑 비슷한건가?

[똥개 연탄이]

와드

[루리웹-0777942004]

ok text hooker의 정신적 계승작이로군나

[김법사]

일단 와드

[자칭도인]

와... 비주류 미번 야겜 올만에 함 켜볼까 ㅇㄷ박고 감

[머머리훈타]

오....이거 개쩌는데...

[초코라떼를엎어버린]

겜 번역기 와드

[주때소]

이게 사실상 이지트랜스의 최종진화형이라본다

[Lussaphi]

[Gehennas]

이거 API 물리는 식으로 하는 건가? 번역용으로 잼플 쓰면 쌀먹 가능할지도

[민트초코빙수]

와드

[refu]

이것은 와드 박을 가치가 있다

[필리아-00]

로컬 llm으로 한번 써봐야지

[87Gamer]

오

[앍혀]

이야 쩐다

[PC2]

이거도 유료API는 필수적이구나

[루리웹-3196247717]

아 뭐 사야함?

[빵맨]

성능이 좀 떨어지지만, 로컬 AI 도 사용할 수 있습니다. 실제 테스트해보니 그냥 아쉬운대로 쓸만은 하더라구요.

[왜사니1]

ai 번역 와드

[비벨라곰팡이]

엄청 옛날에 비슷한걸 본 적이 있었던것같은데 이제는 AI로다가 할 수 있게 된건가.

[마이온]

이런건 나올때마다 api 비용 문제가 걸림돌이던데
요즘은 구독이던 로컬이던 평소에 본인용 ai 하나쯤 끼고 사는 사람이 늘어났으니 유지 가능하려나

[빵맨]

말씀하신대로 API 비용이 문제인데, 로컬 AI 도 쓸만합니다. 그런데, 문제는 GPU 로 돌려야 속도가 빠른데, VRAM 크기 때문에 고성능 AI 는 사용할 수가 없어서 퀄이 좀 떨어집니다.

[아라이]

와 집에가면 싸봐야지
ㅇㄷ 와드

[판테모니엄]

대협!!!

[죄수번호와활동내역]

번역 와드

[TSZ.kr]

어라 쓰름봉 스위치판은 이미 한패나오지 않았나?

[KC인증의 수행사제]

야겜 말고 언어 이해 실패하는 다른 겜도 가능하겠군

[루리웹-9248332665]

팥고물
징계나무

[정의의 버섯돌]

번역와드

[넵튠MK2]

진짜냐 ㄷㄷㄷㄷ

[얼리노답터]

ai 번역 와드
이걸로 록맨 에그제 해야지

[WinterRose]

로컬로돌리면될것같긴한데 번역정확도가 다른것보다 낮게나올것같기도.

[빵맨]

예, 로컬 AI 도 사용 가능한데, VRAM 크기 때문에 고성능 AI 를 사용할 수가 없어서 퀄은 좀 떨어집니다.

[아망냥이 .]

Ai 번역기라 신기한데
만들어진 방식도 신기하네요

[폴 바셋]

ai 번역와드

[루리웹-1327243654]

AI OCR 번역기 추천드립니다.

[Mercy]

한번해봐야지 ㅊㅊ

[빙구론희]

번역기 와드

[kji2458]

번역기와드

[샤랼라]

번역기 와드

[Archsage]

와드

[Galar_Gura]

와드. 야겜이 아니라 못했던 영어 게임좀 해야겠다. 스토리 게임이라 막혔었는데

[정체불명1]

와 야겜! 아니 갓겜 번역!

[루리웹-7875944384]

이걸로 일본 원서도 번역될려나

[루리웹-5679712317]

야겜은 제미나이 같은애들한테 거부당함?

[필리아-00]

고어만 아니면 레이프같은것도 가능 거부하면 우회해서 돌려 말하잘라고하면됨

[빵맨]

실제로 해봤는데, 가끔 검열에 걸리기는 하는데, 대부분은 잘 되더라구요.

[No.0359 앱솔]

오...
실시간 ai 번역 와드

[질소과자]

번역기 와드

[아슈와간다]

와 엄청나네

[LVCIVS BRVTVS]

3번기능의 1타2피 스킬이 매력적이다 ㅋㅋ

[중수가되고싶은 초보]

번역기 와드

[바람바이]

[하권]

Ai 번역 와드

[파란쓸개]

와아드

[모자걸하실분]

번역기 와드

[우사기상레볼루션]

ㅇㄷ

[greathuman🐔⏳️🎲]

번역기 와드

[대변먹는자]

섹.스 와드

[사과팝니다]

번역기 와드

[찌찌야]

번역기 와드

[엑셀리테🎗]

밭고물 징계나무는 이제 안녕인가

[버플스머크 스퓨핏]

실시간 번역 와드

[머리크기지구]

와우

[chakata]

mort보다 가벼운가 보네요
mort는 .net이 필수라 배보다 배꼽이 크던데 말이죠

[빵맨]

python 라이브러리가 필요해서 MORT 보다 배꼽이 더 큽니다 T_T

[귄귄]

와드

[Arisein]

오 Ai trans 와드

[낄랄롤릴]

ai 번역기 와드

[밤끝살이]

api가 뭔지도 모르겠고 무서워서 어떻게 쓸지도 모르겠어요
몇만원 쓰는건 괜찮으니 선결제 충전식 번역사이트같은것 만들어주실수 있나용

[빵맨]

API 는 구글에서 제공하고 안전한 것이니 인터넷 검색해서 등록해 보세요. 단, API 키코드를 캡처해서 인터넷에 올리는 등 외부에 공개하시면 절대 안 되구요. 막상 해보면 이렇게 간단한 거였구나 할 거예요. 앞으로는 구글 제미나이 API 등을 사용한 프로그램들이 많이 등작할 거예요. 이번 기회에 한 번 해 보세요.

[Corn Chip]

번역기 와드

[H_YUI]

예전에 비슷한 번역기는 후커 같은걸로 원문 읽어내는거 받아내서 번역 하는건데
일부 게임이 원문이 안 잡혀서 번역이 안되던데
이걸론 괜찮으려나?

[빵맨]

OCR 을 넣은 이유가 말씀하신 후커가 안 될 경우에도 대응하기 위함입니다. 유작, 취작 같은 옛날 게임은 폰트 때문에 잘 인식이 안 될 수 있지만, 2005년 이후 게임은 95% 이상으로 잘 인식됩니다.

[H_YUI]

감사합니다. 기억해 뒀다가 다음 주말에 함 굴려봐야할듯 ㅜㅜㅜㅜ

[밀크티조아]

흠 일단 와드
AI OCR 번역 와드

[몽월]

번역기 와드

[흥미롭네요!]

ㄳㄳ
AI OCR 번역 와드

[포도여우]

번역기 와드

[루리웹-5504711144]

계속 해도 그냥 인식을 못하네요. 깔라는건 엄청 많았는데 언제 다 지우지

[빵맨]

인식 영역을 설정하셨나요? 만약 안 되어서 삭제하시려면, 그냥 디렉토리 지우시면 됩니다. venv 를 만들어서 설치하기 때문에, 그냥 디렉토리만 지우면 설치된 것 깨끗하게 삭제됩니다.

[루리웹-5504711144]

윈도우, 클립보드는 암만 해도 안 먹히고, 전체화면도 occ 클릭이 인식 부분 설정후 적용 누르려고 f12누르면 자동으로 리셋 되서 할수가 없었습니다. f12안 누르면 적용도 안 뜨고요.

[빵맨]

인식 영역은 '출력/작동 제어'의 캡처 대상 설정 캡처 대상을 '특정 윈도우' 를 선택하고 윈도우 선택 버튼을 누르고 해당 게임을 선택한 후 OCR 영역의 '영역 선택' 버튼을 누른 후 게임의 대사 나오는 부분을 선택하면 됩니다.

[빵맨]

설정 후 아래의 적용 버튼을 누르셔야 합니다. 적용 버튼을 누르지 않으면 변경 사항이 적용되지 않습니다.

[빵맨]

적용 버튼 누르고 잘 되면 사용 후 리뷰 좀 고유 부탁 드려요. 밑에 적용 버튼을 누르지 않으면 저장되지 않는 것은 직관적이지 않으니 이후 버전에서는 개선해야겠네요.

[루리웹-5504711144]

오버레이 영역선택을 누르면 자동으로 설정 창이 내려가고 빨간 선택창만 뜹니다. 그러면 적용을 누를수가 없어요. f12누르면 다시 초기회되고.

[빵맨]

빨간 선택창을 글자 영역으로 이동 후 닫기를 하면, 해당 위치가 선택영역에 숫자로 기록됩니다. 이 때 적용 버튼을 누르시면 됩니다. 역시나 이것도 직관적이지 않네요. 나중에 개선해야 겠네요.

[루리웹-5504711144]

네. 방금 빨간 창 닫기를 눌렀더니 적용이 되네요. 잘써보겠습니다. 감사합니다.
참고로 Ollama로 로컬쓰고 있는데, CMD로 ollama run gemma3:12b 쳤는데 그냥 창이 꺼지고 다운로드 되진 않습니다. Ollama켜서 그냥 해당 모델 클릭하고 아무 글자나 클릭하니 다운 받아지고 잘 번역이 됩니다.

[빵맨]

예, 잘 된다니 다행이네요. 로컬 AI 가 성능이 좋으면 많은 사람들이 쓸 수 있고 좋을텐데, VRAM 이 발목을 잡네요. 5090 도 VRAM 32GB 라서 고성능 AI 로컬 모델은 사용이 어렵네요. 캐릭터 사전도 등록해서 사용해보세요. 캐릭터 이름이 고정되어서 퀄이 많이 좋아집니다. 캐릭터 사전은 일본 WIKI 에서 캐릭터 설명 복사해서, 제미나이나 Chatgpt 에게 샘플 json 주면서 같은 양식으로 만들어달라고 하면 간단하게 만들 수 있습니다.

[루리웹-5504711144]

제 글카 v램이 16G라 저 모델도 그럭저럭 잘 써지네요.
사실 번역 퀄이 아주 높진 않지만 (상용 AI에 비하면) 그래도 옛날 이지트랜스+사전 추가한것보다 좀 더 좋게 나오는 것 같습니다.

[Arkham Asylum]

OCR 서버를 시작할 수 없다는데 원인을 알 수가 없네요...CUDA부터 trans bat 파일까지 분명 완료했는데 그냥 여기서 턱 막혀버리니 뭔가 해볼 수가 없네

[빵맨]

쪽지로 ko_trans/engine 디렉토리에 있는 ko_trans_server_log.txt 파일의 내용을 주시면 확인해볼께요.

[Arkham Asylum]

두시간 정도 낑낑대다 포기하고 아쉬워서 남겼는데 바로 답장이 올 줄은...감사합니다.

[ArRing]

작성자님. 혹시 올려주신 저 번역 프로그램이 이미지 번역도 가능한건가요?? 이미지 실시간 번역기 찾고 있는데ㅜㅜ...

[빵맨]

예, 이미지도 되긴 할 거예요. 그런데, 미연시 타겟으로 만든 것이라 잘 될지는 모르겠네요. 그래도 원하던 기능이 있을수도 있으니 한 번 사용해 보세요.

[ArRing]

예 한번 해보겠습니다. 좋은 정보 감사합니다!!