pororo package 설치기

최근 한국어 데이터 전처리를 해야할 일이 있어서, 이것저것 찾아보다가 pororo란 package를 알게되었다. 

Deep learning 기반으로 전처리를 해주고, 성능이 쓸만한 것 같아서 설치를 시도해보았다.

설치하려고 문서를 찾아보면서 알게된 것이지만, 해당 package는 KAKAO brain에서 release를 했으며, 4년 전부터 version 관리되지 않는 것으로 보인다

https://github.com/kakaobrain/pororo 

GitHub - kakaobrain/pororo: PORORO: Platform Of neuRal mOdels for natuRal language prOcessing

 

그로인해, 메인 페이지에서는 torch version도 1.6을 권장했지만, 다른 프로그램에서는 그것보다 상위버전을 사용하기에 다운그레이드를 할 수는 없었다.

설치하다가, 여러번 실패를 맛보고, 아래 블로그에 개발자분이 설명해준 내용을 바탕으로 설치는 어찌 성공하였다.

https://until.blog/@zzoming/%ED%97%98%EB%82%9C%ED%95%9C-pororo-%EC%84%A4%EC%B9%98-%EC%97%AC%EC%A0%95--

험난한 Pororo 설치 여정 😶

 

이제 내가 한 부분을 정리해보면 다음과 같다.

• python version은 3.10으로 진행 함
• uv package manager 설치
• pororo git clone

git clone https://github.com/kakaobrain/pororo.git

• setup.py의 torch와 torchvision 버전 수정

torch==1.6.0 => torch>=1.6.0
torchvision==0.7.0 => torchvision>=0.7.0

• 다운받은 pororo 폴더 내로 이동
• 다음 command 입력

uv pip install .

• fairseq 내의 checkpoint_utils.py 부분 수정 (weights_only=False 추가)

sed -i 's/torch.load(f, map_location=torch.device("cpu"))/torch.load(f, map_location=torch.device("cpu"), weights_only=False)/' \
    /usr/local/lib/python3.10/site-packages/fairseq/checkpoint_utils.py || true