[잡담] 음 짤 크롤링 프로그램을 계속 가다듬으니 편하긴 한데

[라스트리스]

정작 긁어오는쪽 서버 대역폭 리미트가 게시글 하나당 100kb/s라 며칠동안 다운받아야하네

2023년도 글들까지 작업목록에 올려놓긴 했는데 이 속도면 목요일때쯤 다운 끝나있을듯

[잡초도둑]

cdn인데 대역폭이 그거밖에 안될리가

[라스트리스]

얘네들 서버비 아끼겠다고 몇달 전부터 원본이미지 호출구조 ㅈㄴ 복잡하게 꼬아놓고 대역폭 제한걸고 틈만나면 429 410에러 띄우고 난리쳐놓음

[카스가노소라]

그냥 도커로 컨테이너 병렬처리해서 받으면 안됌?

[라스트리스]

IP당 트래픽 자체를 제한거는 것 같던데 그렇게 해서 우회가 되나

[카스가노소라]

컨테이너마다 노드vpn걸면되지

[라스트리스]

세상에

[카스가노소라]

노드가 컨테이너 연동쉬운 vpn서비스라 어렵지도않음

[카스가노소라]

몇시간마다 주기적으로 자동으로 ip바꾸게 세팅도됌

[잡초도둑]

어디 사이트를 대상으로 하는지 모르겠지만 이미지서버는 그런식으로 대역폭이 낮지않음 만약 루리웹이면 그런거 고민할 필요도 없을정도로 쉽고.

기능분리를 잘 해두면 도커를 쓸 필요도 없고 훨씬 더 성능을 높일 수 있음

[라스트리스]

컴쪽에서 크롤링 돌리다가 429에러 뜨기 시작하면 같은 공유기에 연결된 폰에서도 브라우저에서 원본이미지 링크 누르면 429에러 뜨던데 이러면 그냥 요청 많은 회선에 자동으로 429띄우는 식이라 단순 병렬처리로는 쉽지 않아보이더라

[잡초도둑]

그렇다면 ip로 일정시간동안 많이 접근하는 걸 체크하는거같은데 429가 뜨는 시간조건을 체크한 뒤에 다운로더만 만들어놓고, 다운로드 리스트는 별도로 만들어서 처리하면 최적의 속도를 찾을수 있을듯 MQ로 처리할 수 있으면 다운로더만 여러 머신에서 실행시키고 크롤러는 한 곳에서 처리하면 좀 나을듯

[잡초도둑]

429 조건이 생각만큼 빡빡하지 않을거임. 아마 너는 리스트에 쌓이는대로 냅다 get을 날릴테니 비정상 조회로 판단해서 블락을 먹이는거같고