#nobanner #title 짤 수집 셔틀 #user-keywords 짤 수집기 [[TableOfContents]] = Zzal Collect Shuttle! = 부루 짤 수집기. {{{#!folding (안 읽어도 되는) 들어가면서 {{{ [17:56] <@아스나♥> 알지도 모르겠네여?ㄷ [17:56] <+피곤한월요일> 흥ㄴ흐으휴ㅠ [17:58] <+Honoka> 경찰아저씨 여기에요 [17:58] <@아스나♥> Honoka ㅁ..뭐요? [17:59] <@아스나♥> 오늘은 날인만큼.. [17:59] <@아스나♥> 일러스트 수집을 오늘만 쉴까 [17:59] <@아스나♥> 미디어스캔을 한참하네 [17:59] <+Honoka> 일러스트 수집은 그거죠 [18:00] <+Honoka> 오늘 걸으면 내일은 뛰어야 한다.. [18:00] <+Honoka> 매일매일 끊임없이 노력하라는.. [18:00] <@아스나♥> ㅋㅋㅋ [18:00] <@아스나♥> 하긴 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [18:00] <@아스나♥> 인정하지. [18:01] <@아스나♥> 3일만 쉬어도 [18:01] <@아스나♥> 엄청난 분량.. }}} {{{+1 동기 }}} 매일 이모토부루에 올라오는 짤 중 마음에 드는 짤을 마우스 오른쪽으로 저장하는 게 나의 일과 중 하나였는데 페이지를 넘겨가며 수집하다보니 시간이 너무 많이 소요되었다. N페이지부터 M페이지까지 구간의 모든 이미지를 하드에 저장하고 그 중에 마음에 드는 것만 이동하면 편하지 않을까? {{{+1 아이디어 }}} 즉, 웹 패치를 만드는 건데 비슷한 건 크롤러 만들기나 웹 자료 수집 때문에 몇 번이나 해보았기에 부루에서 이미지를 가져오는 작업도 전혀 어렵지 않았다. 기왕 만드는 김에 어떤 겔부루, 단부루 계열에도 사용할 수 있게 필요한 정보(게시글 주소, 원본 이미지 주소의 정규표현식 등)만 구성하면 자료를 가져올 수 있게 만들 수 있을 것이다. {{{+1 구현 및 평가 }}} 구상은 오래되었기에 메뉴 구성과 기능 구현에도 얼마 안 걸렸다. 초기 버전을 얼마간 쓰다 한 사이트를 작정하고 긁으면 다운로드 시간이 오래 걸려서 다운로드를 멀티 스레드로 만들었다. 그러다 보니 너무 빠른 요청으로 DBMS에서 차단되어 다운로드 텀과 스레드 개수를 조절하는 옵션, 옵션창을 만들었다. 그리고 얼마간 잘 썼다. 조금 지나니 외부 링크에서 다운로드는 차단하게 변경된 사이트가 있어 HTTP 리퍼러를 조작해 다운로드를 시도했다. 또 얼마간 잘 썼다(...). 가장 최근 업데이트는 내 취향이 아닌 이미지─촉수물, 수인 등(…)은 다운로드 받지 않게 제외 태그 옵션을 추가했다. 이제 거의 손 볼 곳이 없어졌다. 앞으로도 잘 쓸 거 같다(...). }}} == 기능 == * 정규표현식으로 목록 페이지, 이미지 위치 등을 구성하여, 부루에 있는 이미지를 원하는 범위만큼 내려받는다. * 부루가 아니더라도 페이지 번호가 있는 게시판이라면 어떤 컨텐츠를 받는데도 활용할 수 있다. == 스크린샷 == || attachment:capture_1.png?width=500 || || attachment:zcs130715_2.png?width=500 || == 다운로드 == binary (2015-03-18) || attachment:zcs_21.zip || SHA256Sum {{{ zcs.exe:1402f3db2cb74b784f334e900ee159cb4d8691b111b249ffd5761a2a6517e83c }}} 버전이 올라가면 부루 목록 파일(boorulist.ini)도 업데이트 될 수 있으니 부루 목록 파일도 덮어 쓰시는 걸 추천합니다. 닷넷 프레임워크 4.0 필요 - http://www.microsoft.com/ko-kr/download/details.aspx?id=24872 * 2015/03/18 ZCS Build 21 * 2015/02/12 ZCS Build 20 {{{ zcs.exe:b2b22c2ec9c9830cfad1a4f928a1519596c749cb7fe722a30771099b00520409 }}} * 2014/08/23 ZCS Build 19 * 2014/08/21 ZCS Build 18 * 2013/11/29 ZCS Build 17 * 2013/10/22 ZCS Build 16 * 2013/09/16 ZCS Build 15 * 2013/07/14 ZCS Build 14 * 2013/05/28 ZCS Build 13 * 2013/03/31 ZCS Build 12 * 2013/03/24 ZCS Build 11 * 2013/03/02 ZCS Build 9 * 2013/02/27 ZCS Build 8 * 2013/02/25 ZCS Build 6 * 2013/01/20 ZCS Build 5 * 2012/12/23 ZCS Build 4 * 2011/11/18 ZCS Build 3 * 2011/11/18 ZCS Build 2 * 2011/08/22 ZCS Build 1 == 빠른 시작 == 1. 프로그램을 실행합니다. 2. 부루 목록을 선택합니다. attachment:capture_3.png?width=350 3. 페이지 범위나 글번호 범위를 지정합니다. attachment:capture_4.png?width=350 4. 저장 폴더를 지정합니다. (폴더가 없으면 생성됩니다.) attachment:capture_5.png?width=350 5. 시작 버튼을 누릅니다. == 사용법 == === 페이지 기반 === * 부루리스트를 선택합니다. 예) {{{Moebooru (http://yande.re)}}} * {{{"[page]범위"}}} 현재 페이지부터 10페이지까지 수집하고 싶으면 1-10을 입력합니다. (형식: \d-\d) * {{{"저장 폴더"}}} 저장할 폴더를 지정합니다. * {{{"시작"}}} 버튼을 눌러 수집 시작. {{{(결과) http://yande.re/post?page=1 부터 http://yande.re/post?page=10 까지 수집}}} === 글번호 기반 === * 부루리스트를 선택합니다. 예) {{{Moebooru (http://yande.re)}}} * {{{"글번호 기반"}}} 체크 버튼을 누릅니다. * 예) 10000번 이미지부터 10100번까지 수집하고 싶으면, {{{"Post Start No."}}}에 10000, {{{"Post End No."}}}에 10100을 입력합니다. * {{{"저장 폴더"}}} 저장할 폴더를 지정합니다. * {{{"시작"}}} 버튼을 눌러 수집 시작. {{{(결과) http://yande.re/post/show/10000 부터 http://yande.re/post/show/10100 까지 수집}}} ※ 1.5.3 booru 설정 설명부터는 새 부루리스트 추가/수정 방법으로 수동 설정이 어려우신 분은 안 읽어도 됩니다. === booru 설정 설명 === ==== booru /post 페이지 ==== 부루의 이미지 목록이 보이는 페이지 주소 예) {{{http://yande.re/post?page=[page]&tags=[tags]}}} * {{{[tags]}}}: 일러스트 태그. (Option) * {{{[page]}}}: 페이지 번호. * {{{[sub_page]}}}: 페이지의 각 순회마다 한 번 더 순회. (Option) ==== Post Link(Regex) ==== 이미지 목록 페이지(/post 페이지)에서 게시글을 향하는 링크를 검색하는 [정규표현식]. * Post Link 정규표현식 구성 방법 1. 이미지 목록 페이지에서 페이지 소스 보기를 해서 게시글 주소가 유일하게 Search 되는 정규표현식을 찾는다. 2. 1번에서 찾은 정규표현식에서 게시글 '''번호'''만을 Group Match 한다(괄호로 묶는다.). ==== Post Url ==== 이미지 게시글 주소가 "주소 + 게시글 번호" 형태일 때 게시글 번호를 제외한 주소. ==== Contents(Regex) ==== 이미지 게시글에서 이미지의 주소를 검색하는 정규표현식. * Contents 정규표현식 구성 방법 1. 이미지 게시글 페이지에서 페이지 소스 보기를 해서 이미지 주소가 유일하게 Search 되는 정규표현식을 찾는다. 2. 1번에서 찾은 정규표현식에서 이미지 주소만을 Group Match 한다(괄호로 묶는다.). 이미지, 동영상 등 다운로드 받을 컨텐츠 형식이 여러 개일 경우 +, - 버튼으로 수집할 Contents를 추가할 수 있습니다. === 새 booru를 추가하는 방법 === * boorulists.ini을 열어 수정. {{{ [5] // 일련 번호 BooruName=Moebooru (yande.re) // 부루 이름 PostPageUrl=http://yande.re/post?page=[page]&tags=[tags] // booru /post 페이지 UseTags=False // use [tags] 체크 박스 TagsName= // use [tags] 입력창 PostLinkRegex=https://yande.re/post/show/(\d[^<]*) // Post Link(Regex) IsSeqBase=True // 글번호 기반 체크 박스 SourceUrl=https://yande.re/post/show/ // Post Url SeqStartNumber= // Start Post No. SeqEndNumber= // End Post No. ContentsRegex= // Contents(Regex) }}} == boorulists.ini == === 기본 목록 === {{{#!folding 펼치기 [[HTML(
주의. 성(性)적 내용이 포함된 문서입니다.
)]] 본 항목과 하위 항목은 성(性)적인 요소에 대한 직접·간접적인 언급 혹은 설명을 포함하고 있습니다. 열람시 주의를 요하며, 원하지 않을 경우 이 문서를 닫아 주세요. [[HTML(
)]] {{{ [0] BooruName=Lubooru PostPageUrl=http://lu.booru.org//index.php?page=post&s=list&pid=[pid] UseTags=False Tags= PostLinkRegex= [3] BooruName=Sankaku Channel PostPageUrl=http://chan.sankakucomplex.com/post/popular_by_day?day=[page]&month=[tags]&year=2014&page=[sub_page] UseTags=True Tags=1 PostLinkRegex=/post/show/(\d[^"]*) IsSeqBase=False SourceUrl=http://chan.sankakucomplex.com/post/show/ SeqStartNumber= SeqEndNumber= ContentsRegex=Original: ../boorulists.ini)]] 참조 == 버전 히스토리 == {{{ Build 21 (2015/03/18) Fixed: SSL에서 유효한 인증서 확인 무시 Fixed: 파일 이름 260자 이상 길이일 때 이름 자르기 처리 Improved: 차후 warning.or.kr 우회 시도할 수 있도록 구조 수정 Misc: 부루 목록 12개 추가 Build 20 (2015/02/12) Improved: 용어 정리 Improved: 입력 조건 유효성 확인 개선 Misc: 구글 통계 추가 Build 19 (2014/08/23) New: 태그별로 폴더 따로 저장 환경설정 추가 Changed: 고정되어 있던 touhou 태그 폴더 저장을 환경설정 값을 읽어 동작으로 변경 Changed: touhou, love live 태그 저장 기본 환경설정 추가 Build 18 (2014/08/21) New: User-Agent, Cookie 환경설정 추가 Fixed: 부루목록 ini 수정 Fixed: Sankaku Channel에서 다운로드 문제 수정 Fixed: 기능 안정화, 버그 수정 Build 17 (2013/11/29) New: 무시 태그 추가 Improved: 로그 시간별 저장 Build 16 (2013/10/22) New: 동적 입력 조건 추가 (ContentsRegex0, ContentsRegex1) Improved: 프록시 사용 개선 Changed: 입력 조건 Hidden option 제거 Build 15 (2013/09/19) Fixed: 버그 수정 Build 14 (2013/07/14) New: [sub_page] 조건 추가 Fixed: 버그 수정 Build 13 (2013/05/28) New: 프로그램 종료 시 로그 파일로 저장 Build 12 (2013/03/31) New: 작업 완료 후 시스템 종료 옵션 추가 Build 11 (2013/03/24) New: hidden option(2번째 contents 검출 조건-ContentsRegex2) 추가 Fixed: 몇 가지 UI 개선 및 오동작 수정 Build 9 (2013/03/02) Fixed: 찾은 이미지 주소에 URL 경로만 있을 때 도메인 주소 붙임 Fixed: 다운로드 간격 동작 개선 Build 8 (2013/02/27) New: Download Term 옵션 추가 Build 6 (2013/02/25) New: 로그 창 추가 Improved: Moebooru - explicit 있을 경우 처리 Build 5 (2013/01/20) New: 멀티 스레드 다운로드 지원 New: 옵션 창 추가 Improved: 재시도 추가 Improved: Sankaku Channel - swf 저장 Fixed: 더 정확한 종료 Build 4 (2012/12/23) Fixed: Sankaku Channel에서 다운로드 오류나던 원인이었던 User-Agent 등 HTTP 헤더 추가 Build 3 (2011/11/18) New: 태그 적용 Improved: 태그 읽어 동프만 따로 저장함(touhou 폴더) Build 2 (2011/11/18) New: 시퀀스 기반 추가 Fixed: 중요한 버그 대부분 수정 Fixed: Worker 스레드 동작 중요한 개선 }}} ---- CategoryApplication