1.4. 빠른 시작

1.5. 사용법

1.5.1. 페이지 기반

1.5.2. 글번호 기반

1.5.3. booru 설정 설명

1.5.3.1. booru /post 페이지
1.5.3.2. Post Link(Regex)
1.5.3.3. Post Url
1.5.3.4. Contents(Regex)

1.5.4. 새 booru를 추가하는 방법

1.6. boorulists.ini

1.6.1. 기본 목록
1.6.2. 추가 목록

1.7. 버전 히스토리

1. Zzal Collect Shuttle! #

부루 짤 수집기.

(안 읽어도 되는) 들어가면서

[17:56] <@아스나♥> 알지도 모르겠네여?ㄷ
[17:56] <+피곤한월요일> 흥ㄴ흐으휴ㅠ
[17:58] <+Honoka> 경찰아저씨 여기에요
[17:58] <@아스나♥> Honoka ㅁ..뭐요?
[17:59] <@아스나♥> 오늘은 날인만큼..
[17:59] <@아스나♥> 일러스트 수집을 오늘만 쉴까
[17:59] <@아스나♥> 미디어스캔을 한참하네
[17:59] <+Honoka> 일러스트 수집은 그거죠
[18:00] <+Honoka> 오늘 걸으면 내일은 뛰어야 한다..
[18:00] <+Honoka> 매일매일 끊임없이 노력하라는..
[18:00] <@아스나♥> ㅋㅋㅋ
[18:00] <@아스나♥> 하긴 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
[18:00] <@아스나♥> 인정하지.
[18:01] <@아스나♥> 3일만 쉬어도
[18:01] <@아스나♥> 엄청난 분량..

동기
매일 이모토부루에 올라오는 짤 중 마음에 드는 짤을 마우스 오른쪽으로 저장하는 게 나의 일과 중 하나였는데 페이지를 넘겨가며 수집하다보니 시간이 너무 많이 소요되었다. N페이지부터 M페이지까지 구간의 모든 이미지를 하드에 저장하고 그 중에 마음에 드는 것만 이동하면 편하지 않을까?

아이디어
즉, 웹 패치를 만드는 건데 비슷한 건 크롤러 만들기나 웹 자료 수집 때문에 몇 번이나 해보았기에 부루에서 이미지를 가져오는 작업도 전혀 어렵지 않았다. 기왕 만드는 김에 어떤 겔부루, 단부루 계열에도 사용할 수 있게 필요한 정보(게시글 주소, 원본 이미지 주소의 정규표현식 등)만 구성하면 자료를 가져올 수 있게 만들 수 있을 것이다.

구현 및 평가
구상은 오래되었기에 메뉴 구성과 기능 구현에도 얼마 안 걸렸다. 초기 버전을 얼마간 쓰다 한 사이트를 작정하고 긁으면 다운로드 시간이 오래 걸려서 다운로드를 멀티 스레드로 만들었다. 그러다 보니 너무 빠른 요청으로 DBMS에서 차단되어 다운로드 텀과 스레드 개수를 조절하는 옵션, 옵션창을 만들었다. 그리고 얼마간 잘 썼다. 조금 지나니 외부 링크에서 다운로드는 차단하게 변경된 사이트가 있어 HTTP 리퍼러를 조작해 다운로드를 시도했다. 또 얼마간 잘 썼다(...). 가장 최근 업데이트는 내 취향이 아닌 이미지─촉수물, 수인 등(…)은 다운로드 받지 않게 제외 태그 옵션을 추가했다. 이제 거의 손 볼 곳이 없어졌다. 앞으로도 잘 쓸 거 같다(...).

1.1. 기능 #

정규표현식으로 목록 페이지, 이미지 위치 등을 구성하여, 부루에 있는 이미지를 원하는 범위만큼 내려받는다.
부루가 아니더라도 페이지 번호가 있는 게시판이라면 어떤 컨텐츠를 받는데도 활용할 수 있다.

1.2. 스크린샷 #

[PNG image (35.71 KB)]

[PNG image (54.85 KB)]

1.3. 다운로드 #

binary (2015-03-18)

버전이 올라가면 부루 목록 파일(boorulist.ini)도 업데이트 될 수 있으니 부루 목록 파일도 덮어 쓰시는 걸 추천합니다.

닷넷 프레임워크 4.0 필요 - http://www.microsoft.com/ko-kr/download/details.aspx?id=24872

SHA256Sum

2015/03/18 ZCS Build 21
zcs.exe:1402f3db2cb74b784f334e900ee159cb4d8691b111b249ffd5761a2a6517e83c
2015/02/12 ZCS Build 20
zcs.exe:b2b22c2ec9c9830cfad1a4f928a1519596c749cb7fe722a30771099b00520409
2014/08/23 ZCS Build 19
2014/08/21 ZCS Build 18
2013/11/29 ZCS Build 17
2013/10/22 ZCS Build 16
2013/09/16 ZCS Build 15
2013/07/14 ZCS Build 14
2013/05/28 ZCS Build 13
2013/03/31 ZCS Build 12
2013/03/24 ZCS Build 11
2013/03/02 ZCS Build 9
2013/02/27 ZCS Build 8
2013/02/25 ZCS Build 6
2013/01/20 ZCS Build 5
2012/12/23 ZCS Build 4
2011/11/18 ZCS Build 3
2011/11/18 ZCS Build 2
2011/08/22 ZCS Build 1

1.4. 빠른 시작 #

1. 프로그램을 실행합니다.
2. 부루 목록을 선택합니다.

[PNG image (59.23 KB)]

3. 페이지 범위나 글번호 범위를 지정합니다.

[PNG image (51.06 KB)]

4. 저장 폴더를 지정합니다. (폴더가 없으면 생성됩니다.)

[PNG image (50.59 KB)]

5. 시작 버튼을 누릅니다.

1.5. 사용법 #

1.5.1. 페이지 기반 #

부루리스트를 선택합니다. 예) Moebooru (http://yande.re)
"[page]범위" 현재 페이지부터 10페이지까지 수집하고 싶으면 1-10을 입력합니다. (형식: \d-\d)
"저장 폴더" 저장할 폴더를 지정합니다.
"시작" 버튼을 눌러 수집 시작.

(결과) http://yande.re/post?page=1 부터 http://yande.re/post?page=10 까지 수집

1.5.2. 글번호 기반 #

부루리스트를 선택합니다. 예) Moebooru (http://yande.re)
"글번호 기반" 체크 버튼을 누릅니다.
예) 10000번 이미지부터 10100번까지 수집하고 싶으면,
"Post Start No."에 10000, "Post End No."에 10100을 입력합니다.
"저장 폴더" 저장할 폴더를 지정합니다.
"시작" 버튼을 눌러 수집 시작.

(결과) http://yande.re/post/show/10000 부터 http://yande.re/post/show/10100 까지 수집

※ 1.5.3 booru 설정 설명부터는 새 부루리스트 추가/수정 방법으로 수동 설정이 어려우신 분은 안 읽어도 됩니다.

1.5.3. booru 설정 설명 #

1.5.3.1. booru /post 페이지 #

부루의 이미지 목록이 보이는 페이지 주소

예) http://yande.re/post?page=[page]&tags=[tags]

[tags]: 일러스트 태그. (Option)
[page]: 페이지 번호.
- [sub_page]: 페이지의 각 순회마다 한 번 더 순회. (Option)

1.5.3.2. Post Link(Regex) #

이미지 목록 페이지(/post 페이지)에서 게시글을 향하는 링크를 검색하는 정규표현식.

* Post Link 정규표현식 구성 방법
1. 이미지 목록 페이지에서 페이지 소스 보기를 해서 게시글 주소가 유일하게 Search 되는 정규표현식을 찾는다.
2. 1번에서 찾은 정규표현식에서 게시글 번호만을 Group Match 한다(괄호로 묶는다.).

1.5.3.3. Post Url #

이미지 게시글 주소가 "주소 + 게시글 번호" 형태일 때 게시글 번호를 제외한 주소.

1.5.3.4. Contents(Regex) #

이미지 게시글에서 이미지의 주소를 검색하는 정규표현식.

* Contents 정규표현식 구성 방법
1. 이미지 게시글 페이지에서 페이지 소스 보기를 해서 이미지 주소가 유일하게 Search 되는 정규표현식을 찾는다.
2. 1번에서 찾은 정규표현식에서 이미지 주소만을 Group Match 한다(괄호로 묶는다.).

이미지, 동영상 등 다운로드 받을 컨텐츠 형식이 여러 개일 경우 +, - 버튼으로 수집할 Contents를 추가할 수 있습니다.

1.5.4. 새 booru를 추가하는 방법 #

boorulists.ini을 열어 수정.

[5]                                                           // 일련 번호
BooruName=Moebooru (yande.re)                                 // 부루 이름
PostPageUrl=http://yande.re/post?page=[page]&tags=[tags]      // booru /post 페이지
UseTags=False                                                 // use [tags] 체크 박스
TagsName=                                                     // use [tags] 입력창
PostLinkRegex=https://yande.re/post/show/(\d[^<]*)            // Post Link(Regex)
IsSeqBase=True                                                // 글번호 기반 체크 박스
SourceUrl=https://yande.re/post/show/                         // Post Url
SeqStartNumber=                                               // Start Post No.
SeqEndNumber=                                                 // End Post No.
ContentsRegex=<meta content="(.[^"]*)" property="og:image" /> // Contents(Regex)

1.6. boorulists.ini #

1.6.1. 기본 목록 #

펼치기

주의. 성(性)적 내용이 포함된 문서입니다.

본 항목과 하위 항목은 성(性)적인 요소에 대한 직접·간접적인 언급 혹은 설명을 포함하고 있습니다.
열람시 주의를 요하며, 원하지 않을 경우 이 문서를 닫아 주세요.

[0]
BooruName=Lubooru
PostPageUrl=http://lu.booru.org//index.php?page=post&s=list&pid=[pid]
UseTags=False
Tags=
PostLinkRegex=<span class="thumb"><a id="p(\d{4})
IsSeqBase=False
SourceUrl=http://lu.booru.org//index.php?page=post&s=view&id=
SeqStartNumber=
SeqEndNumber=
ContentsRegex=<img alt="img".*src="(.[^"]*)

[1]
BooruName=Moebooru (yande.re)
PostPageUrl=http://yande.re/post?page=[page]&tags=[tags]
UseTags=False
Tags=
PostLinkRegex=https://yande.re/post/show/(\d[^<]*)
IsSeqBase=False
SourceUrl=https://yande.re/post/show/
SeqStartNumber=
SeqEndNumber=
ContentsRegex=id="image" class="image".*src="(.[^"]*)"

[2]
BooruName=Moebooru (yande.re) (original image)
PostPageUrl=http://yande.re/post?page=[page]&tags=[tags]
UseTags=False
Tags=
PostLinkRegex=https://yande.re/post/show/(\d[^<]*)
IsSeqBase=False
SourceUrl=https://yande.re/post/show/
SeqStartNumber=
SeqEndNumber=
ContentsRegex=id="highres-show" href="(.[^"]*)">

[3]
BooruName=Sankaku Channel
PostPageUrl=http://chan.sankakucomplex.com/post/popular_by_day?day=[page]&month=[tags]&year=2014&page=[sub_page]
UseTags=True
Tags=1
PostLinkRegex=/post/show/(\d[^"]*)
IsSeqBase=False
SourceUrl=http://chan.sankakucomplex.com/post/show/
SeqStartNumber=
SeqEndNumber=
ContentsRegex=Original: <a href="(.[^"?]*)
ContentsRegex0=<embed src="(.[^"?]*)

[4]
BooruName=Sankaku Channel (Proxy)
PostPageUrl=https://ssl-proxy.my-addr.org/myaddrproxy.php/http/chan.sankakucomplex.com/post/popular_by_day?day=[page]&month=[tags]&year=2014&page=[sub_page]
UseTags=True
Tags=
PostLinkRegex=/post/show/(\d[^"]*)
IsSeqBase=False
SourceUrl=https://ssl-proxy.my-addr.org/myaddrproxy.php/http/chan.sankakucomplex.com/post/show/
SeqStartNumber=
SeqEndNumber=
ContentsRegex=Original: <a href="(.[^"?]*)
ContentsRegex0=<embed src="(.[^"?]*)

1.6.2. 추가 목록 #

../boorulists.ini 참조

1.7. 버전 히스토리 #

Build 21 (2015/03/18)
Fixed: SSL에서 유효한 인증서 확인 무시
Fixed: 파일 이름 260자 이상 길이일 때 이름 자르기 처리
Improved: 차후 warning.or.kr 우회 시도할 수 있도록 구조 수정
Misc: 부루 목록 12개 추가

Build 20 (2015/02/12)
Improved: 용어 정리
Improved: 입력 조건 유효성 확인 개선
Misc: 구글 통계 추가

Build 19 (2014/08/23)
New: 태그별로 폴더 따로 저장 환경설정 추가
Changed: 고정되어 있던 touhou 태그 폴더 저장을 환경설정 값을 읽어 동작으로 변경
Changed: touhou, love live 태그 저장 기본 환경설정 추가

Build 18 (2014/08/21)
New: User-Agent, Cookie 환경설정 추가
Fixed: 부루목록 ini 수정
Fixed: Sankaku Channel에서 다운로드 문제 수정
Fixed: 기능 안정화, 버그 수정

Build 17 (2013/11/29)
New: 무시 태그 추가
Improved: 로그 시간별 저장

Build 16 (2013/10/22)
New: 동적 입력 조건 추가 (ContentsRegex0, ContentsRegex1)
Improved: 프록시 사용 개선
Changed: 입력 조건 Hidden option 제거

Build 15 (2013/09/19)
Fixed: 버그 수정

Build 14 (2013/07/14)
New: [sub_page] 조건 추가
Fixed: 버그 수정

Build 13 (2013/05/28)
New: 프로그램 종료 시 로그 파일로 저장

Build 12 (2013/03/31)
New: 작업 완료 후 시스템 종료 옵션 추가

Build 11 (2013/03/24)
New: hidden option(2번째 contents 검출 조건-ContentsRegex2) 추가
Fixed: 몇 가지 UI 개선 및 오동작 수정

Build 9 (2013/03/02)
Fixed: 찾은 이미지 주소에 URL 경로만 있을 때 도메인 주소 붙임
Fixed: 다운로드 간격 동작 개선

Build 8 (2013/02/27)
New: Download Term 옵션 추가

Build 6 (2013/02/25)
New: 로그 창 추가
Improved: Moebooru - explicit 있을 경우 처리

Build 5 (2013/01/20)
New: 멀티 스레드 다운로드 지원
New: 옵션 창 추가
Improved: 재시도 추가
Improved: Sankaku Channel - swf 저장
Fixed: 더 정확한 종료

Build 4 (2012/12/23)
Fixed: Sankaku Channel에서 다운로드 오류나던 원인이었던 User-Agent 등 HTTP 헤더 추가

Build 3 (2011/11/18)
New: 태그 적용
Improved: 태그 읽어 동프만 따로 저장함(touhou 폴더)

Build 2 (2011/11/18)
New: 시퀀스 기반 추가
Fixed: 중요한 버그 대부분 수정
Fixed: Worker 스레드 동작 중요한 개선

Application

이 글에는 0 개의 댓글이 있습니다.

HyacinthWiki

In Search of the Miraculous

짤 수집 셔틀

Contents