jVdZddlZejjddddlZddlZddlZddlZddlm Z ddl m Z m Z ddl m Z e ejj j Zej$j'dee ejj dd lmZmZmZdd lmZmZmZdd lmZmZd Z d ddd Z!edz dz Z"dZ#ddddddZ$e%hde%hde%ddhe%ddhe%hdfZ&ejNdZ(dddd Z)d Z*d!Z+d"Z,d#Z-d$Z.d%Z/dLd&Z0d'Z1d(Z2d)Z3dMd*Z4d+Z5d,Z6d-Z7e"d.fd/Z8d0Z9d1Z:d2Z;ejNd3ejxZ=d4Z>d5Z?d6Z@dNd7ZAdOd8ZBd9ZCd:ZDd;ZEd<ZFd=ZGd>ZHedz d?z ZIedz d@z ZJdAZKdBZLdCZMdDZNdEZOdFZPddGde"eIeJdfdHZQdIZRdNdJZSeTdKk(r eUeSy)Paf danbooru_harvest: cosecha de metadatos de la API de Danbooru. Contraparte de wd14_harvest.py: en vez de pasar imagenes por WD14, reutiliza el `tag_string` que Danbooru ya trae (tags hechos por la comunidad + rating) y su coocurrencia para expandir los pools por nivel y construir la biblioteca de temas. NUNCA descarga imagenes. Este fichero crece por tareas (plan danbooru-metadata-expansion): T2 load_dictionary / load_seeds / aggregate / bucketize / strip_scene_tags T3 builders + writers (pools, snapshot, validacion) T4 temas (themes.json) T5 CLI (--refresh / --dry-run / --posts-file) Nutf-8backslashreplace)encodingerrors)Counter)datetimetimezone)Path)BUCKETSclassify load_danbooru) apply_weightseveritystrip_weights_of)DanbooruClient DanbooruError) sugerentespicy explicitozg+szs+qzq+eArchivosdanbooru)posescenestate expressioncamera>lyingon_backon_siderunningsittingwalkingcrawlingkneelingstanding all_fours crouching reclining squatting on_stomach straddling on_all_fours> open_mouth parted_lips closed_mouthindoorsoutdoorsdaynight>nudeclothedtopless bottomlesscompletely_nudezR^(holding|holding_weapon|full_body|letterboxed|multiple_views|cumulonimbus_cloud)$sfwrexplicit)r;rr<ctS)zHDiccionario Danbooru -> (tags de personaje, tags de copyright, aliases).)r Engine/danbooru_harvest.pyload_dictionaryrBIs ?r@c tDcic]}|g}}d}t|jd}|jD]}|j dddj }|s)|j dr\|jdrK|dd j j}||vr|}n"td |dd j dd}|td |||j||Scc}w) aLee un fichero de seeds por nivel -> {nivel: [tags]}. Formato: una seccion `[sugerente]`/`[spicy]`/`[explicito]` seguida de un tag por linea. Se saltan comentarios (`#`) y lineas en blanco. Una cabecera de seccion desconocida se ignora con un aviso (y no aporta tags). Nrr#rr[]#[!] seccion desconocida ignorada: [z[!] tag sin seccion ignorado: ) LEVELSr read_text splitlinessplitstrip startswithendswithlowerprintappend)pathlevelseedscurrenttextrawlinenames rA load_seedsr\Ns %+ +F5UBYFE +G :    1D yya #))+  ??3 DMM#$6":##%++-Du};D2Jpeso en los buckets de classify(). -> (buckets, dropped). `buckets` tiene las BUCKETS de wd14_harvest (incluye `otros`); `dropped` es [(tag, motivo)] para lo que classify() rechaza. )r ritemsr rS) rgcharscopiesr[bucketsdroppedrjribucketreasons rA bucketizert}s ,3374tWY7G3G}} V!#uf5 > NNC= ) FOC F * ' G 4sA1c|syg}|jdD]<}|j}|st|||\}}|dk(r,|j|>dj |S)aQuita de `block` los tags cuyo bucket classify() es `scene`. Conserva el resto y el orden original. `chars`/`copies` por defecto vacios (Ruling 1): las pool lines ya llegan sin tags de personaje/copyright, asi que Task 6 puede llamarla sin cargar el diccionario. r`,r, )rMrNr rSjoin)blockrnrokepttokenrjrr_s rAstrip_scene_tagsr}sl  DS!kkm S%0  W   C" 99T?r@c|xsdjdDcgc]#}|js|j%c}Scc}w)z;Separa una linea de bloque en tags (por comas), sin vacios.r`rv)rMrN)rZts rA_tokensrs9 $ 11#6 D6!!'')AGGI6 DD Ds AAcz|gSt|dr|jSt|jdS)z<[(tag, peso)] de mayor a menor. Acepta Counter o dict plano. most_commonc|d |dfS)Nrrr?)kvs rAz_top_pairs..s2a5&"Q%r@key)hasattrrsortedrm)rrs rA _top_pairsrs9 ~ v}%!!## &,,.&@ AAr@c@|xsdj}||vry||vryy)a,Categoria Danbooru si la conocemos por el diccionario, si no None. El snapshot guarda `category` desde `DanbooruClient.tag()`, pero este builder no recibe cliente (no debe tocar la red): usa el diccionario offline como aproximacion (4=personaje, 3=copyright) y `null` para el resto. r`r=NrQ)rjrnrors rA _category_ofrs- AEzF{ r@cbdg}dh}|xsdj}|r&||vr"|j||j|ttDchc]\}}|j |vr|}}}t D] } tj| d} d} t|j| D]\} } | | k\st||k\rQ| xsdj} | r'| |vs#tj| j rYttDcgc]\}}| j |vr|}}}|r|d|vr|r|j|d|j| |j| | dz }  djd|d|DScc}}wcc}}w) aUna linea de prompt a partir de la coocurrencia de UN seed. Orden: `1girl` + `seed` (garantizado) + top `pose` + top `scene` + top `state` + top `expression` + top `camera`. Cada tag pasa por `apply_weight` (NO se reimplementa el peso). Se recorta a `max_tokens` tags separados por comas. `buckets` es `{bucket: Counter|dict}`. Coherencia (`BLOCK_CAPS`/`BLOCK_CONFLICT_GROUPS`/`BLOCK_STOPLIST`): tope por categoria, un solo tag por grupo excluyente (posture/mouth/place/time/ nudity) y fuera los omnipresentes (`holding`, `full_body`...). Sin esto la agregacion mezcla opuestos ("standing, sitting", "open_mouth, closed_mouth"). 1girlr`rrrrwc32K|]}t|ywN)r).0rs rA zbuild_block..s@.?\!_.?sN)rNrSadd enumerateBLOCK_CONFLICT_GROUPSrQ BLOCK_ORDER BLOCK_CAPSrbrlenBLOCK_STOPLISTmatchrx)seedrp max_tokensrZseen seed_normidxgroup used_groupscatcaptakenrjr|groupss rA build_blockrs 9D 9D""$IYd* I $$9::JC ??  % : {nnS!$ S!12FC|s4yJ69"##%C#+)=)=ciik)J#,,A"B"BJC99;%'"B  &){2q * HHSM KK  QJE#3, 99@d;J.?@ @@7s F%F+ c BtDcic]}|g}}tD]}t|}|j|xsi}t t |t t z} t ||} |j|gD]} | r|n|j| } | st| | } | xsdjtfdtt| D}|tkrk| | vrp| j| ||j| |Scc}w)a<`{nivel: {seed: {bucket: Counter}}}` -> `{severity: [lineas]}`. El nivel del seed manda sobre la severidad de la linea (mapeo fijo `LEVEL_TO_SEVERITY`). Se descartan los seeds que rinden menos de `MIN_POOL_TOKENS` tags utiles (mismo suelo que `wd14_blocks --min-tokens`); "utiles" = los que vienen de los buckets, SIN contar el `1girl` de cabecera ni el `seed` (ambos garantizados). Tambien se descartan lineas repetidas. `chars`/`copies` se aceptan para simetria con el resto del motor; `bucketize()` ya los aplico, aqui no re-clasifica. r`c3RK|]}|jdk7r |k7rd yw)rrNr)rrrs rArzbuild_pools..s-:a779'AN:s$') SEVERITIESrJLEVEL_TO_SEVERITYrbboolsetr rrNsumrrMIN_POOL_TOKENSrrS)rVper_level_bucketsrnrosevpoolsrUtarget seed_bucketsshared seen_linesrrprZusefulrs @rA build_poolsrs!!+ + S"W E +"5)(,,U39r c,'#g,67v' IIeR(D&,l,2B2B42HGtW-D**,I"#3D#9:F'z! NN4 &M  &#)2 L5 ,s Dct|}|jjdd|j|jdzz } |j ddd5}|j |dddt j|||jr t j|yy#1swYGxYw#t$rYywxYw#|jr& t j|w#t$rYwwxYwwxYw) zkEscribe `text` en `path` via `.tmp` + `os.replace`. Deja intacto el fichero previo si algo falla.Tparentsexist_ok.tmpwr rnewlineN) r parentmkdirr[openwriteosreplaceexistsunlinkOSError)rTrXtmpfs rA_write_text_atomicrs :DKKdT2 ++V+ ,C  XXcGTX :a GGDM; 3 ::<  #  ; :   ::<  #   sZC B2,C B>2B;7C > C  C  DC54D5 D>DDDcBt|}|jjdd|j|jdzz } |j ddd5}t j ||dd |jdd d d tj|||jr tj|y y #1swYGxYw#t$rYy wxYw#|jr& tj|w#t$rYwwxYwwxYw) z7Volcado atomico de `obj` a JSON (`tmp` + `os.replace`).TrrrrrrFr) ensure_asciiindentN) r rrr[rjsondumprrrrrr)rTobjrrs rAwrite_json_atomicr1s :DKKdT2 ++V+ ,C  XXcGTX :a IIc15 ; GGDM; 3 ::<  #  ; :   ::<  #   sZC&+C C&4C CC& C#"C#&D8D D DDDDTcT t|}|jddi}tD]}|j|xsgDcgc]&}|s|j s|j (}}|d|dz }|s$d||<|rt d|d|j dvtd |D d |jd t|d d j fdtDzdz}t||dj|zdzt|||<|Scc}w)zEscribe `bloques_{sfw,spicy,explicit}.txt` -> `{severity: n_lineas}`. Un pool vacio **no** pisa el fichero previo (keep_on_empty=True) y avisa; con keep_on_empty=False escribe solo la cabecera. Escritura atomica. Trbloques_z.txtrz [!] pool z vacio: se conserva z sin tocarc3VK|]!}ttt|#ywr)rrr)rls rArzwrite_pools..Us$ .[s(DA1#Qtxx1~./!$z r) r rrrbrNrRr[rupperrrxr) rout_dir keep_on_emptyresultrrlinesrTheaderrs @rA write_poolsrCs= 7mG MM$M. F%*YYs^%9r%9N%9qaAGGI%9N8C5--F3K #&:499+ZPQ s  / HH\28b??ACcNa'NB   W %E$$//+   ,JC Z$S%8sA./  ,   hll+557   s >Fc \t|}|xsi}|xsg}|xsi}|xsgDcgc]&}|s|js|j(}}ddtjtj j dt|dt|dt|dt|ddg}t|tr1t|t D]}|jd |d ||n*t|t D]}|jd ||jd |D]X}t|ttfr,t|d k\r|jd |dd |dE|jd |Z|jdt|tr1t|t D]} |jd | d|| n|D]} |jd | |jd|D]}|jd |t|dj!|dz|r|j"dz dz } g} t%} | j'r_| j)dj+D]<} | j}|s|| vs| j-|| j|>|D])}|| vs| j-|| j|+t| dj!| dzyycc}w)zEscribe `validacion.txt` (atomico) y anade los tags `revisar` a `revisar/tags.txt` (uno por linea, deduplicado). Nunca descarta nada. z# validacion danbooruz # fecha: z # aceptados: z | rechazados: z | sinonimos: z | a revisar: r`z [ACEPTADOS]rz  z [RECHAZADOS]rrrz[CANONICALIZADOS]z -> z[A REVISAR (otros)]rrevisarztags.txtrrDN)r rNrrr rrr isinstancedictrstrrStuplelistrrxrrrrKrLr)rTacceptedrq canonicalizedrroutrjitemrYrpathexistingrrZs rAwrite_validation_reportrs :D~2HmG!'RM#*=b=E=QQ1779qwwy=GE HLL.88:;< H oc'l^DM*+>#g, I   C(D!(,C JJC58C=/2 3-(,C JJC5z "-JJ~ dUDM *s4yA~ JJDG9BtAwi0 1 JJD6{ #  JJ"#-&-S1C JJC5}S'9&:; <2!C JJC5z "!JJ$% Ru:tTYYs^d23 i'*4u <<>9DDFjjl3d?HHSMOOC( G C$ $ 5$))H"5"<=MFsL)L)L))outfitrlightingpropsa0sunset|sunrise|golden_hour|backlight|backlighting|rim_light|cinematic_lighting|lighting|^light$|^lights$|candle|firelight|moonlight|^neon$|neon_lights|window_light|dappled_sunlight|sunlight|^sun$|soft_light|hard_light|^glow$|glowing|^dark$|shadow|silhouette|spotlight|^night$|^day$|^dusk$|^dawn$|^bright$cFd}t|xsij|S)zA[(tag, peso)] de mayor a menor; tolera pesos no numericos (-> 0).cp t|d}| t|dfS#ttf$rd}Y$wxYw)Nrr)floatrcrdr)rris rArz_sorted_pairs..keysF 47^FT!W&&:& F s !55r)rrm)pairsrs rA _sorted_pairsrs#' 5;B%%'S 11r@cd}|xsijD]} |t|z }|S#ttf$rY'wxYw)zBPeso total de un `{tag: peso}` (tolerante a valores no numericos).r)valuesrrcrd)rtotalvalues rA _total_weightrsQ E+2%%'  U5\ !E( L:&   s -??c|giiiidS)u;Tema vacio con el schema de §6 (todos los ejes presentes).)source seed_tagsr rr r r?)rs rA _empty_themers   r@cg}t}|D]}|xsdjj}|rtj |r=t t Dcgc] \}}||vr| }}}|r|d|vrl|r|j|d|j||st||k\s|S|Scc}}w)zFiltra una lista de tags con los grupos excluyentes y la stoplist. Mantiene el orden de entrada (mayor peso primero) y se queda con el primer tag de cada grupo (`BLOCK_CONFLICT_GROUPS`). `limit` recorta el resultado. r`r) rrNrQrrrrrrSr) rlimitrusedrjlowrrrs rA_coherent_tagsrs C 5Dyb!'')n**3/ ((=> > Ue| >  fQi4'   HHVAY  3 SX&  J! J sB:c^|xsd}|xsd}g}|xsijD]A\}}t|||\}}|dk7r|jt|t ||fC|j d|r|d|}i} |D]\} } }|j |xsi}ggg}} } t|D]\}}|r||k(s|jdvr t|||\}}|dk(r9| j|tj|s\|j|n|dk(st| j||rt| |} | d|} t||}td}|g|d <||g| Dcgc] }||k7s | c}zi|d<| r d d | ii|d<|r |d |i|d <|| |<"| Scc}w)a4Temas auto: uno por cada top scene-seed de la coocurrencia. `cooc` es `{seed: {tag: peso}}` (como el `cooc` del snapshot). Se consideran "seed de escena" los que `classify()` mete en el bucket `scene`; se ordenan por peso total y se toman `top`. Para cada uno: seed_tags = [seed] scene = {seed: [seed, *top tags de escena]} lighting = {top_tag_de_luz: [*tags de luz]} si los hay outfit = {"sugerente": {"theme": [*top tags de ropa]}} si los hay props = {} El resultado es `{seed: tema}`. r?rc|d |dfS)Nrrr?)rs rArz!discover_themes..0sQxa&9r@rN)rsolor autorrthemerr ) rmr rSrrsortrbrrQLIGHTINGsearchrr)rrnrotop scene_seedsrrrrr|themes_total_key scene_tags outfit_tags light_tagsrj_weightr$rs rAdiscover_themesr1s KRE \rFK ))+ eT5&1  W  M%0#d)TBC , 9: !$3' F)d$".0"bK )%0LC#+8I)I eV4IFA !!#&??3'%%c*8#""3'1 ' C8J%ds+K' C8JV$"VkZ)MZ19!Z)M MNg *Wk,BCE(O !+A ;E* t 3*4 M *Ns 1 F* <F* c|dk(r$|D]}||dvs |dj| y|jd}|d}|dk(rOt|dkrtd|y|d }dj |d d}||dj |i|<y|d vr:t|d krtd |ydj |d d}||||<ytd |y)z@Vuelca una linea `clave = tags` sobre un tema curado (in-place).rrN.rr rz)[!] linea de outfit incompleta ignorada: rr)rr r z[!] linea incompleta ignorada: z'[!] clave curada desconocida ignorada: )rSrMrrRrxr)r$rrrjpartsaxisrUvariants rA_apply_curated_liner7Rs f}C% ,,k"))#.  IIcNE 8D x u:> =cUC D a((59%9=h""5"-g6 / / u:> 3C59 : ((59%#d G 7u=>r@ct|}|jsiSi}d}|jdjD]}|j dddj }|s*|j dr|jdr|dd j }|jj d rQ|j d ddj }|std d}|}|j|td ntd|dd}|td|d|vrtd||j dd\}}|j j}|j dD cgc]#} | j s| j %} } t|||| |Scc} w)aParsea `temas_curados.txt` -> `{nombre: tema}`; `{}` si no existe. Formato (spec Task 4): [tema:playa] seed = beach outfit.sugerente.bikini = bikini, swimsuit scene.shore = beach, ocean, horizon lighting.sunset = sunset, backlight, golden hour props.towel = beach towel, beach umbrella Se saltan comentarios (`#`) y lineas en blanco. Los valores conservan su forma exacta (espacios incluidos); solo se recortan extremos. NrrDrErrrFrGrHztema::z#[!] cabecera de tema vacia ignoradacuradorIz[!] linea sin tema ignorada: rz[!] linea sin '=' ignorada: rv) r rrKrLrMrNrOrPrQrRrrr7) rTr*rWrYrZrr[rrrrs rA load_curatedr;ls :D ;;= FG~~w~/::<yya #))+  ??3 DMM#$6!BZ%%'F||~((1||C+A.446?@"G!!$ X(>?;F81EF  ? 1$8 9  d? 07 8 ZZQ' Uiik!#(;;s#3A#3aqwwy #3AF7OS$77=8 MBs G $G c t|ts|jd|d|dy|D]>}t|tr|j r$|jd|d|d|yy)zso dD ! tfD.JKL#s#399; MMd4&(DSGL   r@c Lg}t|tsd|dgS|jd}t|tr|s|j d|dd}t D](}|j|}||ik(rt|ts|j d|d|dF|xs t |}|dk(r|jD]\}}|tvr.|j d|d |d d jtd t|ts|j d|d |de|jD]\} } t|d|d| | ||jD]\} } t||d| | |+|s|j d|dt d|S)uValida un tema contra el schema de §6 -> lista de errores ([] == valido). Reglas: `seed_tags` lista no vacia; al menos un eje de `THEME_AXES` con variantes; toda clave de `outfit` en `LEVELS`; todo valor de variante, lista de strings no vacios. r=z': no es un objeto (dict)rz*': 'seed_tags' debe ser una lista no vaciaFz': eje 'z' debe ser un objetor z': nivel de outfit invalido 'z ' (validos: rw)z ': 'outfit.z!' debe ser un objeto de varianteszoutfit.r3z': al menos uno de z debe tener variantes) rrrbrrS THEME_AXESrrmrJrxr>) r[r$rrVnon_empty_axisr5valrUvariantsr6rs rAvalidate_themerEsF eT "7899 IIk "E eT "% tf$NOPN iio ;#) #t$ MMF4&6JK L '449 8 #&99;x&MM &CE7K%%)YYv%6$7q:"(D1MM k%9''%-^^%5MGTway&A4P&6$/"% DTF!G9"5tVD"-16  TF-j\9N O  Mr@cv|xsi}|xsi}i}|jD] \}}|||< |jD] \}}|||< t|}i}|jD]P\}}||vrt|trd|d<|||<%t ||} | r| D]} t d|d| L|||<R|S)aKFusiona auto + curados (el curado pisa al auto por nombre) y valida. Los temas **curados son SIEMPRE del usuario**: se conservan aunque sean invalidos (marcados `source="curado"`), de modo que el unico muro duro, `write_themes`, frene la escritura con un error claro que hay que arreglar; un bloque roto de `temas_curados.txt` NO desaparece en silencio. Los temas **auto** que no validan si se descartan (ruido de maquina) con aviso. `chars`/`copies` se aceptan por simetria con el resto del motor (aqui no se reclasifica: `discover_themes` ya lo hizo). r:rz[!] tema auto 'z' descartado: )rmrrrrErR) r#curatedrnrorr[r$ curated_namesrerrserrs rA build_themesrKs :2DmG Fzz| et $}} et 'LM F||~ e = %&"*h F4L dE* v^C5AB t & Mr@c t|}|xsi}g}t|tD] }|jt |||"|r/|D]}t d|t dt|d|t||y)a Valida TODOS los temas y escribe `themes.json` (atomico) si son validos. Si algun tema falla, imprime cada error y lanza `ValueError` **sin escribir** (el fichero destino queda intacto o ausente). Si todos son validos, delega en `write_json_atomic`. r[!] zthemes invalidos (z error/es); no se escribio N) r rrextendrErRrdrr)r*rT all_errorsr[rJs rA write_themesrPs :D \rFJv3'.vd|<=(C D,  Z 11LTF S  dF#r@zdanbooru_seeds.txtztemas_curados.txt)idNct|}|jstd|tj|j d}t |ts tdtDcic]}|i}}|jD]G\}}||vst |ts|jD]\}}t|xsg|||<I|Scc}w)zLee un fixture `{nivel: {seed: [posts]}}` para `--dry-run`/`--posts-file`. Normaliza a `{nivel: {seed: [posts]}}` para TODOS los niveles (los que falten quedan como dicts vacios). No toca la red. zposts-file no existe: z utf-8-sigrDz@posts-file debe ser un objeto JSON {nivel: {seed: [posts, ...]}}) r rFileNotFoundErrorrloadsrKrrrdrJrmr)rTdatarUrby_seedrrfs rA_read_posts_filerY&s :D ;;="8 ?@@ ::dnnkn: ;D dD ! N  .44VEeRiVN4**,w  &j$.G "==?KD%*.u{*;N5 !$ '+'  5s2 Ccj|r t|nt}tDcic]}|i}}g}d}tD]T}|j|gD]=} |j |t |t |}t|xsg|||<|d z }?V|||fScc}w#t$r} d}tD]P} |j |t |t || }n#t$rY1wxYwtd|d|d| d| xsd n|/|d|d| } |j| td| d Yd} ~ Yd} ~ d} ~ wwxYw) aUDescarga posts por seed -> `(posts_by_level, skipped, fetched)`. `client.posts(seed, rating=RATING_MAP[level], min_score=20, limit=limit or 200)`. **Fallback de orden:** si `order:score` falla (HTTP 500 `QueryCanceled` en tags ultra-comunes), se reintenta con `order:id` antes de descartar el seed. **Aislamiento por seed (T7):** un `DanbooruError` de UN seed que falla en ambos ordenes NO aborta la corrida: se anota `"{nivel}:{seed}: {err}"` en `skipped`, se avisa y se continua con el resto. `fetched` = n de llamadas con exito (0 == todos los seeds fallaron). r)rating min_scorerN)r[r\rorderrMr9rz; recuperado con order:defaultz$ (se continua con el resto de seeds)r) raDANBOORU_DEFAULT_LIMITrJrbrf RATING_MAPDANBOORU_MIN_SCORErFALLBACK_ORDERSrRrSr) clientrVrrUrskippedfetchedrrfexcfallbacknotes rA _fetch_postsri?s CJ%;E-34VEeRiVN4GGIIeR(D  %e,0 %:+/u{*;N5 !$ ' qLGA)D 7G ++K5!  /H ! &  #-e#4&8"'"* !-!)! !ugQtfBse4!!)!6Y 79!0 =#WAdV2cU3DNN4(D&JKL !% sB B B D2 D-(!C  D- C D-C A D--D2ctDcic]}|i}}i}i}g}tD]}|j|xsijD]}\}} tt | ||\} } | |||<| D]\} } |j | | | jD](\}}|D]} |dk(r|j | ||| < *||||fScc}w)aO`{nivel: {seed: [posts]}}` -> `(per_level_buckets, accepted, dropped, revisar)`. `per_level_buckets` = `{nivel: {seed: {bucket: Counter}}}` (una linea por seed). `accepted` = `{tag: bucket}` (solo los clasificados); `dropped` = `{tag: motivo}`; `revisar` = tags que `classify()` manda a `otros` (sin categoria clara). otros)rJrbrmrtrkrrS)rrnrorUrrrqrrrfrpdroprjrsr[rgs rA_bucketize_levelsrmss177u7HGG*..u5;BBDKD%%i&6vFMGT-4 e $T *# V""3/ $!( g"Cws+(, #"1 E h 88!8s CFc, t|}t\}} } |duxs|} g} | t|} n|r tdtDcic]}|i} }nt| t }|r t |nt}td|dt|||\} } }|dk(r| rtdid| dS| rtdt| d |d td | jD}|dk(rtd id| xsd gdS| rt|dz n t|}t| || \}}}}t|||| }t|r t |ntd}t!|| || |}t#|j%dxsi|| }t'|}t)|||| }t+||dz t-||}t/|dz |t1|t1|zDcic]}|| vr| ||k7r|| |}}t3|dz |t5|j7||| std||t|| dScc}wcc}w#t8$r8} tdtd| didt;| xsdgdcYd} ~ Sd} ~ wwxYw)aORefresco manual: red -> pools/themes/snapshot/validacion (todo atomico). Devuelve `{"blocks": {severity: n_lineas}, "themes": n, "skipped": [...]}`; `skipped` viene vacio en un refresco correcto. `dry_run`/`posts_file` leen los posts de un fixture (`posts_file`) en vez del cliente y escriben en `/_preview/` **sin tocar la red**. **Aislamiento por seed (T7):** si un seed falla (`DanbooruError`), se anota en `"skipped"` y se continua con el resto; basta UN seed con exito para construir y escribir con los datos disponibles (los niveles vacios conservan su `bloques_*.txt`). Si **todos** los seeds fallan (nada descargado) se mantiene el contrato previo: aviso `[!] Danbooru no disponible; ...` y **no se toca** ningun artefacto. Sin resultados (pero sin errores) tampoco se escribe nada. NzH[!] --dry-run sin --posts-file: sin datos de entrada (no se toca la red)z[*] descargando metadatos (z posts/seed)...rz?[!] Danbooru no disponible; se conservan los artefactos previos)blocksr*rdrMz# seed(s) fallaron; se continua con z seed(s) correctosc3\K|]$}|jD]}t|&ywr)rr)rrXrfs rArzrefresh..s0 2 ) J) 2s*,z7[!] sin resultados; se conservan los artefactos previosz+sin resultados; artefactos previos intactos_preview)r\rrz themes.json)rz snapshot.jsonzvalidacion.txtz[ok] artefactos en z (r@r)r\rBrYrRrJrrar_rirrrr rmrrarr1rbr;rKrPrrrrrrmrr)!rdry_run posts_filer seeds_path curated_pathrcrVrnroaliases fixture_moderdrrU limit_usedre total_postsrrrrqrrrsnapshotr#rGr*rorjrrfs! rArefreshr{s"[U:&!0!2vw!-8   !-j9N  & 6<$w-*,4=8I E69 58WgE#4eVD,#(SZ.D "%Ox||F39r5&I|,dGUF; VVm34UF3&?2H=8}s7|3 3g~'#,#"5  3  % %   !     'x0 1 CKGLLO=p U OP cU!ns3x7R?6STT UsLAI IAI,AIC!I%I >A I I J-JJJcVtjdd}|jddd|jdtdd |jd dd |jd dd|jddd|jddd|jddd|S)Ndanbooru_harvestz;Cosecha de metadatos de Danbooru -> pools y temas (manual).)prog descriptionz --refresh store_truez=descarga metadatos y regenera pools/temas/snapshot/validacion)actionhelpz--limitzposts por seed (default 200))typer^rz --dry-runz*no toca la red; escribe en /_preview/z --posts-filez8fixture JSON {nivel: {seed: [posts]}} en vez del cliente)r^rz--outzdirectorio de salidaz--seedszfichero de seeds por nivelz --curatedzfichero de temas curados)argparseArgumentParser add_argumentra)parsers rA _build_parserrs  $ $ QF  L    +    9   G  4JK  46RS  T8RS Mr@c t}|j|}|js)|js|js|j yt|j |j|j|jrt|jnt|jrt|jnt|jrt|jnt}|jdxsir*tddj!fdt"Dztd|jdd|jd r td d j!|d zy) Nr)rrrrsrrtruroz[ok] bloques por nivel: rwc3LK|]}|dj|dywrr)rrros rArzmain..0s)L#3%qC!3 45rz [ok] temas: r*rdz [!] saltado: z; )r parse_argsr{rrrs print_helprrr OUT_DIRrV SEEDS_FILErG CURATED_FILErbrRrxr)argvrargsrros @rAmainrs _F   T "D LLDLLDOO jj ??"&((TXX'+zz4 #z+/<rErKrPrrrar_rbrYrirmr{rr__name__ SystemExitr?r@rArs   0BC ' > ! ! # * * 1 13tH~--/6678:9A@: , 5u E Z * ,A !aqA N  ;< y*%& ug MN  #(' S )  :$"4E B /Ad%P$$ 'd>#L=>J6 2::6 DD  2 66r?4/d /d"J$2 "%9 9 *$':: 21,h94$! TlU^@ 8 z TV r@