jb>dZddlZddlZddlZddlZddlZddlZddlZddlZddl m Z ddl m Z ddl m Z ejjdde ej#j$j$Zej(eZej.j1d re ej.d ned z d z at2d z at2d z at2dz adZej<dZej<dZ d0dZ!de de"e#fdZ$de de"e#ddfdZ%de"e#fdZ&de"e#ddfdZ'de#e(e#ffdZ)de#ddfdZ*de(de(fdZ+de(de,e(d ffd!Z-de(fd"Z. d1de(fd#Z/d2de0fd$Z1de#fd%Z2de0fd&Z3d3de#fd'Z4e d(Z5de#fd)Z6d2de#fd*Z7d4de"e#fd+Z8d2de#fd,Z9d2de"e(fd-Z:d.Z;ed/k(re;yy)5a6 pose_bank: banco de poses validadas (JSONL) + CLI. Es la base compartida del pipeline de contenido (pack_builder lo consume, la auditoria lo promociona y penaliza). Ruta por defecto: Archivos/pose_bank/ pose_bank.jsonl -> una pose validada por linea avoid.jsonl -> poses/bloques fallidos (con blacklist automatica) refs/.png -> render de referencia aprobado Se puede apuntar a otro directorio con la variable de entorno PLUMLOOM_BANK_DIR (lo usan las verificaciones para no tocar el banco real). python Engine/pose_bank.py --stats python Engine/pose_bank.py --list python Engine/pose_bank.py --check python Engine/pose_bank.py --avoid KEY --motivo M [--threshold N] python Engine/pose_bank.py --unblacklist KEY python Engine/pose_bank.py --promote RUN_DIR --verdicts PATH N)contextmanager)datetime)Pathutf-8backslashreplace)encodingerrorsPLUMLOOM_BANK_DIRArchivos pose_bankpose_bank.jsonl avoid.jsonlrefs) sugerentespicy explicitoz!\(\s*([^():]*?)\s*:\s*[\d.]+\s*\)z ^pb(\d+)$returnc`tjddtjddy)NT)parentsexist_ok)BANK_DIRmkdirREFS_DIREngine/pose_bank.py ensure_dirsr3s" NN4$N/ NN4$N/rpathc |jsgSg}|jdd5}t|dD];\}}|js |j t j |= ddd|S#t j$r,}tjd|j||Yd}~d}~wwxYw#1swY|SxYw)Nrrrz"%s:%d linea corrupta, saltada (%s)) existsopen enumeratestripappendjsonloadsJSONDecodeErrorloggerwarningname)routflinenolinees r _read_jsonlr38s ;;= C 3 )Q%aOLFD::< [ 4::d+, , * J'' [CTYYPVXYZZ [ * Js5$C $A>1C>B="B83C8B==CC rowsct|jddd5}|D]+}|jtj|ddz- dddy#1swYyxYw)Nwr )rnewlineF ensure_ascii)rr$writer(dumps)rr4r/rows r _write_jsonlr>GsMM 3$ 71C GGDJJs7$> ? 8 7 7s 1AA#c ttSN)r3 BANK_FILErrr load_bankrBNs y !!rentriesc$tt|yr@)r>rA)rCs r save_bankrERs G$rcdi}ttD]}|jd}|s|||<|S)Nkey)r3 AVOID_FILEget)avoidr=rGs r load_avoidrKVs6 E:&ggen E#J' LrdcRttt|jyr@)r>rHlistvalues)rLs r save_avoidrP_sT!((*-.r pose_linec|xsdj}tjd|}|jdd}t jdd|j S)Nz\1_ z\s+)lower _WEIGHT_REsubreplacerer&)rQss r normalize_keyr\csP b!Aua A #sA 66&#q ! ' ' ))r.c|xsdjdDchc]}t|r t|}}tt|Scc}w)aTags normalizados y ordenados, sin duplicados. `normalize_key` conserva el orden (lo usa avoid.jsonl, que no se puede romper). Para detectar casi-duplicados hace falta una firma insensible al orden: dos lineas con los mismos tags en distinto orden son la misma pose. rS,)splitr\tuplesorted)rQtokentagss r signaturerdjsV o2,,S1 1E   e1      sA c d}|D]W}tjt|jdd}|s4t |t |j d}Yd|dzdS)NridrSr"pb04d)_ID_REmatchstrrImaxintgroup)rCtopr2ms rnext_idrqys^ C  LLQUU4_- . c3qwwqz?+Ca} rc t} t| } t|tr|g}t |xsg}d} |rPt |} | j r3tt| dz } tj| | d| d} n|} | ||||| |||tjjd|d }| j|t| | S)Nz.pngzrefs/%Y-%m-%d) rfrQniveltema provenanceref_pngcharseed lora_weightfechanotas)rBrq isinstancerkrNrr#rrshutilcopy2rnowstrftimer'rE)rQrtrurwrxryrvrzr|rCnew_id ref_storedsrcdestentrys radd_poserskG W F$v   DJ7m ::< Mo-D LLd # -J J "((4 E NN5 g Mrc| t}|jt|}t|xr|jdS)N blacklist)rKrIr\bool)rQrJr=s r is_avoidedrs: }  ))M), -C , , --rct|}t}|j|xs||dddd}||d<d|d<tjj d|d <|||<t ||S) zMete la pose en avoid con blacklist directa (la usa la UI, D2.3). A diferencia de `penalize`, no cuenta fallos: deja la pose fuera del pool ya. Es idempotente (volver a llamar no cambia nada). rFrSrGmotivofallosrultimarTrrsr)r\rKrIrrrrP)rQrrGrJr=s rrrs}  "C LE ))C. fQSCCMC LLN++J7CME#Ju JrcTt|}t}||vry||=t|y)z5Saca la pose de avoid (reactivar). -> True si estaba.FT)r\rKrP)rQrGrJs r unblacklistrs0  "C LE % c u rc4t|}t}|j|xs||dddd}||d<t|jdddz|d<t j j d|d <|d|k\|d <|||<t||S) NrFrSrrrr"rsrr)r\rKrIrmrrrrP)rQr thresholdrGrJr=s rpenalizers  "C LE ))C. fQSCCM!,-1CMLLN++J7CM8} 1C E#Ju Jrc#K|dyttttf}t |atdz atdz atdz a d|\aaaay#|\aaaawxYww)zBApunta temporalmente el banco a `bank_dir` (None = el del modulo).Nr rr)rrArHrr)bank_dirsaveds r_bank_dir_overridersn  y*h 7EH~H,,IM)J& H: 491)ZE1)ZsAAA A AAct|}|jstjd|iS t j |j d}t|tstjd|iS|S#tjttf$r#}tjd||icYd}~Sd}~wwxYw)zLee un verdicts_.json (dict por nombre de fichero). Devuelve {} (sin lanzar) si el fichero falta, no es JSON o no es un dict. zverdicts no encontrado: %srr!zverdicts ilegible %s (%s)Nz3verdicts con forma inesperada en %s (dict esperado)) rr#r+r,r(r) read_textr* ValueErrorOSErrorr}dict)rdatar2s r load_verdictsrs :D ;;=3T: zz$..'.:; dD !LdS K  *g 62D!< s%BC"C:CCct|}dddd}|dz }|jstd|d|St|}|std|d|S t j |j d}t|tstd ||St|5t}|Dchc].}t|jd d|jdf0} }|D]z} t| t st| jddj"} |j| } | |j| jd} t| t s|dxxdz cc<t%| jdxsdj'j)} t| jdxsg}| xsd | d<|| d<| dk(r| jddk7r|dxxdz cc<| jd d}t|| jdf}|| vr|dxxdz cc<[|dz | z }|js|dz | z }t+|| jd| jdxsg|jr|nd | jdd| jdd| jdd| j-||d xxdz cc<| d!k(rX| jd d}t/|r|dxxdz cc<Bt1|d"j3|d#|d$xxdz cc<n|dxxdz cc<} d d d |j5t j6|d%d&d|S#tjttf$r}td |d ||cYd }~Sd }~wwxYwcc}w#1swYwxYw)'aIPliega los veredictos de una corrida en el banco. - `aprobada` + `origin=="explore"` -> `add_pose` (ref_png = raw/ si existe, si no img/; original limpio preferido). - `rechazada` -> `penalize` con `threshold=1`: un rechazo de auditoria excluye la pose en TODAS partes de inmediato (Review Focus #5), ya que la clave avoid es la linea de pose normalizada. Idempotente: si la pose ya esta en avoid, se salta (no re-incrementa `fallos`). - `dudosa` -> skipped (ni promociona ni penaliza). - `origin=="bank"` aprobada -> skipped (ya estaba en el banco). Nunca duplica: si `normalize_key(pose_line)` ya esta en el banco para ese nivel, se salta. Escribe `verdict`/`motivos` de cada registro de vuelta en `pack_manifest.json`. -> {"promoted":int,"penalized":int,"skipped":int} r)promoted penalizedskippedzpack_manifest.jsonz[!] sin pack_manifest.json en z; nada que promoverz[!] sin verdicts en rr!z[!] manifest ilegible en z: Nz%[!] manifest con forma inesperada en rQrSrtfilerr"verdictmotivosaprobadaoriginexplorerawimgrurxryrz?)rQrtrurwrxryrvrzr rechazada, )rrF)r:indent)rr#printrr(r)rr*rrr}rNrrBr\rIrr-rkr&rVraddrrjoin write_textr<)run_dir verdicts_pathrresult manifest_pathverdictsrecordsr2bankknownrecr-vrrrQrGrefs r promote_runrs7mG! :F22M    ! .wi7JKL ]+H  $]O3FGH **]44g4FG gt $ 5m_EF H %{ Q k2 67wH  Cc4(+,11D T"AyLL1a&y!Q&!!%% *0b1779??AG155+1r2G$_C N$C N*$778$ 19%*%GGK4 $Y/1AB%<9%*%o,zz|!E/D0C9CGGG4D!ggfo3(+ $!ggfb1$-%(WW]C%@ B  #z"a'"K'GGK4 i(9%*%DIIg$6!D{#q(#y!Q&!] &j 7q9GM M}  *g 6 )-1#>?   & %s=%N'O"63O)JO"O=OOOO""O+c @|xst}t|xsg}t}|}|$|D cgc]} | jd|k(s| }} |+|D cgc]} || jdxsgvs| } } | r| }|D cgc]3} | jd|vrt | jdd|s| 5}} t dt |}|dkrgS|t|k\rt|} |j| | S|j||Scc} wcc} wcc} w)NrtrurfrQrSr) randomsetrKrIrrlrmlenrNshufflesample) rCrtru exclude_idsnrngexcluderJpoolr2taggedchosens rrras% -C+#$G LE D ;4a155>U#:4; !CTTaeeFm.Ar%B!TC D ?t!uuT{')quu["5u= tD ? As1vAAv CI~d F ::dA #<C ?sDDD/D=8Dc~| t}tDcic]}|d}}t}|D]I}|jd|vr||dxxdz cc<|j |jdxsgKt dt jD}t||t||dScc}w)Nrrtr"ruc3DK|]}|jdsdyw)rr"N)rI).0r=s r zstats..sM4 8L!4s  )totalby_leveltemasavoided) rBLEVELSrrIupdatesumrKrOrra)rClvrrr2rs rstatsr|s+ &'"AH' EE  55>X % QwZ A %  QUU6](b)Mz|224MMG\xE]w 88(s B:cv| t}g}t}|D]}|jd}||vr|jd||j ||jd}|sQt |}|j s t|z }|jr|j|d||S)Nrfzduplicate id: rwz: ref_png missing on disk: ) rBrrIr'rr is_absoluterr#)rCproblemsseenr2eidrps rcheck_integrityrs+H 5D eeDk $; OOnSE2 3  eeI S A==?sN88:3%'B3% HI Orc Btjtjdtjd}|j ddd|j d dd |j d dd |j d dd|j dd|j dt dd|j ddd|j ddd|j ddd|j}|jrU|js td t|j|j}td!|d"d#|d$d%|d&y|jrc|js td't|j|j|j }tt#j$|d()y|j&rOt)}t+|j&}||vr||=t-|td*|ytd+|y|j.r8t1}|D]}td,||r td-td.y|j2rt3}td/|d0td1d2j5d3|d4j7Dztd5|d6rd2j5|d6nd7ztd8|d9yt9} | D]j} d:j5| j;d;xsg} t| j;d<d=| j;d>d?| d@| j;dAdBltdCt=| dDt>dEy)FNz%(levelname)s %(message)s)levelformatz#Banco de poses PlumLoom (pose_bank)) descriptionz--list store_truezlista las poses del banco)actionhelpz--statszresumen por nivel/temaz--checkzchequeo de integridadz--avoidKEYzpenaliza una pose)metavarrz--motivoz'motivo de la penalizacion (con --avoid))rz --thresholdz,fallos para blacklist automatica (default 3))typedefaultrz --unblacklistzsaca una pose del avoidz --promoteRUN_DIRz8promociona los aprobados de una corrida (con --verdicts)z --verdictsPATHz%verdicts_.json (con --promote)z![!] --promote requiere --verdictsz promoted rz penalized rz skipped rz[!] --avoid requiere --motivoFr9zunblacklisted: zno estaba en avoid: z[!] r"z[OK] banco integroztotal: rz by_level: rc30K|]\}}|d|yw)=Nr)rkrs rrzmain..s!&T>Sda!AaSz>Ssrztemas: r-z avoided: rr^rurfz [rtz] z rQrS(z poses en )) logging basicConfigWARNINGargparseArgumentParser add_argumentrm parse_argspromoter SystemExitrrrJrrrr(r<rrKr\rPcheckrrritemsrBrIrrA) rargsresr=rJrGrprr[rCr2rs rmainrsF goo6QR,QRANN8L7RNSNN9\8PNQNN9\8ONPNN9e2ENFNN:$MNNNN=sAFHNN?E8QNRNN; RTNN<?A <<>D ||}}@A A$,, 6 #j/*+c+6F5GHY(* + zz{{<= =tzz4;;? djj512  D,,- %<c u  OC5) *  (. / zz"$B D+  Q-  "# zz G ' |$% lTYY&Ta m>Q>Q>S&TTTU iAgJ499QwZ0CHI !I,()kG v,"- t Sw 0E7"QUU;PR=SrBrErkrKrPr\r`rdrqrrrrrrrrrrrrrrrrrsu(  % 0BC > ! ! # * * 1 1   8 $zz~~12 /0 1J&4  ( (  % f  , RZZ< = L !0 d tDz @t@4:@$@"4:"%tDz%d%DdO/$/4/*S*S*  sCx %'#+.#L..D&d  ::"4(\$\~tTXz6 84 8T#Y(@4F zFr