GPT Diffusion

Waypoint-OPD: destilar RL sin cancelar señales — un checkpoint intermedio como gate

2026-10-17 · Devs #qwen#llm#open-weights#fine-tuning#optimizacion#benchmark

TL;DR

  • Verificado (arXiv 2610.21601, v1 del 15-oct-2026): Bingxi Hou et al. publican Waypoint-OPD, una corrección a la destilación on-policy: la señal que transfieres —el shift de logprobs del teacher entre su checkpoint pre-RL y el final— puede contener cambios tempranos del entrenamiento que el endpoint final oculta o cancela. El arreglo: un waypoint, un gate de acuerdo direccional contra un checkpoint intermedio de la misma corrida de RL (step 600 de 1.200).
  • Verificado (Tabla 1, matemáticas, mean@32): sobre el mismo teacher Qwen3-4B tras RL, el promedio de 7 benchmarks sube de 26,04 → 56,14 en Qwen3-8B (Direct-OPD: 53,96), de 27,32 → 59,20 en Qwen3-14B (57,61) y de 28,03 → 57,85 en Qwen3-30B-A3B (55,96). Ganancias de +1,59 a +2,18 sobre Direct-OPD, y gana 19 de 21 comparaciones benchmark a benchmark.
  • Verificado (Tabla 2 + Apéndice D, código, mean@8): 15 de 15 comparaciones a favor. El promedio por estudiante, Waypoint-OPD vs Direct-OPD: 53,25 vs 50,59 en Qwen3-8B (+2,66), 57,82 vs 56,30 en 14B (+1,52) y 57,54 vs 56,35 en 30B-A3B (+1,19). Con el 8B, el desglose de la Tabla 7: MBPP 82,97 vs 78,14, MBPP+ 69,38 vs 65,81, LCB v4 37,87 vs 36,63.
  • Verificado (Apéndice H): el coste añadido es una única pasada de scoring con el teacher congelado sobre la muestra que ya generó el estudiante — el gate se calcula desde esas mismas logits. En su benchmark de coste (100 steps de Qwen3-8B en 8×H20), la corrida completa con Waypoint-OPD tomó 8:02:21 frente a 8:21:03 de Direct-OPD: un 3,73% menos de tiempo y menos truncación (11,97% vs 14,83%). No es una aceleración del algoritmo: la diferencia viene acompañada de menos truncación, y el mecanismo fino no está aislado en el paper.
  • Claim de los autores: la ganancia viene del emparejamiento gate↔prefijo. Barajar los gates entre prefijos (51,20) rinde peor que eliminar el gate (53,50) — si el gate fuese ruido, barajarlo no debería doler tanto. Y la colocación del waypoint apenas importa: steps 500/600/700 dan 56,18/56,14/56,13 (Apéndice F).
  • Trampas: repo con código y datasets pero sin licencia, README “Anonymous implementation” e instalación no validada por los autores; los pesos del teacher RL —incluido el checkpoint waypoint— no están publicados, así que reproducir implica entrenar el teacher tú mismo; v1 sin revisión por pares; y todo el ejercicio vive en una sola familia (Qwen3): lo que pase en Llama, Gemma o Mistral es extrapolación.

Contexto: destilación on-policy en una línea

La destilación on-policy tiene una premisa limpia: en vez de imitar respuestas completas del teacher, entrenas al estudiante con sus propios prefijos — lo que el estudiante genera — y le pides al teacher el ajuste fino de logprobs en cada token. El estudiante nunca aprende a imitar estilos de generación que no produce; aprende a corregir los suyos. El teacher de este paper es un Qwen3-4B al que le hicieron RL (1.200 steps, GRPO) por separado para matemáticas y código: matemáticas sobre DeepMath-103K (~57K problemas con dificultad ≥ 6) y código sobre Eurus-RL-Code (~25K). Los estudiantes — Qwen3-8B, 14B y 30B-A3B base — se entrenan con DAPO-Math-17K en matemáticas y un set derivado de Codeforces en código; no confundas el menú del teacher con el del estudiante.

El problema que ataca Waypoint-OPD aparece cuando miras qué shift de logprobs estás transfiriendo. La mayoría de las variantes usan el shift entre el checkpoint pre-RL del teacher y el checkpoint final: dos instantáneas separadas por 1.200 steps de entrenamiento. El endpoint final es la suma de todo lo que el RL movió, pero no sabe nada del camino: un componente que subió temprano y bajó después — o dos componentes que se movieron en direcciones opuestas — dejan huella menor, o nula, en la resta final. La señal temprana no se degrada: se esfuma en la aritmética.

El problema: el endpoint suma todo, y las sumas cancelan

El paper lo ilustra con un ejemplo de dos dimensiones (§2): el shift temprano u y el tardío v, con suma d. Con u = v = d/2, el endpoint muestra el movimiento completo. Con u = 2d y v = −d, el endpoint muestra exactamente el mismo d, pero el teacher pasó media corrida empujando en dirección contraria. Sin más información, los dos casos son indistinguibles desde el endpoint — y Direct-OPD (Feng et al.), que transfiere el log-ratio del endpoint, no distingue entre ellos.

La respuesta obvia — “pues guarda más checkpoints y transfiere más shifts” — sale cara: cada shift extra es una pasada de scoring con otro checkpoint del teacher en memoria, y un shift mal ponderado puede meter ruido en vez de señal. La otra dirección — destilar primero el RL y barato después — la cubrimos en Destilación on-policy vs off-policy: manda la dirección del KL; este paper ataca un hueco distinto: no hacia qué estudiante fluye el KL, sino qué contiene el shift que transfieres.

Cómo funciona: un gate direccional contra el waypoint

Waypoint-OPD no añade shifts a la señal: el mismo shift Initial→Final que transfiere Direct-OPD sigue siendo la señal transferida, y el checkpoint intermedio solo decide cuánta pasa. El mecanismo (§2–§3):

  1. Tres checkpoints de la misma corrida de RL del teacher: Initial (pre-RL), Waypoint (step 600 de 1.200) y Final (step 1.200). No son tres teachers: es un teacher, tres fotos suyas.
  2. En cada prefijo generado por el estudiante: el teacher congelado puntúa la muestra, y se mide el shift temprano (Initial→Waypoint) y el tardío (Waypoint→Final) sobre esos mismos tokens. La comparación vive sobre los k=16 candidatos más probables según el estudiante en ese prefijo (K_t), y ambos shifts se centran restándoles su esperanza sobre la distribución del estudiante en esos candidatos: C_qt[z](a) = z(a) − E_b∼q_t[z(b)] (Ec. 8). Es un centrado para que un shift uniforme — que no cambia preferencias relativas — no ensucie el ángulo; q_t no es la probabilidad del token elegido.
  3. Gate direccional: g_t = max(0, coseno positivo) entre ambos shifts. Si el teacher se movió en la misma dirección temprano y tarde en ese token, g alto. Si se movió en direcciones opuestas — una reversal: subió temprano y bajó después, o al revés — el gate a cero: ese token recibe la señal suprimida.
  4. Normalización por batch de media κ_B, con target τ=0,8 y clip [0,75, 1,5], para que el gate no reescale el loss entero a la baja de media.

El gate no reemplaza la señal endpoint: la pondera token a token. La ganancia no viene de más información sobre el camino — viene de suprimir los tokens donde la señal endpoint es una cancelación, y la medición de coste (Apéndice H) muestra que esa supresión sale barata.

Los números, con verificado y atribución

Consulta de fuentes: 17-oct-2026, a las ~48 horas del v1 (15-oct-2026). Todas las cifras son auto-reportadas por los autores con su harness; repetirlas aquí no las convierte en datos independientes. Un detalle del paper que ayuda a leerlas: el teacher Qwen3-4B tras RL tiene un promedio de 56,13 en los 7 benchmarks de matemáticas — el estudiante de 14B lo supera (59,20), el de 30B-A3B también (57,85) y el de 8B lo iguala (56,14). La lectura: destilar un 4B a un modelo más grande no se queda corto — los estudiantes grandes acaban superando al teacher de media.

Matemáticas, Tabla 1 (mean@32, 7 benchmarks: AIME24/25/26, HMMT25 Feb/Nov, HMMT26 Feb, AMC23):

EstudianteBaseWaypoint-OPDDirect-OPDΔ
Qwen3-8B26,0456,1453,96+2,18
Qwen3-14B27,3259,2057,61+1,59
Qwen3-30B-A3B28,0357,8555,96+1,89

Código, promedio por estudiante (Tabla 2, mean@8 sobre MBPP, MBPP+, LiveCodeBench v4/v5/v6):

EstudianteWaypoint-OPDDirect-OPDΔ
Qwen3-8B53,2550,59+2,66
Qwen3-14B57,8256,30+1,52
Qwen3-30B-A3B57,5456,35+1,19

Código, desglose del estudiante de 8B (Tabla 7, Apéndice D):

BenchmarkWaypoint-OPDDirect-OPDΔ
MBPP82,9778,14+4,83
MBPP+69,3865,81+3,57
LCB v437,8736,63+1,24

El desglose por benchmark (14B y 30B-A3B en el Apéndice D) deja las únicas excepciones: el estudiante de 14B pierde un benchmark suelto contra Direct-OPD (HMMT25 Nov) y el de 30B-A3B otro (HMMT26 Feb). Y hay benchmarks sueltos donde gana el otro baseline, OPD² — no Direct-OPD: LCB v5 con el de 14B (43,56 vs 43,11) y MBPP (88,23 vs 88,00) / MBPP+ (74,44 vs 74,21) con el de 30B-A3B. Los matices por benchmark existen; el promedio, no.

Antes de usar cualquier cifra de esta tabla, tres líneas para no confundir el árbol de métodos, que es fácil pisar:

  • OPD² (Heo et al.): acuerdo de signo entre teacher-base y teacher-student — dos políticas distintas, misma muestra.
  • Direct-OPD (Feng et al.): log-ratio del teacher entre checkpoint inicial y final — una política, dos instantáneas, sin gate.
  • Waypoint-OPD: el mismo log-ratio de Direct-OPD, ponderado por el gate del checkpoint intermedio de la misma corrida de RL.

Ablations: el gate es señal, no decoración

Con Qwen3-8B en matemáticas (Tabla 3): quitar el gate baja a 53,50 (−2,64 frente a 56,14); barajar los gates entre prefijos baja a 51,20 (−4,94), peor que no tener gate; quitar la normalización baja a 55,22 (−0,92). El resultado barajado es el que más dice: si el gate fuese ruido, barajarlo debería acercarse al escenario sin gate; que caiga por debajo sugiere que el gate aporta emparejamiento real por-prefijo — lectura de los autores, no verificación independiente.

La sensibilidad a la posición del waypoint es casi plana: steps 500/600/700 → 56,18/56,14/56,13 (Apéndice F), siempre por encima de Direct-OPD (53,96). El gate tampoco es estático a lo largo del entrenamiento: su valor medio baja de 0,810 a 0,683 y el porcentaje de tokens con gate a cero sube del 7,26% al 16,59% (Apéndice G). Es el dato que hay: el paper no explica por qué el gate aprieta conforme avanza la corrida.

El coste real: una pasada de scoring, y aun así midió más rápido

El Apéndice H es la tabla que un responsable de presupuesto quiere ver. Setup: 100 steps de Qwen3-8B, math, 8×H20. Waypoint-OPD: 8:02:21 (64,31 GPU-h). Direct-OPD: 8:21:03 (66,81 GPU-h). Menos GPU-horas y menos truncación (11,97% vs 14,83%). La lectura plausible: donde el gate anula el update, el estudiante deja de recibir señal contradictoria y produce continuaciones que se truncan menos; los steps cuestan menos. El paper no aisla el mecanismo. Tampoco es una promesa de que Waypoint-OPD sea más rápido en tu carga: es un punto de datos de que el gate no es caro en el único setup donde lo midieron.

Las trampas de reproducción

  • Sin licencia. El repo github.com/hhhbxloveai/WaypointOPD no tiene LICENSE (license: null en la API de GitHub). Sin licencia no hay derechos de reutilización claros; consúltalo antes de copiar nada.
  • “Anonymous implementation”, instalación no validada. El README se describe así mismo como implementación anónima y avisa: “installation has not been validated”. Hay verl parcheado, script de train y datasets (DAPO-17K, aime24) incluidos, con 3 estrellas a 17-oct-2026.
  • Los pesos del teacher no están publicados. Ni Initial, ni Waypoint, ni Final: los checkpoints Step600/Step1200 no están en Hugging Face (la búsqueda author=hhhbxloveai vuelve vacía). Sin el teacher no puedes aplicar el gate; reproducir el experimento completo significa re-entrenar el teacher RL tú mismo antes de destilar nada.
  • v1 preprint, ~48 horas. Sin peer review ni replicación externa todavía. Los upvotes en HF (664 a 17-oct-2026, #1 paper del día del 16-oct) miden atención, no corrección.
  • Una sola familia, un solo tamaño de teacher. Teachers Qwen3-4B non-thinking, estudiantes Qwen3-8B/14B/30B-A3B base. La generalización a otras familias o a teachers de otro tamaño es extrapolación, no resultado.
  • El waypoint es de la misma corrida, y eso no está ablado. El checkpoint intermedio viene de la misma corrida de RL que el teacher final. Un waypoint de otra corrida mediría otra cosa; el paper no prueba esa variante.

Qué puedes tomar sin entrenar un teacher RL

  • Endpoint único ≠ señal única. Si destilas con un solo shift de logprobs, el endpoint puede estar escondiendo parte de lo que el entrenamiento movió. El fix conceptual es gratis: pregúntate si tu shift contiene reversals que la resta final cancela.
  • El gate por acuerdo direccional es un patrón general. Dos shifts de la misma política en momentos distintos, coseno como gate: aplicable a cualquier pipeline donde conserves varios checkpoints, con RL o sin él. El coste marginal es una pasada de scoring — que en el único setup medido se pagó sola.
  • El ablation barajado es una plantilla de validación barata. Antes de creerte cualquier gate o ponderación nueva en tu pipeline: barájalo. Si el score no cae, el gate es decoración. Si cae por debajo de “sin gate”, está haciendo algo real, aunque aún no sepas qué.
  • “Same run” importa. El checkpoint waypoint viene de la misma corrida de RL que el teacher final. Un checkpoint de otra corrida mide otra cosa, y ese caso no está en el paper.
  • Para leer tablas de destilación, media antes. Las 21 comparaciones por benchmark de la Tabla 1 incluyen excepciones sueltas; la media por estudiante es la lectura correcta, y los benchmarks donde un baseline gana por poco no cambian el promedio — el mismo criterio que aplicamos en Leaderboards explicados: qué benchmark mirar y cuál ignorar.

Qué haría yo

Si destilas on-policy hoy con un solo checkpoint del teacher: no adoptes Waypoint-OPD todavía — primero cuantifica cuánta señal pierdes por cancelación en tu setup. Toma dos checkpoints del teacher que ya tengas (o congela uno a mitad de tu corrida), calcula el coseno entre shift temprano y shift tardío sobre tokens reales de tu estudiante, y mira la distribución: mucha masa cerca de −1 significa que tu shift endpoint esconde reversals y el gate tiene espacio; distribución centrada en +1 significa que el gate no tiene nada que corregir y no esperes el +2,18 de este paper.

Lo que yo no haría: intentar reproducir el experimento completo hoy. Repo sin licencia, sin pesos del teacher y con instalación no validada — el coste real es entrenar un Qwen3-4B con RL antes de destilar nada. Y si tu interés es la línea más general — RL y destilación como fases del mismo pipeline, no competidores — el territorio está cubierto en MiMo-V2.6: Xiaomi abre el stack RL (MOPD: un parche de destilación sobre el loop RL, y sus límites), en UniEvo-VL: auto-mejora de imagen sin profesor (auto-destilación sin teacher externo) y en Agent-Reflex: la reflexión como skill entrenable (destilación on-policy same-token dentro de un pipeline agéntico). Para otra vuelta de tuerca al post-training con datos raros, Fold2Reason: proteínas como post-training — distinto territorio, misma lección: lo que manda es el dato de entrenamiento, no el endpoint.

Fuentes

  • arXiv: Waypoint-OPD (2610.21601) (v1, 15-oct-2026) — abstract, autores (Bingxi Hou et al., 7), categorías cs.LG + cs.CL.
  • HTML v1 del paper — §2 (ilustración 2D), §3 (mecanismo del gate), Tabla 1 (math, mean@32), Tabla 2 + Apéndice D con Tabla 7 (código, mean@8), Tabla 3 (ablations), Apéndices F (sensibilidad del waypoint), G (gate dinámico) y H (coste 8×H20).
  • GitHub: hhhbxloveai/WaypointOPD — verl parcheado, script de train, datasets DAPO-17K/aime24; sin LICENSE, “Anonymous implementation”, “installation has not been validated”.
  • Paper page en Hugging Face — 664 upvotes y #1 paper del día del 16-oct-2026, a 17-oct-2026.
  • Direct-OPD (Feng et al.) y OPD² (Heo et al.) se citan como baselines; sus cifras en las tablas son las reportadas por los autores de Waypoint-OPD.
Cargando comentarios...