Parameter Golf — Technique Explorer

import%20marimo%0A%0A__generated_with%20%3D%20%220.17.6%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Parameter%20Golf%20%E2%80%94%20Technique%20Explorer%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Parameter%20Golf%20%E2%80%94%20Technique%20Explorer%0A%0A%20%20%20%20%23%23%20Reading%20brief%0A%0A%20%20%20%20**Question.**%20Under%20a%20fixed%20wall-clock%20cap%20and%20one%20sealed%20metric%20%E2%80%94%20int8%2Bzlib%0A%20%20%20%20validation%20bits-per-byte%2C%20lower%20is%20better%20%E2%80%94%20how%20should%20we%20sequence%20experiments%0A%20%20%20%20on%20a%20~27M-parameter%20GPT%20so%20each%20run%20buys%20information%2C%20not%20noise%3F%0A%0A%20%20%20%20**Prior%20idea%20(experiment%20prioritization).**%20Training%20techniques%20differ%20in%0A%20%20%20%20*signal%20timing*%3A%20how%20many%20steps%20before%20an%20effect%20separates%20from%20run-to-run%0A%20%20%20%20variance.%20Competition%20ablations%20and%20the%20modded-nanogpt%20speedrun%20treat%20Muon%2C%0A%20%20%20%20QK-norm%2C%20and%20init%20choices%20as%20*early*%20(visible%20within%20100%E2%80%93500%20steps)%3B%20EMA%20and%0A%20%20%20%20width%20changes%20as%20*medium*%20(~500%E2%80%932%2C000%20steps)%3B%20depth%20recurrence%2C%20auxiliary%0A%20%20%20%20representation%20losses%2C%20and%20late%20QAT%20as%20*late*%20(2%2C000%2B%20steps%20or%20the%20final%20tail).%0A%20%20%20%20Ranking%20a%20late-signal%20idea%20on%20a%20short%20probe%20therefore%20measures%20the%20window%2C%20not%0A%20%20%20%20the%20technique%20%E2%80%94%20the%20same%20mistake%20as%20grading%20a%20regularizer%20while%20the%20model%20is%0A%20%20%20%20still%20underfitting.%0A%0A%20%20%20%20**What%20this%20catalog%20decides.**%20It%20tags%20fourteen%20tracked%20techniques%20by%20minimum%0A%20%20%20%20viable%20evaluation%20length%20and%20maps%20each%20band%20to%20a%20budget%20lane%3A%20cheap%20600%20s%0A%20%20%20%20directional%20screens%20for%20early%20signal%2C%201%2C800%20s%20exclusive%20promotion%20for%20medium%0A%20%20%20%20signal%2C%20full-length%20slots%20for%20late%20signal.%20Expected%20effect%20size%20is%20secondary%3B%0A%20%20%20%20*when*%20an%20idea%20can%20be%20graded%20drives%20the%20queue.%0A%0A%20%20%20%20**Concrete%20lesson.**%20LN%20Scale%20finished%20last%20on%20every%20short-run%20metric%3B%20the%0A%20%20%20%20honest%20read%20was%20%22wrong%20window%2C%22%20not%20%22bad%20idea.%22%20SmearGate's%20suspiciously%20low%0A%20%20%20%20loss%20at%20step%20100%20was%20a%20causal%20leak%2C%20not%20a%20breakthrough%20%E2%80%94%20suspiciously%20good%0A%20%20%20%20early%20numbers%20are%20a%20bug%20signal%20first.%0A%0A%20%20%20%20Parameter%20Golf%20is%20our%20fixed-budget%20training%20game.%20The%20companion%20**Run%0A%20%20%20%20Leaderboard**%20notebook%20ranks%20sealed%20%60result.json%60%20artifacts%3B%20this%20view%20ranks%0A%20%20%20%20*ideas%20before%20we%20spend%20the%20next%20run*.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20techniques%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22SmearGate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22early%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%22200%E2%80%93500%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22dim%20params%20(~2KB)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Per-dim%20sigmoid%20gate%20blending%20current%20token%20with%20previous%20token.%20Strong%20early%20signal.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22BigramHash%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22early%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%22200%E2%80%93500%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%222K%E2%80%9310K%20hash%20buckets%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Deterministic%20hash%20of%20token%20pairs%20added%20to%20embeddings.%20Zero-init%3B%20ramps%20by%20~300%20steps.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22XSA%20(Exclusive%20Self-Attention)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22early%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%22200%E2%80%93500%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22small%20compute%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Subtract%20self-value%20projection%20from%20attention%20output.%20Apply%20to%20last%203%E2%80%934%20layers.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22Muon%20optimizer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22early%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%221%E2%80%93200%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22Newton%E2%80%93Schulz%20steps%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Orthogonalized%20momentum.%20~2%C3%97%20token%20efficiency%20over%20AdamW%2C%20visible%20from%20step%201.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22OrthoInit%20%2B%20LN%20Scale%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22early%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%221%E2%80%93200%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Enables%20stable%20deep%20(11L%2B)%20training%20from%20the%20start.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22QK-Norm%20%2B%20Z-loss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22early%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%221%E2%80%93200%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Stability%20techniques.%20Prevent%20divergence%20and%20entropy%20drift%20immediately.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%223%C3%97MLP%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22medium%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%22800%E2%80%931200%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22params%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Incremental%20capacity%20gain.%20Needs%20~800%E2%80%931200%20steps%20to%20rank%20reliably.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22EMA%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22medium%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%221000%E2%80%931500%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22memory%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Weight%20averaging.%20Benefit%20visible%20after%20~1000%E2%80%931500%20steps.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22AttnRes%20%2F%20Block%20AttnRes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22medium%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%22500%E2%80%932000%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22small%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Depth-wise%20attention%20over%20residuals.%20Strong%20paper%20evidence%2C%20cheap%20to%20implement.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22Partial%20RoPE%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22medium%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%22500%2B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22memory%2Fcompute%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Apply%20RoPE%20to%20~10%25%20of%20dimensions.%20Needs%20~500%2B%20steps%20to%20distinguish%20from%20noise.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22Depth%20recurrence%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22late%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%222000%E2%80%933000%2B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22complexity%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Shared-weight%20loops.%20Requires%202000%E2%80%933000%2B%20steps.%20Best%20recorded%20result%20~1.1629%20BPB.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22STP-lite%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22late%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%222000%2B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22aux%20loss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Semantic%20Tube%20Prediction.%20Constrains%20hidden-state%20geometry.%20Risky%20at%20%3C100M%20params.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22JEPA-lite%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22late%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%223000%E2%80%935000%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22aux%20loss%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Hidden-state%20prediction%20auxiliary%20loss.%20Needs%203000%E2%80%935000%20steps%3B%20may%20not%20help%20at%20this%20scale.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20%22Late%20QAT%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22signal%22%3A%20%22late%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22steps%22%3A%20%22last%20~4%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20%22quantization%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22notes%22%3A%20%22Fake%20quantization%20in%20last%204%25%20of%20training.%20Possibly%20a%20no-op%20under%20torch.compile.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%5D%0A%20%20%20%20return%20(techniques%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20techniques)%3A%0A%20%20%20%20signal_counts%20%3D%20%7B%22early%22%3A%200%2C%20%22medium%22%3A%200%2C%20%22late%22%3A%200%7D%0A%20%20%20%20for%20row%20in%20techniques%3A%0A%20%20%20%20%20%20%20%20signal_counts%5Brow%5B%22signal%22%5D%5D%20%2B%3D%201%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%23%23%20Timing-band%20scorecard%0A%0A%20%20%20%20**%7Blen(techniques)%7D**%20techniques%20in%20catalog%20%C2%B7%0A%20%20%20%20**%7Bsignal_counts%5B%22early%22%5D%7D**%20early%20%C2%B7%0A%20%20%20%20**%7Bsignal_counts%5B%22medium%22%5D%7D**%20medium%20%C2%B7%0A%20%20%20%20**%7Bsignal_counts%5B%22late%22%5D%7D**%20late%0A%0A%20%20%20%20%7C%20Band%20%7C%20Count%20%7C%20Min%20steps%20to%20rank%20%7C%20Budget%20lane%20%7C%20Representative%20techniques%20%7C%0A%20%20%20%20%7C---%7C---%3A%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20early%20%7C%20%7Bsignal_counts%5B%22early%22%5D%7D%20%7C%201%E2%80%93500%20%7C%20600%20s%20contended%20screen%3B%20several%20per%20day%20%7C%20Muon%2C%20SmearGate%2C%20BigramHash%2C%20XSA%2C%20QK-Norm%20%2B%20Z-loss%2C%20OrthoInit%20%2B%20LN%20Scale%20%7C%0A%20%20%20%20%7C%20medium%20%7C%20%7Bsignal_counts%5B%22medium%22%5D%7D%20%7C%20500%E2%80%932%2C000%20%7C%201%2C800%20s%20exclusive%20promotion%20after%20early%20screen%20%7C%203%C3%97MLP%2C%20EMA%2C%20AttnRes%2C%20Partial%20RoPE%20%7C%0A%20%20%20%20%7C%20late%20%7C%20%7Bsignal_counts%5B%22late%22%5D%7D%20%7C%202%2C000%2B%20or%20final%20tail%20%7C%20full-length%20slot%20only%3B%20never%20short-probe%20graded%20%7C%20Depth%20recurrence%2C%20STP-lite%2C%20JEPA-lite%2C%20Late%20QAT%20%7C%0A%0A%20%20%20%20%7C%20Claim%20%7C%20Evidence%20basis%20%7C%20Sequencing%20rule%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20Early%20band%20is%20short-probe%20viable%20%7C%20Muon%20vs%20AdamW%20visible%20by%20~100%20steps%3B%20QK-norm%20prevents%20divergence%20from%20step%201%20(competition%20ablations%3B%20Keller%20Jordan%20speedrun)%20%7C%20Rank%20several%20early%20ideas%20per%20600%20s%20window%20%7C%0A%20%20%20%20%7C%20Medium%20band%20needs%20promotion%20length%20%7C%20EMA%20benefit%20needs%20~1%2C000%2B%20late%20snapshots%3B%203%C3%97MLP%20ranks%20reliably%20only%20after%20~800%E2%80%931%2C200%20steps%20(Apple%20EMA%20scaling%20note%3B%20PG%20ablation%20table)%20%7C%20Exclusive%201%2C800%20s%20rerun%20before%20trusting%20order%20%7C%0A%20%20%20%20%7C%20Late%20band%20is%20window-sensitive%20%7C%20Depth%20recurrence%2C%20JEPA%2FSTP%20aux%20losses%2C%20Late%20QAT%20tail%20need%20thousands%20of%20steps%20or%20the%20last%20~4%25%20of%20training%20%7C%20Queue%20only%20when%20a%20long%20slot%20exists%20%7C%0A%20%20%20%20%7C%20Short%20loss%20%E2%89%A0%20negative%20verdict%20for%20late%20ideas%20%7C%20LN%20Scale%20regressed%20at%20~1%2C070%20steps%20on%20an%20underfit%20model%20%7C%20Retest%20at%205%2C000%2B%20steps%2C%20not%20in%20the%20screen%20queue%20%7C%0A%0A%20%20%20%20Filter%20the%20table%20below%20by%20band%20to%20build%20a%20run%20queue%20for%20the%20window%20you%20actually%20have.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20signal_filter%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22all%22%2C%20%22early%22%2C%20%22medium%22%2C%20%22late%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22all%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Signal%20timing%22%2C%0A%20%20%20%20)%0A%20%20%20%20signal_filter%0A%20%20%20%20return%20(signal_filter%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20signal_filter%2C%20techniques)%3A%0A%20%20%20%20filtered%20%3D%20techniques%0A%20%20%20%20if%20signal_filter.value%20!%3D%20%22all%22%3A%0A%20%20%20%20%20%20%20%20filtered%20%3D%20%5Bt%20for%20t%20in%20techniques%20if%20t%5B%22signal%22%5D%20%3D%3D%20signal_filter.value%5D%0A%0A%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20f%22%7C%20%7Bt%5B'name'%5D%7D%20%7C%20%7Bt%5B'signal'%5D%7D%20%7C%20%7Bt%5B'steps'%5D%7D%20%7C%20%7Bt%5B'cost'%5D%7D%20%7C%20%7Bt%5B'notes'%5D%7D%20%7C%22%0A%20%20%20%20%20%20%20%20for%20t%20in%20filtered%0A%20%20%20%20%5D%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%23%23%20Techniques%0A%0A%20%20%20%20Showing%20**%7Blen(filtered)%7D**%20technique(s).%20We%20use%20the%20filter%20above%20to%20build%20a%0A%20%20%20%20run%20queue%20for%20a%20given%20window%3A%20*early*%20rows%20are%20safe%20to%20rank%20in%20a%20600%20s%20check%2C%0A%20%20%20%20*medium*%20rows%20need%20an%201800%20s%20exclusive%20run%2C%20and%20*late*%20rows%20are%20only%20worth%0A%20%20%20%20queueing%20when%20a%20full-length%20slot%20is%20available.%0A%0A%20%20%20%20%7C%20Technique%20%7C%20Signal%20%7C%20Steps%20to%20rank%20%7C%20Cost%20%7C%20Notes%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C---%7C---%7C%0A%20%20%20%20%7Bchr(10).join(rows)%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20What%20we%20actually%20tried%0A%0A%20%20%20%20Entries%20distilled%20from%20the%20run%20record.%20Unless%20noted%2C%20runs%20are%208xA40%2C%20600%20s%0A%20%20%20%20wall-clock%2C%20~1%2C070%20steps%3B%20the%20sealed%20metric%20is%20int8%2Bzlib%20roundtrip%20val_bpb.%0A%0A%20%20%20%20-%20**SmearGate%20%E2%80%94%20the%20bug%20that%20taught%20us%20the%20most.**%20We%20added%20a%0A%20%20%20%20%20%20neighbor-blending%20gate%20and%20saw%20val_bpb%200.0022%20by%20step%20100%2C%20far%20below%20the%0A%20%20%20%20%20%201.1248%20competition%20record.%20It%20was%20leaking%20the%20answer%3A%20the%20pad%20copied%0A%20%20%20%20%20%20position%20i%2B1%20into%20position%20i%2C%20and%20the%20next%20input%20token%20is%20the%20current%0A%20%20%20%20%20%20target.%20Made%20causal-only%2C%20the%20rerun%20gave%20an%20honest%201.3786%20at%201%2C074%20steps.%0A%20%20%20%20%20%20Suspiciously%20good%20loss%20is%20a%20bug%20signal%2C%20not%20a%20breakthrough.%0A%20%20%20%20-%20**Partial%20RoPE%20%E2%80%94%20the%20free%20win%20we%20carry%20forward.**%20We%20rotated%2016%20of%2064%20head%0A%20%20%20%20%20%20dims.%20The%20run%20was%20faster%20(549%20vs%20559%20ms%2Fstep%2C%20~20%20extra%20steps%20in%20the%0A%20%20%20%20%20%20window)%20and%20finished%20at%201.3711%20quant%20BPB%20vs%201.3786%20for%20the%20causal-fix%0A%20%20%20%20%20%20baseline%20%E2%80%94%20best%20or%20tied-best%20of%20the%20family.%20It%20is%20now%20our%20default.%0A%20%20%20%20-%20**LN%20Scale%20%E2%80%94%20a%20regularizer%20punished%20us%20for%20underfitting.**%20We%20enabled%0A%20%20%20%20%20%20depth-scaled%20residuals%20and%20it%20finished%20last%20in%20every%20metric%3A%201.3916%20quant%0A%20%20%20%20%20%20BPB%2C%20slowest%20at%20563%20ms%2Fstep.%20At%20~1%2C070%20steps%20the%20model%20has%20seen%20under%200.7%25%0A%20%20%20%20%20%20of%20the%20data%2C%20and%20regularizing%20an%20underfitting%20model%20makes%20it%20worse.%20We%0A%20%20%20%20%20%20would%20only%20retest%20it%20at%205%2C000%2B%20steps.%0A%20%20%20%20-%20**Bigger%20batch%20(786K%20tokens)%20%E2%80%94%20a%20systems%20loss%2C%20not%20a%20modeling%20result.**%20We%0A%20%20%20%20%20%20raised%20batch%201.5%C3%97%20to%20use%20spare%20VRAM%3B%20steps%20got%2046%25%20slower%2C%20we%20got%2031%25%20fewer%0A%20%20%20%20%20%20of%20them%2C%20and%20quant%20BPB%20fell%20to%201.4877%20vs%201.3786.%20In%20this%20regime%20more%0A%20%20%20%20%20%20gradient%20updates%20beat%20stabler%20gradients.%0A%20%20%20%20-%20**EMA%20%E2%80%94%20the%20signal-timing%20table%20predicted%20this%20one.**%20Our%20clean%20exclusive%0A%20%20%20%20%20%20MI300X%20check%20of%20EMA(0.997)%20finished%20at%201.4870%20val_bpb%20over%20815%20steps%20vs%0A%20%20%20%20%20%201.3971%20for%20the%20same-window%20baseline%3A%20behind%2C%20exactly%20what%20we%20expect%20when%20a%0A%20%20%20%20%20%20weight%20average%20gets%20too%20few%20late%20snapshots.%20An%20earlier%20contended%20read%20was%0A%20%20%20%20%20%20unusable%20(3%C3%97%20GPU%20sharing).%0A%20%20%20%20-%20**XSA%20and%20Late%20QAT%20%E2%80%94%20reads%20we%20refuse%20to%20grade%20yet.**%20The%20XSA4%20run%20(on%0A%20%20%20%20%20%201%C3%97MI300X)%20landed%20at%201.5011%20val_bpb%20over%20only%20481%20steps%2C%20confounded%20by%20a%0A%20%20%20%20%20%20slow%20manual%20attention%20path%20%E2%80%94%20implementation%20speed%20drowned%20the%20architecture%0A%20%20%20%20%20%20signal.%20Late%20QAT's%204%25%0A%20%20%20%20%20%20tail%20was%20just%2043%20steps%20here%20and%20still%20moved%20quant%20BPB%201.3786%20%E2%86%92%201.3711%3B%20real%0A%20%20%20%20%20%20but%20tiny%2C%20and%20the%20fair%20test%20needs%20a%2010%2C000-step%20run.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Interpretation%0A%0A%20%20%20%20**Budget%20sequencing%20takeaway.**%20Signal%20timing%20is%20the%20primary%20sort%20key%20for%20the%0A%20%20%20%20queue%2C%20not%20charisma%20or%20paper%20prestige.%20Burn%20cheap%20600%20s%20batches%20on%20early-band%0A%20%20%20%20ideas%20where%20a%20few%20hundred%20steps%20already%20separate%20signal%20from%20noise%3B%20spend%0A%20%20%20%201%2C800%20s%20exclusive%20runs%20only%20on%20medium-band%20survivors%3B%20hold%20late-band%20and%0A%20%20%20%20regularizer-shaped%20ideas%20until%20step%20counts%20match%20their%20design%20(thousands%20of%0A%20%20%20%20steps%2C%20or%20the%20final%20quantization%20tail).%20Promotion%20%E2%80%94%20re-running%20the%20current%0A%20%20%20%20winner%20at%203%C3%97%20wallclock%20%E2%80%94%20is%20how%20the%20sealed%20leaderboard%20moved%20from%20~1.40%20to%0A%20%20%20%20**1.2949**%20quantized%20val%20BPB%3B%20that%20hop%20is%20mostly%20more%20steps%20on%20the%20best%0A%20%20%20%20variant%2C%20not%20a%20new%20architecture%20trick.%0A%0A%20%20%20%20**What%20this%20catalog%20is%20not.**%20It%20is%20not%20a%20controlled%20bake-off%20of%20all%20fourteen%0A%20%20%20%20techniques%20at%20matched%20budgets.%20Many%20rows%20are%20still%20hypotheses%20queued%20by%20timing%0A%20%20%20%20band%3B%20the%20narrative%20bullets%20above%20are%20selected%20run-record%20reads%2C%20not%20a%20complete%0A%20%20%20%20factorial.%20Before%20any%20head-to-head%20claim%2C%20equalize%20steps%20and%20wallclock%20%E2%80%94%20the%0A%20%20%20%20leaderboard%20lineage%20view%20exists%20for%20that%20honesty%20check.%0A%0A%20%20%20%20%23%23%20Where%20this%20goes%20next%0A%0A%20%20%20%20Honest%20next%20steps%2C%20taken%20from%20the%20open%20questions%20in%20our%20own%20run%20record%3A%0A%0A%20%20%20%201.%20**Finish%20the%20fair%20NTK%20verdict.**%20Fixed-length%20eval%20never%20exercises%20longer%0A%20%20%20%20%20%20%20context%2C%20so%20our%20earlier%20NTK%20run%20could%20look%20like%20a%20no-op%20even%20if%20the%20code%20is%0A%20%20%20%20%20%20%20correct.%20The%20live%20test%20(%60exp018_ntk_sliding_eval_gqa%60)%20evaluates%202048-token%0A%20%20%20%20%20%20%20windows%20with%20stride%2064%3B%20that%20run%2C%20not%20the%20fixed-length%20one%2C%20decides%20NTK.%0A%20%20%20%20%20%20%20The%20interrupted%20KV8%2BNTK%20branch%20(killed%20at%20step%20300)%20also%20still%20owes%20us%20a%0A%20%20%20%20%20%20%20clean%20rerun.%0A%20%20%20%202.%20**Give%20regularizer-shaped%20ideas%20a%20long-run%20lane.**%20LN%20Scale%2C%20SWA%2C%20EMA%2C%20and%0A%20%20%20%20%20%20%20the%20JEPA%2FSTP%20family%20all%20act%20like%20regularizers%2C%20and%20grokking-style%20effects%0A%20%20%20%20%20%20%20can%20land%20at%20step%201%2C500%E2%80%933%2C000%20%E2%80%94%20outside%20our%20~1%2C070-step%20A40%20window.%20The%20plan%0A%20%20%20%20%20%20%20is%202%2C400%20s%20(~3%2C200-step)%20windows%2C%20or%20H100%20runs%20with%205%2C000%2B%20steps%2C%20before%20we%0A%20%20%20%20%20%20%20pass%20judgment%20on%20any%20of%20them.%0A%20%20%20%203.%20**Re-stack%20the%20small%20wins%20on%20the%20best%20base.**%20SWA%20(1.3741)%20and%20Late%20QAT%0A%20%20%20%20%20%20%20(1.3711)%20each%20beat%20the%201.3786%20baseline%20on%20their%20own.%20The%20queued%20follow-up%0A%20%20%20%20%20%20%20is%20OrthoInit%20on%20the%20Partial-RoPE%20base%20(%60exp017_partial_rope_ortho%60)%2C%20then%0A%20%20%20%20%20%20%20re-applying%20Late%20QAT%20%E2%80%94%20possibly%20with%20an%208%E2%80%9310%25%20tail%20on%20A40%20so%20the%20effect%20is%0A%20%20%20%20%20%20%20measurable%20%E2%80%94%20once%20the%20architecture%20stack%20settles.%0A%0A%20%20%20%20Companion%20view%3A%20the%20public%20**Run%20Leaderboard**%20notebook%20ranks%20sealed%0A%20%20%20%20%60result.json%60%20artifacts%20by%20quantized%20validation%20BPB.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A

← research