Во второй части разбираю, почему разворот одного направления в двух слоях Qwen на порядок поднимает шанс выйти из петли, и почему тот же приём в принципе не может «вложить» в модель отсутствующий навык. Ещё здесь мой зонд по слоям, связь с ROME, refusal direction и task arithmetic, реальные числа о том, где лежат веса у Qwen, Gemma, Llama и MoE, а также риски и открытые вопросы. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page