AI Vibe Digest за 6 июля 2026
Кратко главное
- HOLA дополняет линейное внимание эпизодической памятью важных токенов — перплексия снижена на 16%, длинный контекст заработал даже на слабых устройствах
- LongCat-2.0 выложена в open-source — MoE-модель на 1,6 трлн параметров и 48 млрд активных, заточена под программирование и контекст в миллион токенов
- ML system design стала навыком для ИИ-агентов — навык ревьювит архитектуру проектов, устанавливается одной командой
- Ян Лекун продвигает JEPA — обучение через предсказание абстрактных представлений — обзор 30-летней истории идеи, ведущей к моделям мира без предсказания пикселей
Подробности по блокам
Модели и архитектуры
Gonzo-обзоры ML статей разбирает архитектуру Hippocampal Linear Attention (HOLA). К линейному вниманию Gated DeltaNet добавляется точный кэш всего на 64 токена, отбираемых по встроенной мере «удивления» — это резко улучшает многошаговый поиск ассоциаций без роста числа параметров. На Wikitext-103 перплексия упала на 16,1%, а масштабирование до 32k токенов почти не нагружает память — путь к эффективной обработке длинного контекста на edge-устройствах.
Анализ данных сообщает, что Meituan открыла исходный код LongCat-2.0. Это смесь экспертов на 1,6 трлн параметров (48 млрд активных), рассчитанная на агентное программирование и контекст до 1 млн токенов. Внутри — sparse attention, ScMoE для экономной активации экспертов и разделение задач между агентными и reasoning-экспертами; модель набирает 59,5 на SWE-bench Pro и поддерживает развёртывание на GPU и NPU.
Инструменты и практика
Kantor.AI рассказывает, как книга про ML system design превратилась в навык для ИИ-агентов. Навык устанавливается одной командой через skills.sh, содержит набор рубрик для ревью и умеет оценивать дизайн-документы и проекты лучше агента из коробки, попутно ссылаясь на авторов как на авторитеты.
Наука и концепции
Sinекура публикует большой обзор JEPA — Joint-Embedding Predictive Architecture. Ян Лекун уже тридцать лет развивает идею: вместо предсказания пикселей или токенов учить модель предсказывать абстрактные представления скрытых частей — тогда система сама отбрасывает непредсказуемое, вычленяя суть. Обзор прослеживает путь от сиамских сетей 1993 года до современных V-JEPA и моделей мира, способных планировать без RL.