#nope
3 discoveries · Hand-picked discoveries from the open web, newest first.
-
Какие слои что знают: сравниваем RWKV-7 и трансформеры послойными пробами
Где языковая модель хранит порядок слов, грамматику и смысл — и зависит ли это от архитектуры? Я обучил 12 небольших моделей, которые отличаются только архитектурой, и проверил линейными пробами каждый слой каждого чекпоинта. Короткий вывод: на этом масштабе заметнее всего различается то, как хранится позиция токена , а для синтаксиса и смысла модели при равном loss выглядят похоже. Сравнивал RWKV-7 , трансформер с RoPE и трансформер без позиционного кодирования (NoPE) . Размеров два (56.6M и 115M параметров), языков два (русский, английский), на модель 1–2 млрд токенов, по 21 чекпоинту на про
Habr · RU
-
Nope, this is not at all metaphorical: “In its glory...
Nope, this is not at all metaphorical : “In its glory days, the S.S. United States was fast, luxurious and all but indestructible.” RIP, the United States.
Kottke · EN
-
Why the Best Filmmakers Fake It
Making movies is a wondrous thing. You write something that may feel simple, like a character in a certain type of car pulls up to a stop sign in Beverly Hills, then pulls away. It might not seem like much, but now someone has to source that picture car, secure the location, lock down the street, hire a driver if necessary, and get a whole crew set up for this moment. It's hard, and it's a miracle, and it happens with every single line of a script. But now imagine you've written something a little more difficult. Maybe it's someone nearly drowning and needing to be shot underwater. Maybe it's
Nofilmschool · EN