
На днях мне попался ставший вирусным твит, в котором говорилось, что люди, жалующиеся на то, что большие языковые модели (LLM) порождают медленный и раздутый код, ещё будут кусать локти, когда всё перепишут на сверхоптимизированном ассемблере. Мы пока не настолько продвинулись, чтобы захотеть писать всё на ассемблере , но нечто похожее на то, что Нолан Лоусон сказал о тестировании ( теперь вы сами можете выбирать, сколько ошибок вам нужно ), а я сформулировал менее изящно , становится всё более справедливым и в отношении производительности. В ответ на комментарий к моей предыдущей статье о том, что стоимость работ по оптимизации производительности, которые раньше требовали узкоспециализированных навыков, снизилась на многие порядки , а задачи, для которых прежде требовался специалист или целая команда с редким набором компетенций, теперь может выполнять любой, кто способен набрать несколько предложений 1 , и значит, теперь можно применять самые разные оптимизации, которые раньше были слишком дороги и не окупались нигде, кроме крупнейших или наиболее прибыльных проектов, Марк Брукер ответил следующим образом : Полностью согласен с вашим заключительным тезисом. Вполне вероятно, что в итоге мы придём к динамически создаваемому специализированному ПО, подогнанному под конкретную рабочую нагрузку, а не под целый класс нагрузок. (А это, в свою очередь, открывает массу интересных возможностей и несёт самые разные риски.) Это чем-то напоминает мне FFTW . А ещё — множество необычных старых трюков демосцены, суть которых заключалась в том, чтобы добиться максимальной скорости и компактности при решении какой-то одной очень специфической задачи (зачастую ещё и на конкретном оборудовании). Например, помню одно демо, в котором код использовался ещё и в качестве текстур, чтобы добиться высокой локальности данных в кэше. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page