AI уже кардинально изменил 2 сферы:

  • разработка ПО (ускоряет работу программистов в разы)
  • маркетинг (создание сайтов, иллюстраций, рекламы как картинок, так и видео)

Если вы еще не используете AI в этих 2х сферах, то вы отстали. Это уже больше не игрушка или эксперименты.

Мысли по поводу использования AI

Практически про каждый абзац можно было бы написать как минимум отдельную заметку, но в данном случае это краткие идеи за последние месяцы.

Время ничто — качество все: лучше использовать более медленные модели, но которые лучше работают. В итоге будет быстрее. Это так же означает, что более выгодно использовать самую дорогую модель для средних и сложных задач.

Из-за демпинга облаков нет смысла покупать свое железо для коммерческого использования (грубо говоря для написания кода; персональные данные все же лучше не сливать моделям, особенно бесплатным сервисам, там наверняка что-то есть про обучение). Лучше брать планы подписок, а не оплату за использование по той же причине.

Если не смотреть на цену, то я бы брал где-то 1Тб GPU для запуска полноценных open source моделей. Больше не нужно, просто таких моделей нет особо. Меньше – уже компрописы из-за стоимости. Для ориентира: mac mini c 96гб оперативки, что позволит запускать 80b модели и меньше (например, qwen3 coder next), стоит порядка 400тр, что соответствует 25 месяцам дорогой подписки за 200$ на облачную модель. А при базовой подписке 20$ это вообще 20 лет, даже без учета электричества и прочего.

На данный момент лучшая облачная модель – Opus 4.6. Лучшая локальная модель для mac-ноутбуков – gpt-oss:20b. Есть еще GLM 4.7 Flash, но на моем железе в режиме агента слишком медленно работает. Еще использую translategemma:27b для переводов. Другие модели не использую.

Достаточно важно, что китайцы не сильно остают от американцев. И опенсорсят много. Русских не видел в Ollama практически (что-то иногда выгладывают, но непонятно как запускать, видимо, сами не заинтересованы, а выкладывают непонятно почему). По ощущениям GigaCode не очень, но, конечно, лучше, чем ничего.

Как ни странно, оказалось, что удобнее cli-агенты, а не плагины к VS Code.

RAG пока что не пользуюсь (может VS Code плагины внутри пользуются, я про явную настройку). Обычно как-то достаточно явно указать 1-2 файла.

Важно дать модели проверить свои результаты, чтобы сама могла исправить ошибки.

Модели хорошо пишут промпы, в том числе, и для генерации картинок.

Можно модели просить отвечать в JSON / XML (чтобы потом переиспользовать в последующих промптах). Сейчас так же появился тренд на создание промптов в JSON.

Prompt engineering остановился более-менее – уже известны правила, новое практически не появляется. Сейчас главный аспект: предоставить контекст и возможность проверить.

Большой промпт для фичи, короткие для улучшений и исправлений ошибок. Для длинных промптов лучше всегда включать режим планирования, для коротких по ощущениям (справится с первого раза или нет).

Человек все еще отвечает за сгененированный код (особенно, если он программист). Так что нужно руками допиливать условно 20% кода после генерации. Вайбкодить (пытаться заставить эти исправления сделать AI) дольше получается, но нужно и постоянно улучшать правила для AI, чтобы лучше генерировал с первого раза.

Сначала были просто промпты. Потом появились команды как макросы промптов (что-то вроде howto из 90-ыx). Потом появились mcp как возможность интегрировать модели с внешним миром. Сейчас появились скилы как объединение промптов, файлов ресурсов и скриптов. Так что у cli-утил ренесанс из-за их простой интеграции со скилами и промптами, а mcp несколько сдали позиции.

Персонального агента с облачным llm можно запустить на чем угодно: там ресурсы никакие не нужны, важна только постоянная работа. Думаю что-то такое настроить в ближайшее время, посмотрим как пойдет.

VS Code с плагинами (и/или cli-вариант агентов) можно использовать не только для программирования, это универсальный инструмент работы с LLM с возможностью донастройки и локальными файлами, а не просто чат в браузере.

Модели все еще несовершенны, время от времени придумываются какие-то костыли (как их запускать многократно на одну и ту же задачу и прочее). Иногда можно автоматизировать, иногда что-то руками быстрее сделать. В идеальном мире в скил попадает то, что нужно и опытному сотруднику (хоть и новичку в проекте) рассказывать. Лучше отделять костыли от необходимых инструкций.

Дообучение моделей: практически не видно в этом активности. Настроек на базе скилов более чем достаточно и проще. Это осталось только для моделей генерации картинок, но не в LLM.

Можно запускать агентов с локальными LLM (ollama launch). Тут важно выставить context хотя бы в 64kb. Это для каких-то экзотических случаев, но вполне работает.

Сейчас имеет смысл параллельно работать с несколькими сессиями агентов: одна что-то делает, еще одну готовим. Обычно у меня 2 сессии, иногда 3. Как-то больше не особо получается. В сети есть сообщение о 5 параллельных сессиях на компьютере и еще 10 в облаке. Было бы интересно понять как у него так получается, скорее всего регулярные команды поддежки и уборки в облаке и многоступенчатое планирование локально.

Есть еще локальные OCR модели. Ради интереса – пробовал, работает, но особо не для чего использовать.

Если говорить про разработку кода, то появление AI требует от разработчика более архитектурные знания и подход, чем при самостоятельной разработке. Приходится корректировать чужой код, а не писать как научили самому. Так же, приходится писать инструкции как правильно писать код. Так что значение практик и архитектуры только выросло. По сути, идет переход от рядового разработчика к тим- и техлиду агентов, хоть и без особенностей управления людьми (не нужно думать о мотивации и прочем).

AI умножитель: как хорошего, так и плохого.