Облачный AI – удобно, никто не спорит.
При этом уже сейчас достаточно дорого: за те же LLM при активном использовании предлагают 200+$ в месяц. И ходят слухи, что это все равно считаются дотационными тарифами для захвата рынка.
Проблемы облачных сервисов:
- защита данных
- доступность без интернета
- непредсказуемость обновлений – оно в любой момент может как-то плохо обновиться или сломаться
- непредсказуемость цены – чем дальше облачные LLM будут от локальных, тем дороже они станут. Конкуренция особо работать не будет, т.к. глобально игроков очень мало: будет явный или неявный ценовой сговор.
- дороговизна – уже сейчас 2400$ в год может быть – вполне заставляет задуматься о покупке своего железа
Поэтому крайне важно иметь локальную альтернативу: даже если ей не пользоваться, то ее наличие остановит рост цен на облака. С другой стороны, многие простые запросы можно решать локально и тем самым экономить на стоимости использования облака.
Лучше всего сейчас строить локальные AI на базе Apple M-процессоров (особенно б/ушных): тихо, эффективное энергопотребление, малый размер, цена примерно как у других вариантов, можно перепродать или использовать как обычный компьютер. Есть машинки на 512 RAM (8550$ за новый) и на 64 RAM (1840$ за новый), а так же ноутбуки на 32 gb RAM.
Надеюсь, со временем появятся и другие компьютеры с совмещенной обычной и графической памятью, чтобы составить конкуренцию Apple.
Пока что у меня особого оборудования нет, но что-то можно запускать. На протяжении первой половины 2025 фаворитами были:
- codestral (12Gb)
- deepseek-r1:14b (9Gb)
- qwen3:30b-a3b (18Gb)
Выход ChatGPT 5 ничего не поменял, а вот выход gpt-oss:20b является тихой революцией:
- действительно хорошо отвечает
- небольшая (помещается в ноутбуке на 32Гб RAM с другими открытыми программами)
- быстро отвечает
- хорошо работает с MCP
На данный момент мой локальный фаворит: если что-то спрашиваю, то только у этой модели.
2 модели использования:
- через UI Ollama когда контекст из локальных файлов не нужен
- VS Code + Continue когда нужен