Облачный AI – удобно, никто не спорит.
При этом уже сейчас достаточно дорого: за те же LLM при активном использовании уже сейчас предлагают 200+$ в месяц. И ходят слухи, что это все равно считаются дотационными тарифами для захвата рынка.
Проблемы облачных сервисов:
- защита данных
- доступность без интернета
- непредсказуемость обновлений – оно в любой момент может как-то плохо обновиться или сломаться
- непредсказуемость цены – чем дальше облачные LLM будут от локальных, тем дороже они станут. Конкуренция особо работать не будет, т.к. глобально игроков очень мало: будет явный или неявный ценовой сговор.
- дороговизна – уже сейчас 2400$ в год может быть – вполне заставляет задуматься о покупке своего железа
Лучше всего сейчас строить локальные AI на базе Apple M-процессоров (особенно б/ушных): тихо, эффективное энергопотребление, малый размер, цена примерно как у других вариантов, можно перепродать или использовать как обычный компьютер. Есть машинки на 512 RAM (8550$ за новый) и на 64 RAM (1840$ за новый).
Надеюсь, со временем появятся и другие компьютеры с совмещенной обычной и графической памятью, чтобы составить конкуренцию Apple.
Пока что у меня особого оборудования нет, но что-то можно запускать. Текущие фавориты:
- codestral (12Gb)
- deepseek-r1:14b (9Gb)
- qwen3:30b-a3b (18Gb)