Заметив щось цікаве, що відбувається на ринку ІІ останні місяці. Свято закінчилося. Той період, коли великі компанії фінансували все, а ми могли використовувати токени, ніби вони були проточною водою? Залишився позаду.

Протягом двох років ми жили в комфортній ілюзії. OpenAI, Anthropic та інші гіганти спалювали інвестиційні гроші, щоб субсидувати наше використання. Тож що ми робили? Надсилали величезні підказки, тисячу слів у тексті, просили GPT-4 виконати безглузді завдання, які міг вирішити проста правила. Бо це було дешево. Бо нам не потрібно було думати про витрати.

Але тепер реальність стукає у двері. Токени стали справжньою валютою. Кожне слово, кожен пробіл, кожна пунктуація — все має ціну. І коли ви починаєте масштабуватися, коли ваш щоденний обсяг зростає до мільйонів або мільярдів запитів, той «1К токенів» — незначна кількість — перетворюється на кровотечу, яку ніхто не може зупинити.

Проблема в тому, що більшість компаній не має уявлення, де витрачаються гроші. Люди дивляться на зростаючий щомісячний рахунок і не знають, що робити.

Приклад: ви ввічливі, коли спілкуєтеся з ІІ? «Hello, could you help me out? Thank you so much...» Так і є. Кожне «please» і «thank you» — це токен, що стягується. Моделі не мають емоцій, їм не потрібна вихованість. Ще страшніше — великі системні підказки, які створюють розробники для забезпечення стабільності. Тисяча інструкційних токенів, що перераховуються в кожній розмові. Витрата даремна.

Далі — неконтрольований RAG. Теоретично ідеально: витягує три найрелевантніші документи і все. На практиці? Векторна база даних витягує десять випадкових PDF-файлів, кожен по десять тисяч слів, і все це подає моделі. «Зроби, що можеш», — думає розробник. Результат: модель читає півбібліотеки, і ви платите за кожну сторінку.

І навіть не починаю з агентів у нескінченних циклах. Це чорна діра для токенів. Якщо API зламається або логіка зайде у безвихідь, агент починає безглуздо крутитися, споживаючи вихідні токени — які коштують у кілька разів більше за вхідні. Ваш кредитний картка порожніє, поки ви спите.

Але тут цікаво: індустрія прокидається до рішень. Семантичний кеш — найпростіший. Запити користувачів за своєю природою повторювані. «Як скинути пароль?» — робиться тисячі разів. Чому не викликати GPT-4 щоразу? Семантичний кеш перетворює запит у вектор, виконує пошук за попередніми запитами, і якщо знайде щось схоже, повертає з кешу. Нуль витрат токенів. Затримка зменшується з секунд до мілісекунд. Це не лише економія, а й зміна масштабу досвіду.

Далі — компресія підказок. Не ви вручну видаляєте слова. Алгоритми на основі ентропії інформації здатні визначити, що є суттєвим, а що — шумом. Вони можуть стиснути текст із тисячі токенів, зберігаючи основний зміст для трьохсот. Нехай машини спілкуються між собою у своєрідному «марсіанському тексті», який ми не розуміємо, але модель — цілком. Ви економите 70% на тарифах.

А справжня революція — маршрутизація моделей. Не кладіть усе у найдорожчу модель. Просте витягування сутностей, переклад, конвертація форматів? Надсилайте до Llama 3 8B, що працює локально, або до Claude 3 Haiku. Майже безкоштовно. Глибокий розум, складне програмування? Тоді викликайте GPT-4 або Claude 3.5 Sonnet. Це як ефективна компанія: рецепціоніст вирішує прості запити, CEO займається стратегією. Ті, хто зможе це реалізувати, зменшать загальні витрати на токени у десять разів порівняно з конкурентами.

Що мене ще вражає — це фреймворки, такі як OpenClaw і Hermes, вже працюють у цій реальності. OpenClaw — одержимий ефективністю. Не використовує грубу методику — подавати весь контекст. Змушує модель видавати структурований вихід — строгий JSON, бінарні формати. Вилучає зайві символи під час генерації. ІІ «не спілкується», він «надає таблицю». Здається просто, але це елегантний трюк для економії даних.

Hermes іде іншим шляхом. Динамічна пам’ять. Зберігає лише останні 3-5 раундів діалогу у робочій пам’яті. Коли перевищує ліміт, легка модель підсумовує все кількома ключовими фразами і зберігає у векторній базі. Знання залишається, історія — видаляється. Це як операція пам’яті, а не сміття, що викидається.

Але найважливіша зміна у менталітеті? Перестати вважати токени витратами і почати думати про ROI. Кожен витрачений токен — інвестиція. Який повернення? Зросла кількість закритих запитів? Час виправлення багів зменшився? Або це просто беззмістовна фраза?

Якщо функція коштує 0,1 юаня за правилами, але 1 юань при використанні великої моделі з урахуванням лише 2% підвищення конверсії, — сміливо відмовляйтеся. Відмовтеся від ідеї «великої і всеосяжної» ІІ і переходьте до «маленької і елегантної». Навчіться казати «ні» бізнес-відділам.

Це антиклімакс, я знаю. Здається дуже застарілим. Але саме так індустрія ІІ дозріває. Це не кібертехно, а швидше управління традиційним супермаркетом. Обчислюйте кожен токен, як власник магазину — кожен товар.

Наприкінці, коли приплив спаде, вони виявлять, хто був голий. І цього разу спад — це хвиля субсидій. Лише ті, хто зуміє перетворити кожну краплю токена на золото, будуть готові до майбутнього.