Експертът в областта на изкуствения интелект Робърт Юсеф е открил елегантен начин да се спестят между 59 и 70% от токените при сесиите с Claude Fable 5. Нещо повече, примерът, посочен от разработчика, при който цената на сесията е намалена от 42 до 6 долара показва, че в някои случаи резултатът при прилагането на метода му може да бъде дори по-добър.
Същността е много проста: броят на текстовите токени при голям обем данни (обикновено думи или срички) е много по-голям, отколкото когато същият текст се предава под формата на изображение. Цената на един токен на изображение зависи единствено от размера на пикселите, а не от броя символи върху него, т.е. текстът се предава на по-ниска цена. AI моделите на Anthropic могат да четат данни от скрийншотове и други изображения, така че трябва само да се възползвате от това.„Цената на токена на изображението се определя от неговите размери в пиксели, а не от количеството текст в него. Плътното съдържание съдържа ~3,1 символа на токен на изображението в сравнение с ~1 символ на текстов токен в реалния трафик на Claude Code. Четецът е същият визуален канал, на който Anthropic вече разчита за скрийншотове. Pxpipe е локален прокси сървър, който използва този канал за контекст: той презаписва големи части от всяко запитване в компактни PNG файлове, преди те да напуснат вашия компютър. При настоящите цени на Fable това означава с около 59–70% по-ниска сметка за целия период, но цените се променят, а работните натоварвания варират, затова стабилната величина е самият размер на токена, измерен за всяко запитване.“
пише Юсеф в GitHubI cut my Fable 5 token usage by about 60% this week.
one session went from $42 to $6. same output, same model.
the method sounds stupid, and this is the week it matters most 👇 pic.twitter.com/VkD7u1t5JC
Разработчикът е създал прокси-инструмента Pxpipe под лиценз MIT. Програмата автоматично открива и улавя големи блокове текст по пътя към FZSH модела. Инструментът генерира ZTP файл от полученото съдържание, който след това изпраща на AI модела. Юсеф дава пример за такъв файл.
Според разработчика обработката на данните от изображенията е много точна. При изискване за абсолютна точност AI не е халюцинирал, не е измислял и не е изкривявал данните. Намаляването на разходите позволява да се получи приблизително 2,5 пъти повече работно време на AI модела за същите пари.