Кога да не използвате AI агент

Полезният въпрос за LLM агентите не е какво могат. А какво им е позволено да правят, когато никой не гледа в единадесет вечерта на последния ден от месеца.

Три места, където агентът си заслужава

Неструктуриран вход, ограничен изход. Имейл от доставчик пристига в някоя от четиридесет форми и трябва да се превърне в шест полета. Това е езикова работа с проверим резултат - точно видът задача, в който моделът е добър.

Преценка в тесен коридор. Съпоставяне на плащане с фактура, когато основанието е изписано грешно. Системата с правила изисква всеки вариант да е описан предварително; моделът обобщава, а отговорът може да се провери спрямо счетоводната книга.

Триаж. Решение в коя от пет опашки принадлежи даден случай, когато грешният отговор струва пренасочване, а не плащане.

Забележете какво е общото. Изходът е малък, верният отговор е известен, а грешката е поправима.

Четири места, където не си заслужава

Когато съществува детерминистично правило. Ако логиката е „ставка на ДДС по код на държава“, справочната таблица е по-евтина, по-бърза, подлежи на одит и не може да се отклони. Да я обвиете в модел е разход без никаква полза.

Когато изходът е последната дума. Агент, който осчетоводява запис без последваща проверка, е непрегледано решение в мащаб. Поставете модела там, където отговорът му се потвърждава от нещо - салдо, сума, втора система.

Когато не можете да съставите тестов набор. Ако не можете да подготвите двеста етикетирани случая със съгласувани верни отговори, не можете да разберете дали промяна в промпта е подобрила, или влошила нещата. Ще работите по усет, а усетът ще е отпреди шест седмици.

Когато процесът се променя всяка седмица. Моделите не се адаптират към промяна в политиката. Някой трябва да я забележи, да етикетира наново и да оцени наново. Ако такъв човек няма, агентът постепенно започва да греши по начин, който изглежда, сякаш още работи.

Наборът за оценка е крайният продукт

Артефактът, който определя дали агентът ще оцелее, не е промптът. Това е наборът от случаи с известни отговори, праговете, които решават какво отива при човек, и средата, която изпълнява и двете при всяка промяна. Изградете ги преди промпта и останалата част от проекта става по-лесна; изградете ги след това и никога няма да стигнете до тях.

Кратък тест

Преди да добавите стъпка с агент, отговорете писмено на три въпроса. Какво точно извежда моделът? Какво проверява, че е вярно? Какво става със случай, за който моделът не е уверен?

Ако някой от отговорите е „ще го погледнем“, все още нямате автоматизация. Имате демонстрация.