Контекст
Информация, которую система получает перед генерацией. Чем качественнее контекст, тем меньше пространства для догадок.
От чат-ботов до автономных рабочих процессов — разбираем, как меняется взаимодействие человека и машины.
Современная модель может не только сформулировать текст, но и работать с файлами, вызывать инструменты, проверять промежуточный результат и возвращаться к задаче. Важен уже не отдельный ответ, а весь процесс.
Главная инженерная задача — не сделать систему максимально автономной, а определить границы, в которых она остаётся предсказуемой.
Информация, которую система получает перед генерацией. Чем качественнее контекст, тем меньше пространства для догадок.
Внешняя функция, позволяющая модели взаимодействовать с миром: поиск, вычисления, базы данных или API.
Система, которая использует модель как часть цикла планирования и выполнения действий.
Локальные модели интересны там, где важны автономность, задержка, контроль данных и работа без постоянного соединения. Ограничение очевидно: вычислительные ресурсы устройства становятся частью уравнения.