Memisahkan logika dari inferensi dalam agen AI meningkatkan skalabilitas dengan memisahkan alur kerja penting dari strategi eksekusi. Saat organisasi beralih dari prototipe AI generatif ke agen yang siap produksi, mereka menghadapi tantangan terkait keandalan. Model Bahasa Besar (LLM) secara inheren tidak dapat diprediksi; sebuah prompt yang berhasil sekali mungkin gagal pada percobaan berikutnya. Untuk mengatasi hal ini, tim pengembang sering kali menerapkan mekanisme penanganan kesalahan yang kompleks, yang dapat mempersulit pemeliharaan.
Keterikatan logika bisnis inti dengan manajemen kesalahan menciptakan basis kode yang rumit. Peneliti dari Asari AI, MIT CSAIL, dan Caltech mengusulkan standar arsitektur baru untuk meningkatkan alur kerja agen di perusahaan. Penelitian mereka memperkenalkan model pemrograman yang disebut Probabilistic Angelic Nondeterminism (PAN) dan implementasi Python yang dikenal sebagai ENCOMPASS. Pendekatan inovatif ini memungkinkan pengembang untuk fokus pada jalur optimal dari alur kerja agen sambil mendelegasikan strategi inferensi ke mesin runtime terpisah, sehingga mengurangi utang teknis dan meningkatkan kinerja tugas otomatis.
Metode pemrograman agen saat ini sering kali menggabungkan dua elemen desain yang berbeda: logika alur kerja inti, yang menguraikan langkah-langkah yang diperlukan untuk menyelesaikan tugas bisnis, dan strategi waktu inferensi, yang mengelola ketidakpastian. Ketika elemen-elemen ini digabungkan, kode yang dihasilkan dapat menjadi rapuh. Misalnya, menerapkan strategi seperti pengambilan sampel 'terbaik dari-N' memerlukan pembungkusan seluruh fungsi agen dalam sebuah loop, sementara strategi yang lebih kompleks memerlukan penulisan ulang yang signifikan dari kode agen.
Kerangka kerja ENCOMPASS memungkinkan pengembang untuk mengidentifikasi 'lokasi ketidakandalan' dalam kode mereka menggunakan primitif yang disebut branchpoint(). Ini memungkinkan konstruksi pohon pencarian dari jalur eksekusi potensial sambil mempertahankan kejelasan logika inti. Para penulis menganjurkan pendekatan 'program-dalam-kontrol', di mana alur kerja didefinisikan oleh kode, dan LLM hanya dipanggil untuk subtugas tertentu. Struktur ini sangat menguntungkan dalam pengaturan perusahaan karena dapat diprediksi dan diaudit dibandingkan dengan sistem yang sepenuhnya otonom.
Para peneliti menunjukkan efektivitas kerangka kerja ini melalui studi kasus yang melibatkan agen penerjemah Java ke Python. Dengan menerapkan strategi pencarian yang diusulkan, mereka menemukan bahwa memisahkan logika dari inferensi tidak hanya meningkatkan keterbacaan tetapi juga meningkatkan kinerja. Hasilnya menunjukkan bahwa algoritma pencarian yang canggih dapat menghasilkan hasil yang lebih baik dengan biaya yang lebih rendah, memungkinkan tim untuk mengoptimalkan anggaran komputasi mereka tanpa penulisan ulang yang ekstensif dari aplikasi. Pendekatan modular ini sejalan dengan prinsip rekayasa perangkat lunak yang lebih luas, mendorong tata kelola yang lebih baik dan manajemen perilaku AI yang lebih mudah di seluruh industri yang diatur.