Fine-Tuning and Evaluating Conversational AI for Agricultural Advisory
Tinh chỉnh và đánh giá AI đàm thoại cho tư vấn nông nghiệp
Author: Sanyam Singh, Naga Ganesh, Vineet Singh, Lakshmi Pedapudi, Ritesh Kumar, SSP Jyothi, Archana Karanam, Waseem Pasha, Ekta Kumari, C. Yashoda, Mettu Vijaya Rekha Reddy, Shesha Phani Debbesa, Chandan Dash | Year: 2026
Keywords: Computation and Language, Artificial Intelligence, Machine Learning
Abstract / Summary
Large Language Models show promise for agricultural advisory, yet vanilla models exhibit unsupported recommendations, generic advice lacking specific, actionable detail, and communication styles misaligned with smallholder farmer needs. In high stakes agricultural contexts, where recommendation accuracy has direct consequences for farmer outcomes, these limitations pose challenges for responsible deployment. We present a hybrid LLM architecture that decouples factual retrieval from conversational delivery: supervised fine-tuning with LoRA on expert-curated GOLDEN FACTS (atomic, verified units of agricultural knowledge) optimizes fact recall, while a separate stitching layer transforms retrieved facts into culturally appropriate, safety-aware responses. Our evaluation framework, DG-EVAL, performs atomic fact verification (measuring recall, precision, and contradiction detection) against expert-curated ground truth rather than Wikipedia or retrieved documents. Experiments across multiple model configurations on crops and queries from Bihar, India show that fine-tuning on curated data substantially improves fact recall and F1, while maintaining high relevance. Using a fine-tuned smaller model achieves comparable or better factual quality at a fraction of the cost of frontier models. A stitching layer further improves safety subscores while maintaining high conversational quality. We release the farmerchat-prompts library to enable reproducible development of domain-specific agricultural AI.
Bản dịch tiếng Việt:
Mô hình Ngôn ngữ Lớn cho thấy hứa hẹn về tư vấn nông nghiệp, tuy nhiên các mô hình vanilla lại đưa ra các khuyến nghị không được hỗ trợ, lời khuyên chung chung thiếu chi tiết cụ thể, có thể hành động và phong cách giao tiếp không phù hợp với nhu cầu của nông dân sản xuất nhỏ. Trong bối cảnh nông nghiệp có rủi ro cao, khi độ chính xác của khuyến nghị có hậu quả trực tiếp đến kết quả của nông dân, những hạn chế này đặt ra thách thức cho việc triển khai có trách nhiệm. Chúng tôi trình bày một kiến trúc LLM kết hợp giúp tách riêng việc truy xuất thực tế khỏi phân phối hội thoại: tinh chỉnh có giám sát với LoRA trên các SỰ THẬT VÀNG do chuyên gia quản lý (đơn vị kiến thức nông nghiệp nguyên tử, đã được xác minh) tối ưu hóa việc thu hồi thực tế, trong khi một lớp ghép riêng biệt chuyển đổi các sự kiện được truy xuất thành các phản hồi nhận thức an toàn, phù hợp về mặt văn hóa. Khung đánh giá của chúng tôi, DG-EVAL, thực hiện xác minh sự thật cơ bản (đo lường khả năng thu hồi, độ chính xác và phát hiện mâu thuẫn) dựa trên sự thật cơ bản do chuyên gia quản lý thay vì Wikipedia hoặc các tài liệu được truy xuất. Thử nghiệm trên nhiều cấu hình mô hình về các loại cây trồng và truy vấn từ Bihar, Ấn Độ cho thấy rằng việc tinh chỉnh dữ liệu được tuyển chọn sẽ cải thiện đáng kể khả năng nhớ lại dữ kiện và F1, đồng thời vẫn duy trì mức độ liên quan cao. Sử dụng mô hình nhỏ hơn được tinh chỉnh sẽ đạt được chất lượng thực tế tương đương hoặc tốt hơn với chi phí chỉ bằng một phần chi phí của các mô hình biên giới. Lớp khâu cải thiện hơn nữa các điểm an toàn trong khi vẫn duy trì chất lượng đàm thoại cao. Chúng tôi phát hành thư viện lời nhắc của farmchat để cho phép phát triển tái tạo AI nông nghiệp theo từng miền cụ thể.
Full Document
Open in new tabDocument Ready
Click below to load the full PDF document natively.