Self-Consistency in Vision-Language Models for Precision Agriculture: Multi-Response Consensus for Crop Disease Management
Tính tự nhất quán trong các mô hình ngôn ngữ thị giác cho nông nghiệp chính xác: Sự đồng thuận đa phản ứng để quản lý bệnh cây trồng
Author: Mihir Gupta, Abhay Mangla, Ross Greer, Pratik Desai | Year: 2025
Keywords: Computer Vision
Abstract / Summary
Precision agriculture relies heavily on accurate image analysis for crop disease identification and treatment recommendation, yet existing vision-language models (VLMs) often underperform in specialized agricultural domains. This work presents a domain-aware framework for agricultural image processing that combines prompt-based expert evaluation with self-consistency mechanisms to enhance VLM reliability in precision agriculture applications. We introduce two key innovations: (1) a prompt-based evaluation protocol that configures a language model as an expert plant pathologist for scalable assessment of image analysis outputs, and (2) a cosine-consistency self-voting mechanism that generates multiple candidate responses from agricultural images and selects the most semantically coherent diagnosis using domain-adapted embeddings. Applied to maize leaf disease identification from field images using a fine-tuned PaliGemma model, our approach improves diagnostic accuracy from 82.2\% to 87.8\%, symptom analysis from 38.9\% to 52.2\%, and treatment recommendation from 27.8\% to 43.3\% compared to standard greedy decoding. The system remains compact enough for deployment on mobile devices, supporting real-time agricultural decision-making in resource-constrained environments. These results demonstrate significant potential for AI-driven precision agriculture tools that can operate reliably in diverse field conditions.
Bản dịch tiếng Việt:
Nông nghiệp chính xác chủ yếu dựa vào phân tích hình ảnh chính xác để xác định bệnh cây trồng và đề xuất điều trị, tuy nhiên các mô hình ngôn ngữ thị giác (VLM) hiện tại thường hoạt động kém hơn trong các lĩnh vực nông nghiệp chuyên biệt. Công trình này trình bày một khung nhận biết miền để xử lý hình ảnh nông nghiệp kết hợp đánh giá của chuyên gia dựa trên lời nhắc với các cơ chế tự nhất quán để nâng cao độ tin cậy của VLM trong các ứng dụng nông nghiệp chính xác. Chúng tôi giới thiệu hai cải tiến quan trọng: (1) giao thức đánh giá dựa trên lời nhắc giúp định cấu hình mô hình ngôn ngữ như một nhà nghiên cứu bệnh học thực vật chuyên nghiệp để đánh giá có thể mở rộng các kết quả phân tích hình ảnh và (2) cơ chế tự bỏ phiếu nhất quán cosine tạo ra nhiều phản hồi ứng viên từ hình ảnh nông nghiệp và chọn chẩn đoán mạch lạc nhất về mặt ngữ nghĩa bằng cách sử dụng các nội dung nhúng được điều chỉnh theo miền. Áp dụng để xác định bệnh lá ngô từ hình ảnh thực địa bằng mô hình PaliGemma đã tinh chỉnh, phương pháp của chúng tôi cải thiện độ chính xác chẩn đoán từ 82,2\% lên 87,8\%, phân tích triệu chứng từ 38,9\% đến 52,2\% và khuyến nghị điều trị từ 27,8\% đến 43,3\% so với giải mã tham lam tiêu chuẩn. Hệ thống vẫn đủ nhỏ gọn để triển khai trên thiết bị di động, hỗ trợ ra quyết định nông nghiệp theo thời gian thực trong môi trường hạn chế về tài nguyên. Những kết quả này chứng minh tiềm năng đáng kể của các công cụ nông nghiệp chính xác do AI điều khiển có thể hoạt động đáng tin cậy trong các điều kiện đồng ruộng đa dạng.
Full Document
Open in new tabDocument Ready
Click below to load the full PDF document natively.