Precise automated understanding of agricultural tasks such as disease identification is essential for sustainable crop production. Recent advances in vision-language models (VLMs) are expected to further expand the range of agricultural tasks by facilitating human-model interaction through easy, text-based communication. Here, we introduce AgroBench (Agronomist AI Benchmark), a benchmark for evaluating VLM models across seven agricultural topics, covering key areas in agricultural engineering and relevant to real-world farming. Unlike recent agricultural VLM benchmarks, AgroBench is annotated by expert agronomists. Our AgroBench covers a state-of-the-art range of categories, including 203 crop categories and 682 disease categories, to thoroughly evaluate VLM capabilities. In our evaluation on AgroBench, we reveal that VLMs have room for improvement in fine-grained identification tasks. Notably, in weed identification, most open-source VLMs perform close to random. With our wide range of topics and expert-annotated categories, we analyze the types of errors made by VLMs and suggest potential pathways for future VLM development. Our dataset and code are available at https://dahlian00.github.io/AgroBenchPage/ .

Bản dịch tiếng Việt:

Sự hiểu biết tự động chính xác về các nhiệm vụ nông nghiệp như xác định bệnh tật là điều cần thiết để sản xuất cây trồng bền vững. Những tiến bộ gần đây trong mô hình ngôn ngữ tầm nhìn (VLM) dự kiến ​​sẽ mở rộng hơn nữa phạm vi nhiệm vụ nông nghiệp bằng cách tạo điều kiện cho sự tương tác giữa con người và mô hình thông qua giao tiếp dựa trên văn bản dễ dàng. Tại đây, chúng tôi giới thiệu AgroBench (Điểm chuẩn AI của nhà nông học), một điểm chuẩn để đánh giá các mô hình VLM dựa trên bảy chủ đề nông nghiệp, bao gồm các lĩnh vực chính trong kỹ thuật nông nghiệp và liên quan đến canh tác trong thế giới thực. Không giống như các tiêu chuẩn VLM nông nghiệp gần đây, AgroBench được chú thích bởi các chuyên gia nông học. AgroBench của chúng tôi bao gồm một loạt các danh mục hiện đại, bao gồm 203 loại cây trồng và 682 loại bệnh, để đánh giá kỹ lưỡng khả năng VLM. Trong đánh giá của chúng tôi về AgroBench, chúng tôi tiết lộ rằng VLM có chỗ cần cải thiện trong các nhiệm vụ nhận dạng chi tiết. Đáng chú ý, trong việc xác định cỏ dại, hầu hết các VLM nguồn mở đều hoạt động gần như ngẫu nhiên. Với nhiều chủ đề và danh mục được chuyên gia chú thích, chúng tôi phân tích các loại lỗi do VLM gây ra và đề xuất các lộ trình tiềm năng để phát triển VLM trong tương lai. Tập dữ liệu và mã của chúng tôi có sẵn tại https://dahlian00.github.io/AgroBenchPage/.

Document Ready

Click below to load the full PDF document natively.