AgriPestDatabase-v1.0: A Structured Insect Dataset for Training Agricultural Large Language Model
AgriPestDatabase-v1.0: Bộ dữ liệu Côn trùng Có Cấu trúc Để Huấn luyện Mô hình Ngôn ngữ Lớn Nông nghiệp

Author: Yagizhan Bilal Durak, Ahsan Ul Islam, Shahidul Islam, Ashley Morgan-Olvera, Iftekhar Ibne Basith, Syed Hasib Akhter Faruqui | Year: 2026

Keywords: Artificial Intelligence

Abstract / Summary

Agricultural pest management increasingly relies on timely and accurate access to expert knowledge, yet high quality labeled data and continuous expert support remain limited, particularly for farmers operating in rural regions with unstable/no internet connectivity. At the same time, the rapid growth of AI and LLMs has created new opportunities to deliver practical decision support tools directly to end users in agriculture through compact and deployable systems. This work addresses (i) generating a structured insect information dataset, and (ii) adapting a lightweight LLM model ($\leq$ 7B) by fine tuning it for edge device uses in agricultural pest management. The textual data collection was done by reviewing and collecting information from available pest databases and published manuscripts on nine selected pest species. These structured reports were then reviewed and validated by a domain expert. From these reports, we constructed Q/A pairs to support model training and evaluation. A LoRA-based fine-tuning approach was applied to multiple lightweight LLMs and evaluated. Initial evaluation shows that Mistral 7B achieves an 88.9\% pass rate on the domain-specific Q/A task, substantially outperforming Qwen 2.5 7B (63.9\%), and LLaMA 3.1 8B (58.7\%). Notably, Mistral demonstrates higher semantic alignment (embedding similarity: 0.865) despite lower lexical overlap (BLEU: 0.097), indicating that semantic understanding and robust reasoning are more predictive of task success than surface-level conformity in specialized domains. By combining expert organized data, well-structured Q/A pairs, semantic quality control, and efficient model adaptation, this work contributes towards providing support for farmer facing agricultural decision support tools and demonstrates the feasibility of deploying compact, high-performing language models for practical field-level pest management guidance.


Bản dịch tiếng Việt:

Quản lý sâu bệnh nông nghiệp ngày càng dựa vào việc tiếp cận kiến thức chuyên gia kịp thời và chính xác, tuy nhiên dữ liệu được dán nhãn chất lượng cao và sự hỗ trợ liên tục của chuyên gia vẫn còn hạn chế, đặc biệt là đối với nông dân hoạt động ở khu vực nông thôn có kết nối internet không ổn định/không có. Cùng lúc đó, sự phát triển nhanh chóng của AI và LLM đã tạo ra cơ hội mới để cung cấp các công cụ hỗ trợ ra quyết định thiết thực trực tiếp cho người dùng cuối trong nông nghiệp thông qua các hệ thống nhỏ gọn và có thể triển khai. Công việc này giải quyết (i) tạo bộ dữ liệu thông tin côn trùng có cấu trúc và (ii) điều chỉnh mô hình LLM hạng nhẹ (<= 7B) bằng cách tinh chỉnh nó cho các thiết bị biên trong quản lý sâu bệnh nông nghiệp. Việc thu thập dữ liệu văn bản được thực hiện bằng cách xem xét và thu thập thông tin từ các cơ sở dữ liệu sâu bệnh có sẵn và các bản thảo đã xuất bản về chín loài sâu bệnh được chọn. Những báo cáo có cấu trúc này sau đó đã được một chuyên gia trong lĩnh vực đánh giá và xác nhận. Từ những báo cáo này, chúng tôi đã xây dựng các cặp Q/A (Hỏi/Đáp) để hỗ trợ huấn luyện và đánh giá mô hình. Phương pháp tinh chỉnh dựa trên LoRA đã được áp dụng cho nhiều LLM hạng nhẹ và được đánh giá. Đánh giá ban đầu cho thấy Mistral 7B đạt tỷ lệ đỗ 88,9% cho nhiệm vụ Q/A cụ thể theo miền, vượt trội đáng kể so với Qwen 2.5 7B (63,9%) và LLaMA 3.1 8B (58,7%). Đáng chú ý, Mistral thể hiện sự liên kết ngữ nghĩa cao hơn (độ tương đồng nhúng: 0,865) mặc dù có sự trùng lặp từ vựng thấp hơn (BLEU: 0,097), cho thấy rằng sự hiểu biết ngữ nghĩa và lập luận vững chắc là yếu tố dự báo thành công của nhiệm vụ tốt hơn là sự phù hợp ở mức bề mặt trong các miền chuyên ngành. Bằng cách kết hợp dữ liệu do chuyên gia tổ chức, các cặp Q/A được cấu trúc tốt, kiểm soát chất lượng ngữ nghĩa và điều chỉnh mô hình hiệu quả, nghiên cứu này đóng góp vào việc cung cấp hỗ trợ cho các công cụ hỗ trợ ra quyết định nông nghiệp hướng tới nông dân và chứng minh tính khả thi của việc triển khai các mô hình ngôn ngữ nhỏ gọn, hiệu suất cao để hướng dẫn quản lý sâu bệnh thực tế ở cấp độ thực địa.

Full Document

Open in new tab
Document Ready

Click below to load the full PDF document natively.