Can SAM recognize crops? Quantifying the zero-shot performance of a semantic segmentation foundation model on generating crop-type maps using satellite imagery for precision agriculture
SAM có thể nhận biết cây trồng không? Định lượng hiệu suất không bắn của mô hình nền tảng phân đoạn ngữ nghĩa trong việc tạo bản đồ loại cây trồng bằng hình ảnh vệ tinh cho nông nghiệp chính xác

Author: Rutuja Gurav, Het Patel, Zhuocheng Shang, Ahmed Eldawy, Jia Chen, Elia Scudiero, Evangelos Papalexakis | Year: 2023

Keywords: Computer Vision

Abstract / Summary

Climate change is increasingly disrupting worldwide agriculture, making global food production less reliable. To tackle the growing challenges in feeding the planet, cutting-edge management strategies, such as precision agriculture, empower farmers and decision-makers with rich and actionable information to increase the efficiency and sustainability of their farming practices. Crop-type maps are key information for decision-support tools but are challenging and costly to generate. We investigate the capabilities of Meta AI's Segment Anything Model (SAM) for crop-map prediction task, acknowledging its recent successes at zero-shot image segmentation. However, SAM being limited to up-to 3 channel inputs and its zero-shot usage being class-agnostic in nature pose unique challenges in using it directly for crop-type mapping. We propose using clustering consensus metrics to assess SAM's zero-shot performance in segmenting satellite imagery and producing crop-type maps. Although direct crop-type mapping is challenging using SAM in zero-shot setting, experiments reveal SAM's potential for swiftly and accurately outlining fields in satellite images, serving as a foundation for subsequent crop classification. This paper attempts to highlight a use-case of state-of-the-art image segmentation models like SAM for crop-type mapping and related specific needs of the agriculture industry, offering a potential avenue for automatic, efficient, and cost-effective data products for precision agriculture practices.


Bản dịch tiếng Việt:

Biến đổi khí hậu đang ngày càng làm gián đoạn nền nông nghiệp trên toàn thế giới, khiến sản xuất lương thực toàn cầu trở nên kém tin cậy hơn. Để giải quyết những thách thức ngày càng tăng trong việc cung cấp lương thực cho hành tinh, các chiến lược quản lý tiên tiến, chẳng hạn như nông nghiệp chính xác, trao quyền cho nông dân và những người ra quyết định với thông tin phong phú và hữu ích để tăng hiệu quả và tính bền vững trong hoạt động canh tác của họ. Bản đồ loại cây trồng là thông tin quan trọng cho các công cụ hỗ trợ quyết định nhưng việc tạo ra rất khó khăn và tốn kém. Chúng tôi điều tra các khả năng của Mô hình phân đoạn bất kỳ (SAM) của Meta AI cho nhiệm vụ dự đoán bản đồ cắt xén, thừa nhận những thành công gần đây của nó trong việc phân đoạn hình ảnh không chụp. Tuy nhiên, SAM bị giới hạn ở tối đa 3 đầu vào kênh và việc sử dụng zero-shot của nó về bản chất là không phân biệt lớp đặt ra những thách thức đặc biệt khi sử dụng trực tiếp nó để lập bản đồ loại cây trồng. Chúng tôi đề xuất sử dụng các số liệu đồng thuận phân cụm để đánh giá hiệu suất không ảnh của SAM trong việc phân đoạn hình ảnh vệ tinh và tạo bản đồ loại cây trồng. Mặc dù việc lập bản đồ loại cây trồng trực tiếp là một thách thức khi sử dụng SAM ở cài đặt không chụp, nhưng các thử nghiệm cho thấy tiềm năng của SAM trong việc phác thảo các trường nhanh chóng và chính xác trong ảnh vệ tinh, đóng vai trò là nền tảng cho việc phân loại cây trồng tiếp theo. Bài viết này cố gắng làm nổi bật trường hợp sử dụng các mô hình phân đoạn hình ảnh tiên tiến như SAM để lập bản đồ loại cây trồng và các nhu cầu cụ thể liên quan của ngành nông nghiệp, mang đến một lộ trình tiềm năng cho các sản phẩm dữ liệu tự động, hiệu quả và tiết kiệm chi phí cho thực hành nông nghiệp chính xác.

Full Document

Open in new tab
Document Ready

Click below to load the full PDF document natively.