تشخیص خودکار فلفل دلمه‌ای مبتنی بر توصیفگر سه بعدی هیستوگرام ویژگی‌های سریع نقطه (FPFH) و یادگیری ماشین

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه مهندسی بیوسیستم -دانشکده کشاورزی - دانشگاه فردوسی مشهد- مشهد - ایران

2 مهندسی بیوسیستم، دانشکده کشاورزی، دانشگاه فردوسی مشهد

چکیده

برداشت دستی محصول فلفل دلمه‌ای به عنوان یکی از محصولات گلخانه‌ای زمان‌بر و هزینه‌های کارگری بالایی به دنبال دارد. به منظور برداشت رباتیک این محصول سامانه‌های بینایی ماشینی دوبعدی مختلفی توسعه یافته است. به دلیل محیط پیچیده گلخانه، تراکم بالای شاخه و برگ، وجود آفات و بیماری‌ها و آفتاب سوختگی، شرایط نوری غیر یکنواخت و متغیر و بلوغ غیر همزمان محصول منجر به غیریکنواختی در رنگ می‌شود. بنابراین علاوه بر فلفل دلمه‌ای سبز برداشت فلفل‌های دلمه‌ای رنگی نیز با چالش‌هایی همراه باست. لذا هدف از انجام این پژوهش تشخیص فلفل دلمه‌ای در مدل ابر نقاط مبتنی بر توصیفگر هیستوگرام ویژگی‌های سریع نقطه (FPFH) و یادگیری ماشین است. جهت ثبت تصاویر عمق از حسگر Kinect V2 استفاده شد. پس از ایجاد مدل سه‌بعدی از ویژگی‌های هندسی(FPFH) جهت طبقه‌بندی و از کانال رنگی H جهت ایجاد نظارت در 9 مدل طبقه‌بند استفاده شد. برای این منظور از 15 مدل سه‌بعدی از فلفل‌های رنگی استفاده شد. با توجه به معیار‌های F1-Score، سطح زیر منحنی و صحت الگوریتم، مدل طبقه‌بند KNN به عنوان بهترین مدل انتخاب شد. به منظور ارزیابی الگوریتم KNN بر روی 15 مدل سه‌بعدی از فلفل قرمز، فلفل نارنجی و زرد اجرا و در نهایت مورد بازبینی انسانی قرار گرفت. نتایج نشان داد مقدار معیار F1-Score به جز یک مورد در همه موارد بالاتر از 7/0، سطح زیر منحنی راک نیز در همه موارد بالاتر از 8/0 و صحت الگوریتم طبقه بندی در همه موارد بالاتر از 9/0 به دست آمد. علاوه بر این نتایج ارزیابی انسانی نیز نشان داد که حداقل دقت تشخیص برابر 42/71 درصد و در بعضی موارد نیز دقت 100 درصد حاصل شده است.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Automatic recognition of sweet peppers based on the fast point features histogram (FPFH) 3-D descriptor and machine learning

نویسندگان [English]

  • Omid Doosti-Irani 1
  • Mahmood Reza Golzarian 2
  • Mohammad Hossein Aghkhani 2
1 Department of Biosystem Engineering, Faculty of Agriculture, Ferdowsi University of Mashhad, Mashhad, Iraan
2 Department of Biosystem Engineering, Faculty of Agriculture, Ferdowsi University of Mashhad
چکیده [English]

Manual harvesting bell peppers as a greenhouse product is time-consuming and has high labor costs. Various two-dimensional machine vision systems have been developed for the robotic harvest of this product. Due to the complex environment of the greenhouse, high density of branches and leaves, the presence of pests and diseases and sunburn, non-uniform and variable light conditions, and asynchronous maturation of the crop lead to non-uniformity in color. Therefore, harvesting colored sweet peppers are also associated with challenges in addition to green sweet peppers. The aim of this study is to recognize sweet peppers in the point cloud model based on the Fast Point Features Histogram (FPFH) descriptor, and machine learning. Kinect V2 sensor was used to record depth images. After creating a 3-D model, geometric features (FPFH) were used for classification, and H color channel was used to create supervision in 9 classification models on 15 3-D color peppers models supervised. According to the F1-Score criteria, the area under the roc curve, and the accuracy of the algorithm, the K-nearest neighbor classifier model was selected as the best model. To evaluate the KNN algorithm, 15 3D models of red, orange and yellow pepper were performed and finally, they were counted manually. The results showed that the value of F1-Score was higher than 0.7 in all cases, except for one case, the area under the roc curve was higher than 0.8 in all cases and the accuracy of the classification algorithm was higher than 0.9 in all cases. In addition, the human evaluation results showed that the minimum recognition accuracy is 71.42%, and the maximum is 100%.

کلیدواژه‌ها [English]

  • Fast point features histogram
  • Points cloud
  • Robotic harvesting
  • Machine learning
  • Kinect sensor