Montaj operasyonlarında operatör verimliliğinin yapay zekâ temelli görüntü izleme ile iyileştirilmesine yönelik bir Endüstri 4.0 yaklaşımı

Abstract

Modern üretimdeki manuel montaj işlemlerinde ortaya çıkan yüksek hata oranları verimlilik ve ürün kalitesi açısından ciddi zorluklar yaratmaktadır. Bu nedenle, manuel montaj işlemlerini gerçek zamanlı izleyerek operatör hatalarını tespit edip anında düzeltmek kritik öneme sahiptir. Son yıllarda, özellikle makine öğrenmesine dayalı çalışmalar ile görüntülenen montaj eylemlerindeki operatör hataları tespit edilerek verilen geri bildirimler sayesinde düzeltilmektedir. Fakat, şimdiye kadar yapılan çalışmalar genellikle el becerisi gerektiren montaj eylemlerini ve el-nesne etkileşimlerini göz ardı etmektedir. Halbuki, montaj eylemleri tamamen el hareketleri ile ellerin birtakım montaj aletleri ve parçalarla olan etkileşimine dayanmaktadır. Bu çalışmada, el becerisi gerektiren montaj eylemlerinin gerçek zamanlı olarak tanınması amacıyla üç boyutlu el eklem koordinatlarının kullanıldığı bir yöntem önerilmektedir. Önerilen hibrit yaklaşım, derin öğrenme tabanlı bir nesne tespiti yöntemi, bir el pozu tahmini algoritması ve Uzun Kısa Süreli Bellek (LSTM) ağı temelli bir sınıflandırıcının bütünleşik olarak çalışacağı şekilde tasarlanmıştır. Hibrit sistemde öncelikle, akan video karelerine YOLOv8 uygulanarak bir montaj eyleminin olası başlangıç noktası tespit edilir. Daha sonra, ilk tespit noktasından farklı bir başlangıç noktasını temsil eden bir başka nesne tespit edilene kadar geçen video karelerinden MediaPipe Hands ile el eklem koordinatları çıkarılır. Elde edilen zaman serisi verilerini uygun montaj eylemi olarak sınıflandırmak amacıyla LSTM temelli bir montaj eylemi tanıma ağı kullanılır. Önerilen yöntemi test etmek amacıyla gerçek bir üretim ortamından toplanan yeni bir veri kümesi oluşturulmuştur. Yapılan bu çalışma sayesinde gerçek zamanlı montaj eylemlerinin tanınması ve yerinin belirlenmesi konusunda sırasıyla %85,23 ve %89,95 doğruluk oranına ulaşılarak operatör verimliliğinin artırılması açısından önemli bir başarı elde edilmiştir.High error rates in manual assembly operations within modern manufacturing pose significant challenges to efficiency and product quality. Therefore, it is critically important to detect and instantly correct operator errors by monitoring manual assembly actions in real-time. While recent machine learning-based studies have focused on detecting and correcting operator errors in monitored assembly actions through feedback, they have generally overlooked complex fine-grained actions and hand-object interactions. However, assembly actions fundamentally rely on hand movements and the interaction of hands with various tools and parts. This study proposes a method utilizing three-dimensional (3D) hand joint coordinates for real-time fine-grained assembly action recognition. The proposed hybrid approach integrates a deep learning-based object detection method, a hand pose estimation algorithm, and a Long Short-Term Memory (LSTM) network-based classifier. In this system, YOLOv8 first identifies a potential starting point of an assembly action from the streaming video data. Hand joint coordinates are then extracted using MediaPipe Hands from the sequence of video frames between this first detection and the detection of a subsequent object that marks a different starting point. Finally, an LSTM-based action recognition network classifies this time-series data into the corresponding assembly action. To evaluate the proposed method, a new dataset was curated from a real production environment. This study resulted in a significant achievement in enhancing operator efficiency by reaching accuracies of 85.23% for real-time assembly action recognition and 89.95% for localization, respectively.