EMBridge teknolojisi, EMG sinyalleri ile el hareketlerini eşleştiriyor. Çalışmanın merkezinde yer alan EMBridge, kasların ürettiği elektriksel aktiviteleri ölçen elektromiyografi (EMG) verilerini kullanarak el hareketlerini yorumlayan bir yapay zeka çerçevesi olarak tanımlanıyor. EMG teknolojisi, tıp alanında uzun süredir kas fonksiyonlarını incelemek, fizik tedavi süreçlerini izlemek veya protez uzuvların kontrolünü sağlamak için kullanılıyor. Son yıllarda ise giyilebilir elektroniklerde, özellikle sanal ve artırılmış gerçeklik sistemlerinde alternatif kontrol mekanizmaları geliştirmek amacıyla yeniden ilgi görmeye başladı.

Apple’ın araştırması, bu biyosinyalleri doğrudan kullanıcı etkileşimine dönüştürebilecek yöntemlerin geliştirilmesine odaklanıyor. Araştırmanın veri tarafı da oldukça büyük ölçekli bir yapıya sahip. İlk veri seti, 193 gönüllüden elde edilen yaklaşık 370 saatlik yüzey elektromiyografi verisini ve senkronize el pozisyonlarını içeriyor. Yumruk sıkma, parmak sayma gibi hareketlerin yer aldığı 29 farklı davranış kategorisi bulunurken, el pozisyonları yüksek çözünürlüklü bir hareket yakalama sistemiyle kaydedildi. Toplamda 80 milyondan fazla pozisyon etiketi içeren veri seti, boyut açısından modern bilgisayarlı görü veri setleriyle karşılaştırılabilecek ölçekte. Kullanıcılar farklı EMG bant yerleşimleriyle dört kayıt oturumu tamamladı ve model, giriş verisi olarak örtüşmeyen iki saniyelik sinyal pencereleri üzerinde eğitildi.

Apple araştırmacıları ayrıca NinaPro adlı EMG veri setlerini de modelin eğitimi ve değerlendirmesi için kullandı. NinaPro DB2 veri seti, 40 katılımcının gerçekleştirdiği 49 farklı el hareketini içeriyor ve EMG sinyalleri ön kola yerleştirilen 12 elektrot üzerinden saniyede 2 bin örnekleme hızında kaydediliyor. Elin kinematik hareketleri ise veri eldiveniyle ölçülüyor. Hareket sınıflandırma testleri için kullanılan NinaPro DB7 veri seti ise 20 katılımcıdan elde edilen EMG verilerini kapsıyor. Bu veri setleri sayesinde model, farklı kas sinyallerini ve el hareketlerini karşılaştırarak daha geniş bir davranış yelpazesinde test edilebildi.

Apple’a göre EMBridge, giyilebilir cihazlardan gelen EMG sinyalleriyle sıfır atışlı jest sınıflandırması gerçekleştiren ilk çapraz modlu temsil öğrenme çerçevesi olarak tanımlanıyor. Yapılan testlerde modelin özellikle daha önce görülmemiş el hareketlerini tanıma konusunda mevcut yöntemlerden daha iyi performans gösterdiği ve bunu eğitim verisinin yalnızca yüzde 40’ını kullanarak başarabildiği belirtiliyor.

Çalışma herhangi bir ticari ürün planını doğrudan işaret etmese de giyilebilir insan-bilgisayar etkileşimi alanında önemli bir potansiyel ortaya koyuyor. EMG tabanlı kontrol sistemleri teorik olarak bileğe takılan bir cihaz aracılığıyla sanal bir avatarın, robotik bir elin ya da dijital arayüzlerin kontrol edilmesine olanak tanıyabilir. Bu yaklaşım, artırılmış gerçeklik ve sanal gerçeklik platformlarında fiziksel kumandaların yerini alabilecek alternatif kontrol yöntemleri yaratabilir. Apple’ın araştırmasının bu yönde ilerlemesi, gelecekte giyilebilir cihazların yalnızca dokunmatik ekranlar veya sesli komutlarla değil, doğrudan kas hareketleri üzerinden de kontrol edilebileceği yeni bir etkileşim modeline işaret ediyor olabilir.