Federe öğrenmede birleştirme algoritmalarının model performansına etkisi

Hammaddesi büyük veri olan Yapay zeka (YZ) teknolojileri özellikle son yıllarda verinin gizliliği ve güvenliği gibi önemli gerekçelerle veriye ulaşmayı zorlaştıran sebeplerden ötürü bir takım zorluklarla karşılaşmaktadır. Öte yandan büyük verinin merkezi bir lokasyonda toplanmasının zorlukları ve yüksek kapasiteli depolama ve işlemci ihtiyaçları da YZ alanında karşılaşılan zorluklardır. Bu zorluklardan esinlenerek geliştirilen İşbirlikçi YZ konsepti olan Federe Öğrenme (FÖ), işbirliğine katılan katılımcıların, veri gizliliğini ihlal etmeden YZ model parametrelerinin kendi verileri ile işlenip model paremetrelerinin güncellenmesi ve güncellenen parametrelerin bir sunucuda belirli algoritmalar aracılığıyla birleştirilmesi ile iteratif olarak gerçekleştirilen bir konsepttir. FÖ konsepti, katılımcıların öznitelik ve örnek uzaylarının ortaklığına bağlı olarak Yatay FÖ, Dikey FÖ ve Federe Transfer Öğrenme şeklinde yaklaşımlar ile uygulanmaktdır. Bu çalışmada öznitelik uzaylarının ortak olduğu Yatay FÖ yaklaşımı için geliştirilen model parametrelerini birleştirme algoritmalarından FedAVG, FedAVGM ve FaultTolerantFedAVG’nin 5 katılımcı arasında özdeş olmayan bir şekilde dağıtılmış olan MNIST veri setinin ResNet-18 ve MobileNet V3 small sınıflandırıclarının performansına etkisi incelenmektedir.

Artificial intelligence (AI) technologies, whose raw material is big data, have been encountering some difficulties especially in recent years due to important reasons like data privacy and security concerns. On the other hand, the difficulties of collecting big data in a central location and the necessity of high-capacity storage and processors are also the challenges in the field of AI. Federated Learning (FL), which is a Collaborative AI concept inspired by these challenges, is an iterative concept that is carried out by the participants in the collaboration, by processing AI model parameters with their own local data, updating the model parameters, and then combining the updated parameters on a server through certain algorithms without violating data privacy. The FL concept is implemented with approaches such as Horizontal FL, Vertical FL and Federated Transfer Learning, depending on the feature and sample spaces of the partnership of the collaborator participants. In this study, the effect of the model parameter aggregation algorithms such as FedAVG, FedAVGM and FaultTolerantFedAVG which are developed for the Horizontal FL approach are analyzed using the ResNet-18 and MobileNet V3 small classifiers on the MNIST dataset which is distributed non-identically among 5 participants.