आरपीसीए आणि पीसीए मधील फरक मी कसा स्पष्ट करू?


उत्तर 1:

संपादित करा: डोह, मला हे समजले की तुम्ही कदाचित रॉबस्ट-पीसीएबद्दल विचारत आहात आणि प्रिन्सिपल कंपोनंट रिग्रेशन (उर्फ रीग्रेशन-पीसीए) बद्दल नाही. या फायद्यासाठी काय आहे, नंतरचे उत्तर येथे आहे.

कधीकधी रिग्रेशन दरम्यान, इनपुट व्हेरिएबल्स (कोव्हिएरेट्स) चे गट कॉलिनियर असतील (मल्टीकोललाइनरिटीवरील दुसरा प्रश्न पहा). याचा अर्थ असा आहे की एकमेकास खूपच भविष्य सांगणारे असे आउटपुटच्या दृष्टिकोनातून एक प्रकारचा अतिरेकीपणा दर्शवितो: जर आपण अंदाज लावू शकता

yy

तसेच

xx

, आपल्याला दुसर्‍या क्लोज-कॉपीची आवश्यकता नाही

xx

.

दुर्दैवाने, ओएलएस रीग्रेशन हे पहात आहे आणि कॉलिनर इनपुटला समान जबाबदारी नियुक्त करून नुकसान भरपाई देण्याचा प्रयत्न करतो. वरील उदाहरणात विचार करा की जवळपास-इष्टतम (किमान-चौरस अर्थाने) किती विमाने अस्तित्त्वात आहेत…

अनंत, बरोबर? कोणत्याही पॉईंट्समधून जाणारे कोणतेही विमान, हिरव्या बिंदूंबद्दल फिरण्याकडे दुर्लक्ष करून: ग्रीन पॉईंट्समधून जाणार्‍या एक प्रकारचे अक्ष अँकरर्ड मिड एअरची कल्पना करा आणि त्या नंतर लाल विमान त्यावर कोरले जाईल.

गोष्टी आणखी वाईट करण्यासाठी, डेटाला थोडेसे विचार करून अंतिम रीग्रेशन वेट्स, जे मूलत: विमानाच्या ग्रेडियंटला नियंत्रित करतात, ते बरेच वेगळे असू शकतात. हे दर्शवते की मॉडेल अस्थिर आहे.

तर परस्पर संबंध असणारे इनपुट व्हेरिएबल्स विलीन करण्याचा एक मूलभूत मार्ग कोणता आहे? बरं, हे आहे की रीग्रेशन-पीसीए काय करेलः

प्रथम, ते इनपुट (निळे बिंदू) वर पीसीए करेल, म्हणजे निळ्या बिंदूंवर प्रोजेक्ट करण्यासाठी एक्स झेड प्लेनवर निळी रेष शोधू शकेल (जसे की एकूण प्रोजेक्शन अंतर कमी केले जाईल). ही ओळ आता नवीन अक्ष म्हणून कार्य करते - कॉल करा

bb

,

आणि मूळ प्रतिरोध समस्या आता संदर्भ च्या चौकटीत सोडविली आहे

byb-y

, सिंगल-व्हेरिएबल रेषीय रिग्रेशन.

तर मार्गात, आम्ही पीसीएला वर वर्णन केलेल्या अस्थिरतेच्या अंतर्भूत धोक्यासह ओएलएसकडे न ठेवता समान व्हेरिएबल्सचे ते गट शोधू द्या.

शेवटी, मूळवर रिग्रेशन्सची पूर्तता करणे

xzyx-z-y

जागा, व्युत्पन्न व्हेरिएबल बी दिलेली कोणतीही रीग्रेशन गुणांक (येथे ते ०. 0.5) आहे, पीसीए-व्युत्पन्न अक्षांच्या वजनानुसार समानपणे सामायिक केली जाईल (म्हणजे अंतिम आरपीसीए वजनाचे असेल

(0.25,0.25)(0.25, 0.25)

).