High-dimensional Linear Regression Analysis by using Genetic Algorithm

Abstract

The research objective is to study the effectiveness of parameter estimation and variable selection by using genetic algorithm in the high-dimensional linear regression analysis. The results of the proposed method from the simulation are compared with the other three well-known methods: lasso, elastic net, and stepwise regression. The comparison criteria are the percentage of the number of correct fitting models, the percentage of the number of over-fitting models, the percentage of the number of under-fitting models, the percentage of the number of incorrect fitting models, the average of true positive rate, the average of true negative rate, the average of false positive rate, the average of false negative rate including mean squared error and the accuracy of the parameter estimates. It can be concluded that the direct selection by genetic algorithm yields the best results when compared with the other three methods in nearly all cases.

งานวิจัยมีวัตถุประสงค์เพื่อศึกษาวิธีการประมาณค่าพารามิเตอร์และคัดเลือกตัวแปรในการวิเคราะห์การถดถอย เชิงเส้นกรณีที่ข้อมูลมีมิติสูงโดยใช้ขั้นตอนวิธีเชิงพันธุกรรม และนำผลของวิธีที่เสนอไปเปรียบเทียบกับวิธีที่รู้จักกัน อย่างแพร่หลาย 3 วิธี ได้แก่วิธีลาสโซ่ วิธีอีลาสติกเน็ต และวิธีการถดถอยแบบขั้นตอน โดยใช้วิธีการจำลอง เกณฑ์ที่ใช้ในการพิจารณาเปรียบเทียบวิธีที่ศึกษาคือร้อยละของการคัดเลือกตัวแปรอิสระได้ถูกต้อง ร้อยละของการคัดเลือกตัวแปรอิสระมากเกินไป ร้อยละของการคัดเลือกตัวแปรอิสระน้อยเกินไป ร้อยละของการคัดเลือกตัวแปรอิสระไม่ถูกต้อง ค่าเฉลี่ยของอัตราผลบวกจริง ค่าเฉลี่ยของอัตราผลลบจริง ค่าเฉลี่ยของอัตราผลบวกเท็จ และค่าเฉลี่ยของอัตราผลลบเท็จ รวมทั้งค่าความคลาดเคลื่อนกำลังสองเฉลี่ยของสมการถดถอยและความถูกต้องของค่าประมาณพารามิเตอร์ของตัวแบบ ผลการศึกษาสรุปได้ว่าขั้นตอนวิธีเชิงพันธุกรรมสามารถประมาณค่าพารามิเตอร์และคัดเลือกตัวแปรอิสระได้ดีที่สุดเมื่อเทียบกับ 3 วิธีดังกล่าวเกือบทุกกรณี