เมื่อใดควรใช้การทำให้เป็นมาตรฐาน l1 และ l2

สารบัญ:

เมื่อใดควรใช้การทำให้เป็นมาตรฐาน l1 และ l2
เมื่อใดควรใช้การทำให้เป็นมาตรฐาน l1 และ l2
Anonim

จากมุมมองเชิงปฏิบัติ L1 มีแนวโน้มที่จะย่อค่าสัมประสิทธิ์ให้เป็นศูนย์ ในขณะที่ L2 มีแนวโน้มที่จะลดขนาดสัมประสิทธิ์อย่างเท่าเทียมกัน L1 จึงเป็น มีประโยชน์สำหรับการเลือกคุณสมบัติ เนื่องจากเราสามารถปล่อยตัวแปรใดๆ ที่เกี่ยวข้องกับสัมประสิทธิ์ที่เป็นศูนย์ได้ ในทางกลับกัน L2 จะมีประโยชน์เมื่อคุณมีคุณสมบัติ collinear/codependent

การทำให้เป็นมาตรฐานมีประโยชน์อย่างไร การทำให้เป็นมาตรฐาน L1 และ L2 คืออะไร

L1 การทำให้เป็นมาตรฐานให้เอาต์พุตเป็นน้ำหนักไบนารีจาก 0 เป็น 1 สำหรับคุณสมบัติของโมเดล และถูกนำมาใช้เพื่อลดจำนวนของคุณสมบัติในชุดข้อมูลขนาดใหญ่ การทำให้เป็นมาตรฐาน L2 กระจายเงื่อนไขข้อผิดพลาดในตุ้มน้ำหนักทั้งหมดที่นำไปสู่แบบจำลองสุดท้ายที่ปรับแต่งได้อย่างแม่นยำมากขึ้น

การทำให้เป็นมาตรฐาน L1 และ L2 แตกต่างกันอย่างไร

ความแตกต่างหลักที่สัญชาตญาณระหว่างการทำให้เป็นมาตรฐาน L1 และ L2 คือ L1 การทำให้เป็นมาตรฐาน พยายามประมาณค่ามัธยฐานของข้อมูล ในขณะที่การทำให้เป็นมาตรฐาน L2 พยายามประมาณค่าเฉลี่ยของข้อมูลเพื่อหลีกเลี่ยงการใส่มากเกินไป. … ค่านั้นจะเป็นค่ามัธยฐานของการกระจายข้อมูลในทางคณิตศาสตร์ด้วย

การทำให้เป็นมาตรฐาน L1 และ L2 ในการเรียนรู้เชิงลึกคืออะไร

L2 การทำให้เป็นมาตรฐานเรียกอีกอย่างว่าการลดลงของน้ำหนัก เนื่องจากมันบังคับให้ตุ้มน้ำหนักลดลงจนเหลือศูนย์ (แต่ไม่ใช่ศูนย์อย่างแน่นอน) ใน L1 เรามี: ในนี้ เราลงโทษค่าสัมบูรณ์ของน้ำหนัก ต่างจาก L2 น้ำหนักอาจลดลงเหลือศูนย์ที่นี่ ดังนั้นจึงมีประโยชน์มากเมื่อเราพยายามบีบอัดนางแบบของเรา

การทำให้เป็นมาตรฐาน L1 และ L2 ทำงานอย่างไร

แบบจำลองการถดถอยที่ใช้เทคนิคการทำให้เป็นมาตรฐาน L1 เรียกว่า Lasso Regression และแบบจำลองที่ใช้ L2 เรียกว่า Ridge Regression ความแตกต่างที่สำคัญระหว่างสองสิ่งนี้คือระยะการลงโทษ การถดถอยริดจ์เพิ่ม "ขนาดกำลังสอง" ของสัมประสิทธิ์เป็นค่าปรับในฟังก์ชันการสูญเสีย

แนะนำ: