Categorical crossentropy เป็นฟังก์ชันการสูญเสียที่ใช้ในงานการจำแนกประเภทหลายคลาส งานเหล่านี้เป็นงานที่ตัวอย่างสามารถเป็นของหนึ่งในหมวดหมู่ที่เป็นไปได้จำนวนมากเท่านั้น และโมเดลต้องตัดสินใจเลือกประเภทใด อย่างเป็นทางการ ออกแบบมาเพื่อหาจำนวนความแตกต่างระหว่างการแจกแจงความน่าจะเป็นสองครั้ง.
ทำไมถึงใช้ครอสเอนโทรปีแทน MSE
อย่างแรก Cross-entropy (หรือความสูญเสียแบบ softmax แต่ cross-entropy ทำงานได้ดีกว่า) เป็นการวัดที่ดีกว่า MSE สำหรับการจัดหมวดหมู่ เพราะขอบเขตการตัดสินใจในงานการจัดประเภทมีขนาดใหญ่(เมื่อเทียบกับการถดถอย). … สำหรับปัญหาการถดถอย คุณจะใช้ MSE เกือบทุกครั้ง
ความแตกต่างระหว่าง sparse cross entropy กับ categorical cross entropy ต่างกันอย่างไร
ความแตกต่างเพียงอย่างเดียวระหว่างเอนโทรปีไขว้แบบกระจายและแบบแยกประเภทคือ รูปแบบของป้ายกำกับจริง เมื่อเรามีปัญหาการจำแนกประเภทป้ายกำกับเดียวและหลายคลาส ป้ายกำกับจะไม่สัมพันธ์กันสำหรับแต่ละข้อมูล หมายความว่าแต่ละรายการสามารถอยู่ในชั้นเดียวเท่านั้น
คุณตีความการสูญเสียเอนโทรปีข้ามหมวดหมู่อย่างไร
ครอสเอนโทรปี เพิ่มขึ้นเมื่อความน่าจะเป็นที่คาดการณ์ของกลุ่มตัวอย่างแตกต่างจากค่าจริง ดังนั้น การคาดคะเนความน่าจะเป็นที่ 0.05 เมื่อเลเบลจริงมีค่าเป็น 1 จะเพิ่ม การสูญเสียเอนโทรปีไขว้ หมายถึงความน่าจะเป็นที่คาดการณ์ไว้ระหว่าง 0 ถึง 1 สำหรับตัวอย่างนั้น
ทำไมครอสเอนโทรปีถึงดี
โดยรวม อย่างที่เราเห็นครอสเอนโทรปีเป็นเพียงวิธีหนึ่งในการวัดความน่าจะเป็นของแบบจำลอง ครอสเอนโทรปีมีประโยชน์เพราะสามารถ อธิบายแนวโน้มของแบบจำลองและฟังก์ชันข้อผิดพลาดของแต่ละจุดข้อมูล นอกจากนี้ยังใช้เพื่ออธิบายผลลัพธ์ที่คาดการณ์ไว้เมื่อเปรียบเทียบกับผลลัพธ์ที่แท้จริง