เอาต์พุตของ Mapper (ข้อมูลระดับกลาง) ถูกเก็บไว้ใน ระบบไฟล์ในเครื่อง (ไม่ใช่ HDFS) ของโหนดข้อมูล mapper แต่ละรายการ โดยปกติแล้วจะเป็นไดเร็กทอรีชั่วคราวที่ผู้ดูแลระบบ Hadoop สามารถตั้งค่าคอนฟิกได้
MapReduce ข้อมูลกลางอยู่ที่ไหน
- เอาต์พุต mapper (ข้อมูลระดับกลาง) ถูกเก็บไว้ในระบบไฟล์ในเครื่อง (ไม่ใช่ HDFS) ของแต่ละโหนดของ mapper …
- ฉันคิดว่านี่คือพารามิเตอร์ที่ต้องแก้ไขเพื่อเปลี่ยนตำแหน่งข้อมูลกลาง..
- mapreduce.cluster.local.dir.
- หวังว่าจะช่วยได้
เอาต์พุตของผู้ทำแผนที่ถูกเก็บไว้ที่ไหน
9) เอาต์พุต Mapper เก็บไว้ที่ไหน? ข้อมูลค่าคีย์ระดับกลางของเอาต์พุต mapper จะถูกเก็บไว้ใน ระบบไฟล์ในเครื่องของโหนด mapper ตำแหน่งไดเร็กทอรีนี้ถูกตั้งค่าในไฟล์ปรับแต่งโดย Hadoop Admin
ข้อมูลกลางใน MapReduce คืออะไร
ไฟล์ข้อมูลขั้นกลางคือ สร้างโดยแผนที่และลดงานในไดเรกทอรี (ตำแหน่ง) บนดิสก์ในเครื่อง … ไฟล์เอาต์พุตที่สร้างโดยงานแผนที่ซึ่งทำหน้าที่เป็นอินพุตสำหรับงานลด ไฟล์ชั่วคราวที่สร้างโดยงานลด
ผลลัพธ์ของ mapper ที่เขียนใน Hadoop อยู่ที่ไหน
ใน Hadoop เอาต์พุตของ Mapper คือ จัดเก็บไว้ในดิสก์ในเครื่อง เนื่องจากเป็นเอาต์พุตระดับกลาง ไม่จำเป็นต้องเก็บข้อมูลระดับกลางบน HDFS เนื่องจาก: การเขียนข้อมูลมีค่าใช้จ่ายสูงและเกี่ยวข้องกับการจำลองแบบซึ่งเพิ่มส่วนหัวและเวลาของต้นทุนให้มากขึ้น