ข้อมูลกลางของผู้ทำแผนที่จะถูกเก็บไว้ที่ไหน?

ข้อมูลกลางของผู้ทำแผนที่จะถูกเก็บไว้ที่ไหน?
ข้อมูลกลางของผู้ทำแผนที่จะถูกเก็บไว้ที่ไหน?
Anonim

เอาต์พุตของ Mapper (ข้อมูลระดับกลาง) ถูกเก็บไว้ใน ระบบไฟล์ในเครื่อง (ไม่ใช่ HDFS) ของโหนดข้อมูล mapper แต่ละรายการ โดยปกติแล้วจะเป็นไดเร็กทอรีชั่วคราวที่ผู้ดูแลระบบ Hadoop สามารถตั้งค่าคอนฟิกได้

MapReduce ข้อมูลกลางอยู่ที่ไหน

  • เอาต์พุต mapper (ข้อมูลระดับกลาง) ถูกเก็บไว้ในระบบไฟล์ในเครื่อง (ไม่ใช่ HDFS) ของแต่ละโหนดของ mapper …
  • ฉันคิดว่านี่คือพารามิเตอร์ที่ต้องแก้ไขเพื่อเปลี่ยนตำแหน่งข้อมูลกลาง..
  • mapreduce.cluster.local.dir.
  • หวังว่าจะช่วยได้

เอาต์พุตของผู้ทำแผนที่ถูกเก็บไว้ที่ไหน

9) เอาต์พุต Mapper เก็บไว้ที่ไหน? ข้อมูลค่าคีย์ระดับกลางของเอาต์พุต mapper จะถูกเก็บไว้ใน ระบบไฟล์ในเครื่องของโหนด mapper ตำแหน่งไดเร็กทอรีนี้ถูกตั้งค่าในไฟล์ปรับแต่งโดย Hadoop Admin

ข้อมูลกลางใน MapReduce คืออะไร

ไฟล์ข้อมูลขั้นกลางคือ สร้างโดยแผนที่และลดงานในไดเรกทอรี (ตำแหน่ง) บนดิสก์ในเครื่อง … ไฟล์เอาต์พุตที่สร้างโดยงานแผนที่ซึ่งทำหน้าที่เป็นอินพุตสำหรับงานลด ไฟล์ชั่วคราวที่สร้างโดยงานลด

ผลลัพธ์ของ mapper ที่เขียนใน Hadoop อยู่ที่ไหน

ใน Hadoop เอาต์พุตของ Mapper คือ จัดเก็บไว้ในดิสก์ในเครื่อง เนื่องจากเป็นเอาต์พุตระดับกลาง ไม่จำเป็นต้องเก็บข้อมูลระดับกลางบน HDFS เนื่องจาก: การเขียนข้อมูลมีค่าใช้จ่ายสูงและเกี่ยวข้องกับการจำลองแบบซึ่งเพิ่มส่วนหัวและเวลาของต้นทุนให้มากขึ้น