Изходът на Mapper (междинни данни) се съхранява в Локалната файлова система (не HDFS) на всеки отделен възел с данни за картографиране. Това обикновено е временна директория, която може да бъде настроена в конфигурацията от администратора на Hadoop.
Къде MapReduce междинните данни?
- Изходът на картографа (междинни данни) се съхранява в локалната файлова система (НЕ HDFS) на всеки отделен възел на картографа. …
- Мисля, че това е параметърът, който трябва да се промени, за да се промени междинното местоположение на данните..
- mapreduce.cluster.local.dir.
- Надявам се това да помогне.
Къде се съхранява изходът на картографа?
9) Къде се съхранява изходът на Mapper? Данните за междинната стойност на ключа на изхода на мапера ще бъдат съхранени в локална файлова система на възлите на картографа. Това местоположение в директорията се задава в конфигурационния файл от администратора на Hadoop.
Какво са междинните данни в MapReduce?
Междинните файлове с данни се генерират от карта и редуцират задачи в директория (местоположение) на локалния диск. … Изходни файлове, генерирани от задачите на картата, които служат като вход за задачите за намаляване. Временни файлове, генерирани от задачите за намаляване.
Къде е изходът на mapper, написан в Hadoop?
В Hadoop изходът на Mapper е съхранен на локален диск, тъй като е междинен изход. Не е необходимо да се съхраняват междинни даннина HDFS, защото: записването на данни е скъпо и включва репликация, което допълнително увеличава разходите за глава и време.
