Къде ще се съхраняват междинните данни на картографа?

Съдържание:

Къде ще се съхраняват междинните данни на картографа?
Къде ще се съхраняват междинните данни на картографа?
Anonim

Изходът на Mapper (междинни данни) се съхранява в Локалната файлова система (не HDFS) на всеки отделен възел с данни за картографиране. Това обикновено е временна директория, която може да бъде настроена в конфигурацията от администратора на Hadoop.

Къде MapReduce междинните данни?

  • Изходът на картографа (междинни данни) се съхранява в локалната файлова система (НЕ HDFS) на всеки отделен възел на картографа. …
  • Мисля, че това е параметърът, който трябва да се промени, за да се промени междинното местоположение на данните..
  • mapreduce.cluster.local.dir.
  • Надявам се това да помогне.

Къде се съхранява изходът на картографа?

9) Къде се съхранява изходът на Mapper? Данните за междинната стойност на ключа на изхода на мапера ще бъдат съхранени в локална файлова система на възлите на картографа. Това местоположение в директорията се задава в конфигурационния файл от администратора на Hadoop.

Какво са междинните данни в MapReduce?

Междинните файлове с данни се генерират от карта и редуцират задачи в директория (местоположение) на локалния диск. … Изходни файлове, генерирани от задачите на картата, които служат като вход за задачите за намаляване. Временни файлове, генерирани от задачите за намаляване.

Къде е изходът на mapper, написан в Hadoop?

В Hadoop изходът на Mapper е съхранен на локален диск, тъй като е междинен изход. Не е необходимо да се съхраняват междинни даннина HDFS, защото: записването на данни е скъпо и включва репликация, което допълнително увеличава разходите за глава и време.

Препоръчано:

Интересни статии
Защо високопланинските райони са гъсто населени?
Прочетете още

Защо високопланинските райони са гъсто населени?

Тази голяма планинска верига в Азия има ниски температури, лошо качество на почвата и склоновете са твърде стръмни, за да могат хората да живеят и да се обработват - и затова е рядко населена. Други места, като части от Обединеното кралство, са по-гъсто населени, защото те имат по-равна земя, добри почви и мек климат.

Херне Бей има ли пясъчен плаж?
Прочетете още

Херне Бей има ли пясъчен плаж?

Направихме вечерна разходка по плажа на Херне Бей и кея и какво прекрасно място е това! … Плажът е предимно фин чакълест с малко пясък. Имаше нова детска площадка и няколко интересни рамки за упражнения на плажа. Плажът е подкрепен с добре поддържани цветни лехи.

Произведени ли са обезмаслени продукти в Китай?
Прочетете още

Произведени ли са обезмаслени продукти в Китай?

„Skims“не се произвежда в САЩ. Въпреки че марката е отказала да посочи точното място на производство, много артикули „Skims“са брандирани с „Made In China“и „Произведено в Турция.“ Къде се произвеждат SKIMS? SKIMS от Ким Кардашиян е ПРОИЗВЕДЕНО В ТУРЦИЯ!