集群直接加载hdfs文件namenode会不会成为瓶颈

8a集群支持hdfs文件的直接加载,在加载配置中,hdfs数据源是通过hadoopnamenode节点来获取数据的,因为hadoop只有两个namenodestandby方式),是否存在因为只有一个namenode节点提供数据而导致的加载瓶颈问题?

1 回答

8a集群直接加载hdfs数据源时,url指定为hadoopnamenode节点,通过namenode节点获取待加载数据的uri路径,然后根据uri路径从各hadoopdatanode直接读取数据,而不用将数据汇总到nemenode节点再提供给8a集群加载。即,hadoopnamenode节点只提供hadoop中数据的元信息,不会造成加载时的网络瓶颈。
2018-9-4 10:36

撰写回答

您需要登录后才可以回帖 登录 | 立即注册

提问者

发布146
回答381

相关问题

相关资料