发表于 |

在日常维护Hadoop集群的过程中发现这样一种情况:
     某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏，所以造成了HDFS上某些block的备份数超过了设定的备份数。通过观察发现，这些多余的数据块经过很长的一段时间才会被完全删除掉，那么这个时间取决于什么呢？

阅读全文 »

发表于 |

DataNode 进程死亡或者网络故障造成 DataNode 无法与 NameNode 通信，NameNode 不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS 默认的超时时长为 10 分钟 + 30 秒。如果定义超时时间为 timeout，则超时时长的计算公式为：

timeout  = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。
阅读全文 »

发表于 |

DNS为Domain Name System（域名系统）的缩写，它是一种将ip地址转换成对应的主机名或将主机名转换成与之相对应ip地址的一种服务机制。

其中通过域名解析出ip地址的叫做正向解析，通过ip地址解析出域名的叫做反向解析。

DNS使用TCP和UDP协议，端口号都是53，但它主要使用UDP协议，服务器之间备份使用TCP协议。

全世界只有13台“根”服务器，1个主根服务器放在美国，其它12台为辅根服务器

DNS服务器根据角色可以分为：主DNS服务器，从DNS服务器，缓存DNS服务器，DNS转发服务器。

发表于 |

1、是在每一个map task的本地运行，能收到map输出的每一个key的valuelist，所以可以做局部汇总处理

2、因为在map task的本地进行了局部汇总，就会让map端的输出数据量大幅精简，减小shuffle过程的网络IO

3、combiner其实就是一个reducer组件，跟真实的reducer的区别就在于，combiner运行maptask的本地

阅读全文 »

发表于 |

1、先在客户端所连接的datanode上存放一个副本
2、再在另一个机架上选择一个datanode存放第二个副本
3、最后在本机架上根据负载情况随机挑选一个datanode存放第三个副本

阅读全文 »

发表于 |

1. 准备Linux环境

1.1 修改主机名
       vim /etc/sysconfig/network

       NETWORKING=yes
       HOSTNAME=yun

  1.2 修改IP
    修改配置文件方式
     vim /etc/sysconfig/network-scripts/ifcfg-eth0

     DEVICE="eth0"
     BOOTPROTO="static"           
     ONBOOT="yes"
     IPADDR="192.168.80.190"           
     NETMASK="255.255.255.0"          
     GATEWAY="192.168.80.88"            

   1.3 修改主机名和IP的映射关系
         vim /etc/hosts

         192.168.80.190    yun

   1.4 关闭防火墙
     #查看防火墙状态
     service iptables status
     #关闭防火墙
     service iptables stop
     #查看防火墙开机启动状态
     chkconfig iptables --list
     #关闭防火墙开机启动
     chkconfig iptables off

    1.5重启Linux
         reboot 或者 init 6
阅读全文 »

发表于 |

1、在A机器上生成密钥对

ssh-keygen 一路回车或者 ssh-keygen -t rsa 一路回车

2、把A的公钥复制到B上

cat .ssh/id_rsa.pub，然后复制内容到B机器上的.ssh/authorized_keys
阅读全文 »

发表于 | 分类于 |

Alt text
  早上起来外面下着蒙蒙的细雨。萌萌欲睡的我就这样到了三点半，从早上都是处于一种欲睡的感觉，可能是觉睡的有点少了吧。昨晚两点睡觉的，今天早上不到七点就起床了。（这样写有点搞笑唉～～～）起来之后洗洗脸，刷刷牙，就去食堂去吃饭，然后就去那个优美之地去读我最喜欢的英语。虽然自己英语很烂，但我就是喜欢它，没法办阿。就像自己心上的东西一样，我很想它，想每时每刻都可以看见它。可是我却还没有做到这种程度，很大程度上我都是忽略了它，还没有想过它的感受。自己有点自私了。自己在下着蒙蒙的细雨中读书真爽，只不过有点冷而已。

阅读全文 »

发表于 |

Alt text
  合肥之学习第二天，谈谈自己的感受，自己心里的感受还是蛮有点失望的，感觉来到这没有学到太多的知识，心里总有一种莫名其妙的感觉，在心里作祟。这世界上说的不错的是全部都是利益驱动，大家都是为了利益，虽然表面上是没有，但是最终的目的总是利益。不知什么原因，每次看到利益的争取，我都会有一种不好的感觉，想去逃避，却又不能，总想摆脱的，却又不得不去面对它。争取做到最好。

喜欢书、喜欢运动、喜欢文字、抬头看路、低头做人，这就是我————阿文

发表于 |

　　不知不觉就觉得自己老了，总想着自己还是本科的日子，时间如戏对每个人都是一样，要看我们每个人怎么去演，自己如何去演出属于自己的一支华尔兹，完成自己的当初的想法。数着日子自己也老大不小了，看着自己碌碌无为的，甚是对自己的未来充满科幻。我不知道自己这是在逃避还是在做所谓的挣扎，有时候自己就在想当初的选择是不是值得，有那么几回觉得自己是错了，还有时觉得是对的，甚是无理取闹。拿三年的时间来换一些东西，所做出的抉择，其中的机会成本是我所不能想的。面对生活的百态，看着别人家的孩子，总是有一种莫名奇怪的感觉涌上心头，压的自己都快喘不过气来。心感觉都是在外面的，没有回过自己的肚子一样，生活充满着希望，但也赋予着其他的东西。有时让你感觉世界是很美好，有时很残酷。在该努力的时代，该拼搏的时候，不能放纵自己。纵使最后是最坏的打算，一事无成也好，总对的起自己,相信自己是可以的。总之散漫的自己，不能去放纵,刻苦加油。今天是自己的生日，自己对自己说声生日快乐。以后要快快乐乐。任何事情都要加油，我也希望自己能在这里找到另外的一伴，以后就可以两个人一起过生日啦(^_^)。

喜欢书、喜欢运动、喜欢文字、抬头看路、低头做人，这就是我————阿文