Como melhorar a performance dos discos dos seus datanodes – ext4

Tags:

O povo que trabalha com grandes cluster big data hadoop sabem que quanto melhor a performance de seus discos nos datanodes, melhorar será o seu desempenho.

Mesmo em discos 7200 rpm há como melhorar a performance, tanto de escrita como leitura. Para isso, basta colocar no /etc/fstab os seguintes argumentos em seus pontos de montagem, lembrando que os listados abaixo só foram testados, e validados, para partições ext4:

inode_readahead_blks=64,data=writeback,barrier=0,commit=300,noatime,nodiratime,nodev

Não se esqueçam que depois de configurado, vc precisará desmontar e montar os discos para que tais parâmetros funcionem.

Para mais informações quanto as possíveis parametrizações no ext4, acesse o seguinte link.

Atualização:

Logo que terminarem os meus testes e validações, postarei as recomendações para XFS.

Testes sendo realizados em um cluster composto por 75 workers/datanodes físicos. 🙂

VEJA TAMBÉM

CCA-500 – O que estudar para passar nesta certificação ? Prestei e passei, na primeira tentativa, para a CCA-500 - Certificação Cloudera focada em administração de Big Data / Hadoop. A prova possui 60 questões e não é nada fácil. Abaixo segue uma pequena...
We are back!!! Depois de horas, dias, semanas, meses e quase 1 ano, estou voltando a escrever. O hiato, para ser mais chique, foi devido a quantidade de trabalho acumulado, problemas com o blog - formatação e pro...
COMPARTILHE ESTE ARTIGO

COMENTÁRIOS

Um comentário em “Como melhorar a performance dos discos dos seus datanodes – ext4

  1. Maycon Santos

    Gustavo, você testou em produção ou usou alguma ferramenta?
    Levou em consideração, qual tamanho de blocos?

DEIXAR UM COMENTÁRIO

MENU