Redes de armazenamento partilhado (SAN e NAS)

António Cristo · 14 / Fevb / 2010, 05:10

José Costa, um erro de minha escrita:

Estive a ver isto:http://www.axus.com.tw/product.asp valores na ordem dos 2500/ 3000 € para o bloco SAN (sp), mais as placas (para PC) e os cabos (um bocadinho carotes os cabos de dual chanel fibre 20m).

A (Ethernet, Fibre Channel ou Infiniband) tem maior latência que o USB?

O bloco NAS já o tenho não o consigo é ligar.... coisas simples que por vezes se tornam complicadas....liga em qualquer máquina menos nas minhas (lol) questões de configurações e um apertado sistema de segurança não o permitem (coisas para especialistas) mais uma semanada e a coisa é resolvida e um novo backup fica feito.

A questão SAN.
Tenho uma duvida:
A rede por switch é gigabyte (sei que podem ser outras mas o preço também).
O fibre channel obriga a uma placa por cada pc http://www.globaldistribution.com/products/g-technology/g-technology_product_family/product/g-speed_es_pro_xl/#2 de forma a ligarem directamente ao sistema de discos SAN. Será que o sistema gere 2 pc directos (2xDual Channel - recebe e envia ao mesmo tempo) mais a rede gigabyte.

O HD PURO consome +/- 1TB para 2h30 de vídeo qual é a taxa de transferência?
Alguém sabe-me responder?

Há já me esquecia a comentar... sobre a consultoria... para isso tinha de mudar a questão... Que equipamento usar e qual e onde comprar e preço e software, montagem e assistência e coisa e tal.

Despertei para esta questão com o HD pois obriga a uns recursos que não tenho instalados. Como alguns Post sobre este assunto surgiram no Forum do PortugalVideo pela mão de José Costa e creio que o Pedro Rocha (me perdoem se me esqueço de alguém) sendo uma pessoa interessada nesta matéria porque não trocar alguma informação de forma a poder pesquisar de uma forma mais tangível o assunto....

Obrigado
António Cristo

José Costa · 14 / Fevb / 2010, 23:37

Boas.
Li, reli e voltei a ler e fiquei sem perceber. Menciona que esteve a ver uma SAN, que tem um NAS e mais atrás mencionou que estava a utilizar discos externos. Assim, pergunto:

- Afinal, o que é que tem? O que é que está a utilizar como storage e como?

Menciona que, e cito "Neste momento trabalho com ficheiros Pal, HDV e HD", fala em 8 TB mas os 16 TB também vieram á festa, e tem discos num total de 4 TB. Reconhece que o ideal seria uma SAN mas que vai ficar pelo NAS. Apesar do NAS utilizar Ethernet, pergunta pelo Fibre Channel. Assim, pergunto:

- O que é que precisa realmente? Quer ligar quantos PCs? Qual a capacidade de storage total necessária? Que tipo de ficheiros video utiliza? O que é que quer, SAN ou NAS?

Menciona "porque não trocar alguma informação" e "Despertei para esta questão com o HD pois obriga a uns recursos que não tenho instalados". Assim, pergunto:

- Que tipo de informação é que se está a referir? Que recursos são esses? O que é que quer fazer? Quais são os planos?

Desculpe lá, mas sinto que estamos a correr á volta da mesa, e assim não se vai chegar a lado nenhum. Numa resposta atrás que deu ão Pedro Rocha, julguei ter entendido o que precisava, mas agora já não sei. Fala em NAS, fala em SAN, começo a acreditar que quer transformar um NAS que tem numa SAN... já não sei o que estou para aqui a "discutir". Assim, peço:

- Explique-me, como se eu fosse uma criança de 5 anos, o que realmente precisa a nivel de trabalho, o que quer fazer, o que procura. Quer um armazenamento compartilhado, a ser acedido por dois PCs, para edição de HD e SD e com a capacidade de 16 TB? É isto que quer ou é outra coisa?

Gosto de ajudar, mas também gosto de entender o que estão a pensar. E neste momento, já não estou a entender muita coisa. Boas.

António Cristo · 15 / Fevb / 2010, 02:18

Um pouco confuso talvez....

CitaçãoLi, reli e voltei a ler e fiquei sem perceber. Menciona que esteve a ver uma SAN, que tem um NAS e mais atrás mencionou que estava a utilizar discos externos.

É assim tal e qual quero colocar ao serviço um SAN, trabalho com discos externo e tenho um NAS para instalar para Backup na medida em que os discos USB já se amontanham e estão a ficar cheios.

CitaçãoMenciona que, e cito "Neste momento trabalho com ficheiros Pal, HDV e HD", fala em 8 TB mas os 16 TB também vieram á festa, e tem discos num total de 4 TB. Reconhece que o ideal seria uma SAN mas que vai ficar pelo NAS. Apesar do NAS utilizar Ethernet, pergunta pelo Fibre Channel. Assim, pergunto:

Talvez não me tenha expressado bem. Trabalho com esses ficheiros, possivelmente poderei vir a trabalhar em HD sem compressão (se tiver sistema para isso), tenho um NAS para BACKUP, ainda não tive oportunidade de o testar em edição (embora o objectivo seja backup); Um SAN será obrigatoriamente para edição e terá de ter 8TB pois é a informação que quero lá colocar os 16TB não é mais do que o Raid e algum espaço livre.

CitaçãoQuer um armazenamento compartilhado, a ser acedido por dois PCs, para edição de HD e SD e com a capacidade de 16 TB?

Tal e qual o que acabou de escrever.

Obrigado
António Cristo

José Costa · 16 / Fevb / 2010, 01:28

Boas.
OK, entendi. Mais uma dúvida:
- uma vez que tem um NAS para backup, e precisa de 8 TB de espaço em disco, qual a razão para querer 16 TB? Menciona para o RAID e algum espaço livre. O espaço livre compreendo, mas o RAID? Que nivel RAID está a considerar/a referir? E já agora, o espaço total disponivel no NAS?

- Os 8 TB que refere é algo não negociável, precisa mesmo desse espaço, ou será o espaço que mais lhe convinha? Ou seja, 8 TB é mesmo o minimo dos minimos do espaço necessário para a SAN?

- Falar de preços é algo que muita gente evita, mas neste caso é inevitável. Qual é o valor que pensa que vai gastar, que equaciona gastar para o sistema em causa? Respostas no género "o que fôr necessario" não adiantam nada á questão. A razão de tal pergunta? Poder dizer se é um valor razoável e se efectivamente tal é possivel ou se não tem qualquer hipotese face ão valor. Poder adequar o meu conselho/opinião ãos valores em causa, em função também das necessidades por si expressas. Se preferir, pode responder por mensagem privada. Saliento que não estou aqui a tentar vender nada, para não haver segundas interpretaçôes.

Boas.

António Cristo · 16 / Fevb / 2010, 02:07

Comprei o NAS pois estou com falta de discos e como gravo em cartão (logo não tenho as cassetes) obriga-me a um maior cuidado com a segurança dos dados. O NAS está com Raid 5 tenho disponível +/-2,5TB para dados (4TB).

Com franqueza não sei bem ao certo o espaço que necessito sei que tenho +/- 8Tb de dados (nem todos tem de estar disponíveis) mas dados estão sempre a chegar (alguns vão para o lixo após trabalho, outros necessito deles on line outros ficam na gaveta do fundo a ver para que lado vão).

A resposta não é linear, posso ter ou não mas(é negociável) +/- 8TB +Raid 5 libertava-me discos para arquivo menos utilizado (pensei no NAS para isso) e no SAN para trabalho on line mas com segurança portanto RAID 5 (não tenho seguro se RAID 5 é o melhor para que não "perca mesmo nada" no caso de avarias de sistema, discos etc - não estou a contemplar fogo nem afins).

Também posso usar o NAS (mas este só tem 4TB sem Raid) a fazer backup do SAN (é outra possibilidades).

Vi num site um SAN com 12 TB e outro com 16 com várias possibilidades de RAID.... O mais confuso é o tipo de interface de data link que serve para mim.... pois existem vários (Ethernet, Fibre Channel ....) tendo em consideração a possibilidade de editar em HD puro.

Não sei se consegui expressar a resposta...mas cá vai pode ser que o José Costa tenha um bom Spot light sobre esta confusão de peças.

Obrigado
António Cristo

José Costa · 16 / Fevb / 2010, 16:13

Boas.
Novamente, pergunto: Qual é o valor que pensa que vai gastar, que equaciona gastar para o sistema em causa? Boas.

António Cristo · 16 / Fevb / 2010, 21:17

Penso que rondará +/- 3500 € (Equipamento + discos Sata 1TB) o que não está aqui equacionado é as ligações do SAN aos pcs - e isso faz toda a diferença no investimento. Por isso as minhas questões sobre Data Link SAN to PC.

ACristo

José Costa · 18 / Fevb / 2010, 02:41

Boas.
Em relação ás perguntas anteriormente feitas e ás quais não respondi:

- A (Ethernet, Fibre Channel ou Infiniband) tem maior latência que o USB?
A latência depende dos dispositivos que compoêm a "interface", assim como dos seus drivers, uma vez que latência e transferência estão inter-relacionadas. Abstraindo das questôes dos dispositivos e dos drivers, pode-se dizer que a "lista" fica assim organizada, da maior para a menor latência: USB, Ethernet a 1 Gbps, Fibre Channel 2 Gbps e 4 Gbps e Infiniband.

- O fibre channel obriga a uma placa por cada pc http://www.globaldistribution.com/products/g-technology/g-technology_product_family/product/g-speed_es_pro_xl/#2
O link refere-se a uma controladora para discos SAS e não a uma placa de rede Fibre Channel (mais correctamente chamada de HBA).

- Será que o sistema gere 2 pc directos (2xDual Channel - recebe e envia ao mesmo tempo) mais a rede gigabyte.
Não e não. Não se pode ligar os PCs directamente, sem o necessário software de "controlo", e não se pode agregar uma placa Ethernet (rede gigabit e não gigabyte) ás placas Fibre Channel, com o propósito de se aumentar a largura de banda.

- O HD PURO consome +/- 1TB para 2h30 de vídeo qual é a taxa de transferência?
DV = + ou - 3.5 MB/s
HDV 720p = - 3.0 MB/s
HDV 1080i = - 3.5 MB/s
HD Uncompressed 8-bit 1080p25 = + ou - 98 MB/s
HD Uncompressed 10-bit 1080p25 = + ou - 139 MB/s

- não tenho seguro se RAID 5 é o melhor para que não "perca mesmo nada"
RAID 6 é mais seguro que RAID 5.

- .....para que não "perca mesmo nada" no caso de avarias de sistema, discos etc
Os niveis RAID APENAS contemplam as avarias dos discos rigidos. Avaria das controladoras, erros de memória RAM ou de erros provocados por outros componentes do sistema não estão protegidos pelos niveis RAID.

- O mais confuso é o tipo de interface de data link que serve para mim.... pois existem vários (Ethernet, Fibre Channel ....)
Para a edição de HD Uncompressed, e só por causa do HD Uncompressed, será o Fibre Channel a 4 Gbps (mas ler opinião mais abaixo).

- Penso que rondará +/- 3500 € (Equipamento + discos Sata 1TB)
Não tenho vem a certeza (eu diria mesmo que tenho muitas dúvidas) se por este valor compra uma SAN com as caracteristicas acima descritas, muito por causa do requesito HD Uncompressed. Os discos Sata também não serão a melhor escolha para o fim em vista, pois vai obrigar a alguns compromissos. Os discos SAS, se bem que muito mais caros, seriam de longe uma melhor opção para uma SAN com vista á edição HD Uncompressed.

Consideraçôes:
1 - Quando lá atrás referi/sugeri uma SAN para edição de video, tinha um determinado perfil de utilizador em mente: editor de video a tempo inteiro ou grupo de editores, com 2, 3 ou 4 PCs, edição de video SD, HDV e seus congeneres (AVCHD, MPEG-2, MPEG-4 e outros formatos comprimidos). A alusão ão preço (grátis ou quase), tinha também este perfil de utilizador em mente. Uma SAN para edição de HD não comprimido também é possivel de ser construida pelo comum dos mortais (desde que tenha conhecimentos minimos para tal) mas é tudo menos grátis (e nem fica perto do quase). Se juntarmos o aspecto segurança dos dados, ainda mais caro fica o sistema.

2 - SAN não pode ser vista como repositório de dados, como contentor de ficheiros. Num mundo ideal, iria tudo para a SAN. Mas como o custo de uma SAN é alto comparativamente ão NAS e de mais dificil implementação, á que escolher quais dados devem estar presentes na SAN e quais seria melhor ficar num NAS. 16 TB pode ser visto como um bom espaço, mas rapidamente este fica cheio, se não houver uma seleção dos ficheiros a manter numa ou noutra arquitectura.

3 - O facto de algo ter o nome de SAN ou estar clasificada como SAN não significa que esteja apta para todo o tipo de serviço. Um Fiat Punto e um Ferrari, ambos clasificados como automóveis, levam-me do ponto A para o ponto B. Mas enquanto que um me transporta a no máximo 200 Km/hora, o outro pode transportar-me a 320Km/hora. Na mesma forma, um comercial de dois lugares transporta mercadoria do ponto A para o ponto B, tal como um TIR. Mas enquanto que um apenas pode transportar pouca coisa, o outro pode levar muita coisa de uma só vez. Assim são as SANs, podem ser aptas para determinadas funçôes mas não o estar para outras. Necessidades diferentes, SANs com caracteristicas diferentes.

Opinião:
No meu ponto de vista, o investimento numa SAN baseada em Fibre Channel, para apenas 2 PCs não é vantajosa, se tivermos em conta o aspecto custo/beneficio. Mais ainda se torna desvantajosa, se tivermos em atenção o facto de que você ainda não está a trabalhar em HD não comprimido. Este objectivo (o HD) obriga a comprar uma SAN já preparada para ele, com os consequentes custos que isso representa (discos, controladoras, interfaces), mas sem que no entanto possa actualmente tirar partido de tal. Junte-se a isto tudo o facto de que o espaço em disco está constantemente a aumentar e os preços por GB a diminuir, e rapidamente se chega á conclusão que talvez o caminho a seguir deva ser outro.

Temos depois a incompatibilidade que existe entre os vários productos dos vários fabricantes. Existe sempre a necessidade de verificar se uma determinada placa ou switch Fibre Channel é compativel com o que já temos. Productos de fabricantes diferentes normalmente dão problemas, sendo necessario a "certificação" por parte do fabricante de um producto em relação a outro.

Numa palavra, o Fibre Channel é dificil de justificar só para dois PCs.

As SANs comerciais são limitadas na expansibilidade. Isso significa que no futuro, a substituição dos seus discos por outros de maior capacidade pode não ser possivel, ficando assim o seu possuidor limitado á capacidade máxima que a SAN permite. Se bem que seja possivel ligar uma SAN a outra SAN, não é a melhor opção, pois acrescenta alguma latência ão sistema além de aumentar os custos (e nem todas o permitem).

Acredito que para o seu caso a melhor opção seria uma SAN baseada em rede Gigabit e que permiti-se um upgrade posterior para 10 Gbps, através da inclusão de uma placa de rede. O mercado das TI prevê para este ano uma baixa consideravel do preço das placas a 10 Gbps. De qualquer das formas, mesmo actualmente já são mais baratas que uma placa Fibre Channel. A rede 1 Gbps seria suficiente para as suas necessidades actuais, e quando a necessidade pelo HD surgir, seria só instalar placas 10 Gbps. O investimento actual em placas 1 Gbps para os PCs (a ser necessario) é minimo, pelo que mesmo que no futuro fiquem encostadas não deixarão aquela sensação de "mau investimento", até porque podem sempre ser utilizadas noutros PCs que não precisem de editar HD não comprimido.

Diminuir á capacidade da SAN também seria uma boa ideia, pois permitiria canalizar o dinheiro para discos SAS, que iria contribuir para um bom desempenho de todo o sistema. A SAN ficaria para a edição dos projectos actuais e para os ficheiros mais utilizados, e todos os outros passariam para o NAS, pois essa é uma das funçôes de um NAS: servir de armazèm. SAN com discos SAS e o NAS com discos Sata. Transferir 1 hora de video SD em DV (cerca de 13 GB) de um NAS para a SAN (e vice-versa) pode ser tão rápido como dois minutos e meio (numa rede de 1 Gbps).

Já mencionou que hardware e configuraçôes não é o seu forte. Isso coloca de lado a hipotese de você construir a sua SAN. O que neste caso é pena, pois tal iria permitir uma poupança enorme, além de permitir que todo o sistema fosse crescendo em função das suas necessidades. Poderia inicialmente começar com discos Sata, pois para SD e HDV não haveria problema, e mais tarde acrescentar discos SAS juntamente com uma controladora, mantendo todo o conjunto em perfeita harmonia. Tendo que comprar uma SAN já "feita", não lhe resta outra alternativa que optar já por discos Sata, comprometendo a edição futura em HD, ou optar já por discos SAS, com o forte investimento que isso representa.

Uma observação:
Do meu ponto de vista, uma SAN só faz sentido se ambos os PCs (no seu caso 2) poderem ler/gravar ão mesmo tempo na SAN. Ou seja, se puder ter um PC a capturar e outro a editar/converter, ou ambos a editar ou qualquer outra conjugação de leitura e/ou gravação. No mercado existem algumas SANs que apesar de permitirem a edição em HD não comprimido, não permitem que dois PCs editem ão mesmo tempo. Se estiver a editar HD num PC, não será capaz de fazer uma exportação, por exemplo, no outro PC, por força dos discos não darem "conta do recado". Conseguem suportar a edição em SD por 4, 5, 10 PCs, mas não o conseguem em HD por 2 PCs. Mais uma coisa a ter em consideração.

Boas.