SAN ou NAS - por qual optar?

[José Costa]

Boas.

Alguns colegas de trabalho, por vezes, mencionam que estão a pensar implantar uma SAN ou um NAS, para o armazenamento. Mas que ainda não sabem bem a diferença entre um e ou outro. Na verdade, não são assim tanto os colegas a pensar implantar armazenamento compartilhado, até porque a maioria tem apenas um PC de trabalho. Mas quem tem 2 ou vários PCs, e está um pouco por dentro destas coisas de armazenamento, começa a equacionar um sistema destes, pelas verdadeiras possibilidades de trabalho (o tão aclamado workflow) que proporciona. Pelo workflow, pela economia, segurança dos dados, expansibilidade do armazenamento, para todos os PCs.

A melhor descrição que me ocorre para deferenciar um e o outro, no que toca a edição video, é a seguinte:

um NAS e uma SAN permite que todos os PCs tenham acesso instantaneo e ão mesmo tempo ãos mesmos dados. Todos os PCs gravam e leêm os dados para o mesmo disco rigido (ou discos rigidos - a SAN ou o NAS), de forma que enquanto um PC grava (captura uma cassete, por exemplo), todos os outros PCs têm acesso imediato ãos dados gravados. Imagine a SAN ou o NAS como sendo um disco rigido externo (daqueles que se ligam ão PC por USB), mas que em vez de só um PC estar ligádo ão disco rigido, que é o que acontece com os discos externos, estão todos os PCs ligádos ão mesmo disco. Todos leêm e escrevem para o disco, ão mesmo tempo se tal fôr necessário.

Mas enquanto que um NAS obriga a que se tenha de "puxar" os ficheiros (audio/video/outros) do NAS para o disco rigido do PC (e vice-versa), para assim se poder editar, uma SAN permite editar directamente sobre os discos rigidos da SAN, sem necessidade de ter que transferir os dados. Por outras palavras, um NAS obriga a que se tenha de ter um disco rigido no PC para se poder editar, enquanto que numa SAN tal necessidade não é requerida. A SAN é o disco rigido do PC, a SAN é o disco rigido de todos os PCs a ela ligádos. Em vez de ter discos rigidos em todos os PCs para os ficheiros de video/audio, só se tem a SAN.

Existem ainda algumas importantes diferenças entre uma SAN e um NAS, que irei abordando à medida que o tempo o fôr permitindo. Se o tema lhe interessa, vá passando por aqui. Irei acrescentando "dados". Boas.

[Filipe Araújo]

 Boa tarde Jose Costa,

 a algum tempo atras ouvi pela primeira vez falar nisto e foi num workshop da Sony no Porto.

 Fiquei na altura bastante curioso sobre quais as capacidades destes discos e se seria um disco ou um o pack de discos.

 Quando alargar o assunto cá o estarei para ouvir.

 Fico a aguardar, obrigado. Filipe Araújo.

[Fernando]

Boa tarde, José Costa.
De facto, achei muito interessante este seu post. Já tinha lido algumas coisas sobre este "sistema". Ocorre-me apenas uma dúvida: os pc's ligam à SAN com o normal cabo de rede ou com outro tipo de ligação?
Desde já, obrigado pelo seu post.

[José Costa]

Boas.

NAS e SAN fazem parte das chamadas arquitecturas de armazenamento, tal como o DAS. Segundo a wikipedia:

Network Attached Storage ou NAS, em informática, é um dispositivo dedicado ao armazenamento de arquivos dentro de uma rede, provendo acesso heterogêneo aos dados para os clientes desta rede.

Na computação, um Storage Area Network (área de armazenamento em rede) ou SAN é uma rede projetada para agrupar dispositivos de armazenamento de computador. Os SANs são mais comuns nos armazenamentos de grande porte.

Direct Attached Storage (DAS) é o método tradicional de almacenamento e o mais fácil. Consiste em conectar o dispositivo de almacenamento directamente ão servidor ou estacão de trabalho, ou seja , físicamente conectado ão dispositivo que o vai usar.

in "http://pt.wikipedia.org/"

Esta definição poderá ser algo enigmática para a maioria dos Users, pois ela não é muito descritiva, acerca das vantagens e inconvenientes de tais arquitecturas de armazenamento. Se bem que apenas tenha transcrito uma parte da descrição disponivel na Wikipedia, a verdade é que todo o seu conteúdo não acrescenta muita informação, a quem queira compreender integralmente tais sistemas. O facto de ambos (SAN e NAS) não serem do dominio público e, na maioria das vezes, só as grandes productoras e estudios os utilizarem, não contribuiu para a divulgação dos mesmos. Pelo que a pergunta surge: o que é mesmo isto de NAS e SAN, para que é que serve e quais as vantagens?

A melhor forma de nos inteirarmos das vantagens, inconvenientes e forma de funcionamento das arquitecturas, é analizar casos. Para isso, vou tomar como exemplo a área do video, até porque é nesta área que me movimento. E vou começar pelo inicio: 1 PC.

Você tem um 1 PC (Windows, Mac, Linux ou qualquer outra plataforma). Quando precisa de mais espaço de armazenamento no seu PC de trabalho, a opção é comprar outro HD. Pode ser um disco rigido interno ou um externo. Um disco interno liga directamente a uma porta SATA no interior do PC (IDE nos PCs mais antigos, SAS, SCSI ou FC nos servidores). O número de discos internos que pode ligar ão PC depende do número de portas disponiveis. Um PC normal costuma ter no minimo 4 portas. Portanto, um PC normal pode ter no minimo 4 discos internos. Se 4 discos ou o número de portas disponiveis não chegar para ligar mais discos, existe sempre a opção de compra de uma placa controladora extra, que encaixa numa baia PCI ou PCI-e. O mercado possui placas controladoras às quais é possivel ligar 16 discos simultâneos. Se mesmo assim não chegar, existe os chamados Expanders, que permite ligar até 128 discos na mesma porta, além de poder usar várias controladoras ão mesmo tempo, no mesmo PC.

Se a opçâo fôr por discos externos, o mais comum são os que ligam por USB, mas também existe os que ligam por Firewire e os eSATA. A grande vantagem destes discos é a sua facilidade de ligação. Basta uma porta USB, Firewire ou eSATA e a respectiva alimentação eléctrica. Se tivermos em conta que é comum encontrar PCs com 10 ou mais portas USB, tal significa que podemos ligar 10 ou mais discos externos.

O grande inconveniente dos discos externos é a sua taxa de transferência de dados ser muito inferior á dos discos internos. Um disco com ligação por USB tem uma taxa de transferência máxima de cerca de 30 MB/s, e cerca de 35 MB/s nos com ligação por Firewire, enquanto os internos podem atingir valores superiores a 100 MB/s. Um parênteses aqui: os discos eSATA atingem a mesma taxa de transferência dos seus congeneres SATA internos, mas não é muito comum encontrar à venda este tipo de discos (que é uma caixa com um ou mais discos dentro, tal como acontece com os USB e Firewire. O disco ou discos são iguais a qualquer outro disco rigido interno de PC, o que muda é o facto da caixa possuir circuitos electrónicos que convertem a ligação SATA do disco rigido em uma ligação (ou porta) USB e/ou Firewire). Este tipo de arquictetura é conhecida por DAS - Direct Attached Storage.

Mas vamos considerar apenas PCs comuns, daqueles que cada um de nós tem por casa ou no emprego: um PC, um disco rigido interno para instalar os programas e o sistema operativo, além de guardar alguns dados, e um segundo disco, também interno, para guardar os dados de audio e video das capturas, como é o caso dos profissionais que trabalham em edição video. Também é comum ter um disco rigido externo, que muitas vezes funciona como backup, ou para guardar aqueles dados ãos quais raramente acedemos.

Mas eis que chega o dia em que se compra um segundo PC. E voltamos novamente à questão do armazenamento, à necessidade de espaço em disco para esse PC. Compra-se mais um disco ou dois internos, talvez mais um externo. E porque o tempo se vai passando e o primeiro PC já tem uns anos, e está lento, opta-se por comprar um novo PC, com um processador mais rápido. E novamente se volta à questão de espaço em disco, à compra de mais discos rigidos. Como o primeiro PC custou dinheiro, e ninguém gosta de deitar dinheiro fora, à a tendencia para se continuar a trabalhar com o primeiro PC. O PC novo para aqueles trabalhos mais elaborados ou mais pesados, o PC mais antigo nos projectos mais leves, como a simples conversão dos masters em DVD.

E com tudo isto, temos 3 PCs. Talvez a maioria tenha apenas um PC, mas acredito, até por conhecimentos de casos, que muitos são já os que têm mais de 1 PC de trabalho. Principalmente quem tenha a edição de video como profissão ou ocupação a tempo inteiro.

Vejamos agora o que acontece quando se está a trabalhar.

Continua...

Boas.

[Paulo C. Jerónimo]

Viva, caro José Costa,

Também queria agradecer-te o tempo e dedicação que tens emprestado a este post em concreto, pois que este é um assunto que também me interessa.

Continuarei portanto atento ao seu desenvolvimento.
Recordo-me que já não é a primeira vez que abordas esta questão.
Já antes me tinha ficado a ideia que estas são boas soluções de armazenamento para videógrafos, sem dúvida.

O meu "senão" é se serão sistemas tecnicamente muito complicados de montar e mante-los a trabalhar bem, a responderem com fluidez?
Aguardo portanto teus desenvolvimentos.

Abraço.
PC.

[José Costa]

Boas.

Respondendo às perguntas anteriormente feitas pelos Users Filipe Araújo, Fernando e Paulo César:

- Dependendo se é NAS ou SAN, do desempenho desejado, capacidade pretendida, do número de PCs com acesso ão mesmo tempo, pode ser um só disco ou um pack de discos, num chamado agrupamento de discos.

- Os interfaces de ligação dos PCs à SAN ou NAS, depende da arquictetura de armazenamento, entre outros factores, mas podem ligar ambos por Ethernet. No entanto, existem uma serie de aspectos a se ter em conta, se o objectivo é a edição de video, relativos ão desempenho.

- SIC, RTP, TVI, CNN, BBC, Sky News e milhares de outras emissoras e estúdios de pós-produção os utilizam. Podem ser construidos por um custo relativamente baixo e por quem tenha os conhecimentos minimos para o efeito, ou em alternativa, comprados no chamado sistema chave-na-mão, cujos preços ão algo elevados para a maioria de nós. São fiáveis, podem trabalhar 24/7 e não se nota diferença de desempenho em relação a um PC com discos rigidos internos, no que a edição video diz respeito. É seguramente a melhor solução para quem trabalha em video e tem mais de 1 PC.

Contunua...

[José Costa]

Boas.

Temos então 3 PCs. Partindo do principio de que ainda se trabalha com cassetes de video, tudo começa com a captura do material video para o PC. Vou assumir que se tem cerca de 2 horas de video. Vamos utilizar o PC nº 1 para a digitalização do material. Tal significa que durante cerca de 2 horas não se poderá utilizar o PC nº 1 para edição, pois ele estará cativo da digitalização.

Como temos mais PCs, vamos utilizar o PC nº 2 para editar um trabalho, cujo processo de digitalização de material video já foi feito no dia anterior. E enquanto editámos, temos o PC nº 3 a converter para DVD um trabalho que também finalizamos no dia anterior. Recapitulando: o PC nº 1 está a capturar uma cassete video, o PC nº 2 está a ser utilizado por nós na edição de um outro trabalho e o PC nº 3 está a converter para DVD um outro projecto já finalizado.

Quando o PC nº 1 terminar a captura da cassete, ainda estamos a editar. Pelo que podemos pôr o mesmo PC a capturar uma outra cassete video. E provavelmente, ainda podemos pôr a capturar uma outra cassete para o PC, pois a edição video toma muito tempo. Entretanto, já o PC nº 3 terminou a conversão para DVD, pelo que podemos colocar o mesmo PC a converter um outro trabalho ou a capturar também uma cassete video.

Terminamos a nossa edição no PC nº 2. Vamos colocar o mesmo a converter o trabalho para DVD, e vamos para o PC nº 1 editar o material que antes esteve a capturar. O PC nº 3 já teve também tempo de converter para DVD ou de capturar a cassete video, pelo que vai ficar inactivo, ou podemos pô-lo a fazer qualquer outra coisa. De qualquer das formas, nunca vamos conseguir ter os 3 PCs a trabalhar ão mesmo tempo, durante todo o tempo. Vai haver sempre alturas em que vamos desligar um ou dois PCs, pois não conseguimos editar tão depressa assim.

Editamos no PC nº 1, o PC nº 2 está a converter para DVD e o PC nº 3 está a fazer outra coisa ou simplesmente desligado. Entretanto a conversão termina no PC nº 2, pomos a capturar uma cassete para ele e também terminamos entretanto a edição no PC nº 1. Pomos a converter para DVD (PC nº 1), e vamos começar uma nova edição no PC nº 2 ou no nº 3. Se está confuso com todo este processo, respire fundo e volte a ler do principio novamente, com calma.

Vamos ver agora o que realmente tudo isto significa.

Cada PC, para além de ter um disco rigido para o sistema operativo e programas, tem também um ou mais discos para o video/audio. Vamos assumir que cada PC tem 1 TB de espaço em disco para o video/audio, pelo que os três PCs em conjunto tâm 3 TB. Escolhi 1 TB por PC, para simplificação das contas, mas também podia ser 250 GB ou 500 GB, ou qualquer outro valor. Seja então 1 TB por PC. O espaço em disco do SO e dos programas é irrelevante para a questão.

Na edição precisamos de músicas, backgrounds, imagens (fotos), etc. Vamos supôr que temos no PC nº 1, 25 GB em músicas e 75 GB em backgrounds, imagens e outros dados, pelo que temos um total de 100 GB ocupados por esta informação. Assim, "só" temos 900 GB disponiveis para o video/audio das capturas (1 TB - 100 GB= 900 GB, números redondos). Como utilizamos os 3 PCs para editar, converter e capturar o video, tal significa que as músicas/backgrounds/imagens/dados que temos no PC nº 1 também vamos ter que ter nos outros PCs, pois haverá alturas em que estamos a editar no PC nº 3 e vamos precisar de uma música que está no PC nº 1, pelo que vamos ter que copiar essa música do PC nº 1 para o Nº 3. E noutras vezes teremos de copiar o background do PC nº 3 para o nº 2, pois estamos com uma edição em mãos que precisa desses dados. Assim , não á volta a dar, temos que ter a mesma informação nos 3 PCs, pois em caso contrário vai limitar a liberdade de edição.

E temos aqui o primeiro contra deste processo. São só 100 GB de dados necessários, mas vamos ter que ter 300 GB ocupados nos 3 PCs. E se em vez de 3 PCs fossem 10, teriamos 1000 GB ou 1 TB ocupados com uma informação que só ocupa 100 GB.

O segundo contra deste tipo de armazenamento (PCs com discos rigidos internos ou externos), é que a captura de uma cassete para um PC obriga a que a edição e conversão para DVD tenha de ser nesse mesmo PC. No exemplo acima dado, ão capturarmos uma cassete para o PC nº 1, não podemos editar esse material no PC nº 2 ou no nº 3. A edição tem de ser feita no PC para onde foi feita a captura da cassete, neste caso o PC nº 1.

Isso significa que, por uma razão ou por outra, haverá sempre um PC com o qual gostamos mais de editar, pelo que haverá a tendência para capturar para esse PC, e mais rapidamente o seu espaço em disco irá diminuir. Podemos chegar a situaçôes em que um PC tem quase o disco vazio, mas outro terá o disco cheio, pelo que será necessário apagar ficheiros ou copiar os dados para um dos outros PCs. E toda esta gerência de espaço em disco consome tempo. Sem esquecer das probabilidades de algo correr mal.

Terceiro contra: como um dos PCs é mais antigo, e portanto mais lento, naturalmente que certo tipo de projectos não poderão ser editádos nesse PC. E se não são editados, não podem ser convertidos nesse PC. Isto vai contribuir para que os outros 2 PCs tenham os seus discos rigidos mais cheios, e com que o PC mais antigo passe a estar mais tempo desligado que a trabalhar. E isto leva a situaçôes em que, pela facto dos PCs mais rápidos estarem a capturar ou a converter para DVD, não possamos utilizar o PC mais lento, apesar de ele estar parado, porque para o projecto que queremos editar é melhor utilizar um PC mais rápido. E situaçôes destas levam a se ponderar a compra de um outro PC, apesar de se ter um parado e encostado a um canto.

Mas se em vez de termos este tipo de armazenamento, tivessemos uma SAN ou um NAS? O que é que realmente mudava?

TUDO!

Continua...

[José Costa]

Boas.

Vamos então ligar os nossos PCs a um sistema de armazenamento compartilhado. Para isso, os actuais discos rigidos existentes nos PCs e que estão dedicados ão video/audio podem ser retirados e instalados no armazenamento compartilhado. Inicialmente irei abordar os SAN, pois é a arquictetura de armazenamento que melhor serve os propósitos dos profissionais de video. Posteriormente abordarei os NAS, para assim melhor se compreender as diferenças entre uma e outra arquitetura.

Tanto os NAS como os SAN não servem só para armazenar os ficheiros de audio ou de video. Servem para armazenar todos os tipos de ficheiros, todo o tipo de dados que habitualmente se coloca num disco rigido. No entanto, vou assumir que só se terá ficheiros de audio/video, por uma questão de facilidade de explicação. Mas volto a salientar, os NAS e os SAN armazenam todo o tipo de dados, pois para eles é só bits, só zeros e uns que circula entre os seus discos rigidos e os PCs que a eles estão ligados.

Passamos a ter então os nossos 3 PCs, cada um deles com apenas um disco rigido, que é aonde está instalado o sistema operativo (SO) e os programas. Como o disco será apenas para o SO e os programas, pode ser um de pequena capacidade, digamos 100 GB ou menos ainda. Aliás, nem é necessário retirar o disco rigido que está no PC nem sequer alterar ou instalar algum dos programas. Pode-se ligar um PC directamente ão NAS ou SAN, pois para todos os efeitos, o PC irá ver o NAS ou SAN como apenas mais um disco rigido. Por questôes de relação custo/beneficio, se retira os discos rigidos de video/audio que estão nos PCs e se instalam no NAS ou SAN, pois são eles que a partir de agora vão armazenar os nossos dados. Mas também se pode optar por os manter em cada PC.

Uma observação aqui. É possivel retirar o disco rigido do SO e dos programas dos PCs, passando assim cada PC a ficar sem qualquer disco rigido. O arranque do PC passa a ser feito pelo NAS ou SAN. Se bem que tal seja possivel, tal acarreta uma sobrecarga sobre o armazenamento, pois todos os dados (sistema operativo, programas, video/audio, etc) transita pelo armazenamento. Como o objectivo é não se ter perca de desempenho na edição video, tal procedimento é algo a se evitar. Mas em PCs que apenas se utiliza para navegar na net ou para utilização com programas tipo o Word ou semelhantes, é perfeitamente viável o arranque dos PCs pelo NAS/SAN, ficando assim cada PC liberto de qualquer disco rigido.

Por uma questão de simplificação, direi que um NAS/SAN é uma caixa com discos rigidos dentro, a exemplo de um disco rigido externo, desses que se liga por USB. O número de discos irá depender da capacidade que se pretende, entre outros factores. Mais á frente desenvolverei mais o assunto, mas por agora, pensem no NAS/SAN como um disco rigido externo. Cada PC está ligado a este disco externo por um cabo, de forma que todos os PCs podem ler/gravar dados ão mesmo tempo, sem ser necessário o liga/desliga que se verifica nos discos com ligação por USB, quando se quer ligar o mesmo disco rigido a outros PCs, alternadamente.

Temos então os nossos 3 PCs ligádos à SAN.

Continua...

[José Costa]

Boas.

Temos então os nossos 3 PCs ligádos a um armazenamento compartilhado, numa arquictetura SAN. Para sermos o mais "isentos" possivel na comparação, vamos assumir como 3 TB o nosso espaço de armazenamento da SAN. No anterior exemplo, cada um dos nossos PCs tinha um disco de 1 TB dedicado ão video/audio. Como são 3 PCs, teriamos então um espaço bruto de 3 TB. Será então este o espaço que vamos assumir para a SAN.

Vimos também que apesar de termos 100 GB em musicas, backgrounds, videos, etc, tais dados terão que ser duplicados para cada um dos PCs, ocupam-do cerca de 300 GB, pois cada um nos PCs precisa de ter estes dados armazenados. Isto se quisermos ter estes mesmos dados sempre disponiveis em cada um dos PCs.

E no caso da SAN, qual o espaço ocupado pelos mesmos dados?

Numa SAN, nesta nossa SAN que serve simultaneamente 3 PCs, não teremos 300 GB ocupados, mas sim 100 GB, o real tamanho dos nossos dados. Os dados não precisam de ser duplicados para cada um dos PCs, até porque os PCs deixaram de ter disco rigido para os armazenar, e no entanto encontram-se disponiveis e acessiveis instantaneamente a cada um dos PCs. Temos apenas 3 PCs, mas se em vez de 3 PCs fossem 10, o espaço ocupado por estes dados continuariam a ser de apenas 100 GB, enquanto que numa situação normal de armazenamento ocupariam 1000 GB (1 TB, portanto). Por aqui já se vê que quanto maior é o nº de PCs, maior é a poupança de espaço em disco.

Mas existem outras vantagens.

Numa situação normal, a captura de uma cassete video para o PC, exige que a edição video e a sua gravação em DVD tenha de ser feita no mesmo PC, o que procedeu à captura. Com o armazenamento compartilhado, tal deixa de ser necessário. Podemos capturar com o PC nº 1, editar no PC nº 3 e converter para DVD no PC nº 2. Ou qualquer outra variação. Deixamos de estar limitados à edição neste ou naquele PC, porque a captura das imagens foi feita nele. Podemos capturar, editar e converter em qualquer PC, que tanto os ficheiros video/audio das capturas, como os que estão normalmente armazenados no disco, podem ser acedidos por qualquer PC.

Num PC normal, quando o volume de dados atinge o limite do espaço disponivel em disco (1 TB neste nosso caso), não podemos capturar mais nada, até libertarmos algum espaço no disco, seja por transferência de dados para um outro disco rigido ou PC, seja por apagamento de alguns ficheiros mais antigos e que já não precisamos. No armazenamento compartilhado, podemos capturar em qualquer PC até atingirmos o limite do espaço da SAN, que neste nosso caso é de 3 TB. Deixamos de estar limitados ão espaço que antes existia para apenas um PC, para termos total acesso ão espaço existente para todos os PCs. Numa situação normal, existe sempre um PC que é mais utilizado em relação ãos outros, e portanto, o seu espaço em disco acaba por diminuir mais depressa, ão ponto de ficar cheio. Quando isso acontece, temos de proceder á transferência ou eliminação de ficheiros. Numa SAN, tal deixa de ser necessário. Existe uma maior liberdade e capacidade de trabalho. Mas se quisermos, podemos limitar o espaço em disco que cada PC pode utilizar.

Num PC normal, teremos que capturar primeiro toda a cassete video e só depois é que podemos proceder à sua edição. E no armazenamento compartilhado? Numa SAN, é um outro mundo à parte.

Imagine o seguinte tipo de edição: começa por editar umas imagens dos noivos, aquelas em que filmou os dois sózinhos, num "passeio" durante as fotos no casamento, com vista a fazer o "videoclip". Depois, edita as imagens normalmente - casa do noivo, da noiva, igreja, ida para a quinta, sessão de fotos com os convidados, o "passeio", entrada no salão e por aí vai. Num PC normal, é obrigádo a capturar primeiro toda a cassete, ou cassetes, e só depois é que pode começar a editar. Numa SAN, pode proceder da mesma forma, ou adoptar um workflow mais fluido. Começa por capturar os 5 ou 10 minutos de imagens que tem do "passeio". Enquanto isso está a acontecer, pode começar a escolher as músicas que vai utilizar no projecto. Se já as tem no PC, óptimo. Se vai utilizar umas músicas fornecidas pelo cliente, também não à problema. Captura a cassete video no PC nº 1, por exemplo, e no PC nº 2 copia as músicas (CD, Pen, etc) para o disco rigido. Lembre-se que o disco rigido é a nossa SAN. Quando acabar de fazer isso, já os 5 ou 10 minutos do "passeio" foram capturádos. Rebobina a cassete para o principio, e captura desde o inicio da gravação. No PC nº 2 começa a editar normalmente o "videoclip". Se fizer uma batch list, dá o ponto de inicio e de termino das capturas, de forma que o PC automáticamente rebobina a cassete e depois avança a parte que já foi anteriormente capturada.

Se esteve a ler com atenção, reparou que a cassete ainda está a ser capturada para o PC e você já está a trabalhar na sua edição, sem precisar de esperar pela captura total da mesma. Como a captura é sempre mais rápida que a edição que se faz, as imagens que vamos precisando para trabalhar já estão digitalizadas, pelo que não temos de esperar pela sua captura/digitalização (se tiver duas horas de video, não consegue editar o trabalho em duas horas). Para este tipo de workflow, só precisamos de 2 PCs: um para capturar a cassete e um outro para editar (e a SAN, vem entendido). Como temos mais um PC disponivel, podemos pôr o mesmo a fazer o que quiser-mos: a converter algo, a capturar uma outra cassete, a converter para MPEG-2 o projecto em que estamos a trabalhar (adiantar para DVD o que está feito para trás) ou ter uma pessoa a ajudar num projecto mais amplo.

Imagine que tem de fazer dois projectos das mesmas imagens: um projecto com 1 hora de duração e um outro projecto com 2 minutos, por exemplo. Tem de entregar tudo no mesmo dia. Pode ser um casamento, como pode ser uma outra coisa qualquer. Para conseguir atingir o objectivo, pede ajuda a um colega. Põe o PC nº 1 a capturar os 5-10 minutos iniciais, você começa a editar no PC nº 2 o projecto de 1 hora e o PC nº 3 é utilizado pelo seu colega para editar a versão de 2 minutos. O que acabar primeiro, coloca o PC nº 1 a converter para DVD, pois já a muito que a captura terminou no PC nº 1. Ou se preferir, ou lhe der mais jeito, você faz num PC os 30 minutos iniciais do projecto e ele faz os restantes 30 minutos finais. O que terminar primeiro, pega no projecto de 2 minutos. O outro só tem de pôr o projecto de 1 hora (são dois "meios" projectos) a converter para DVD, no PC que está livre.

Obs. Eu não sei se este tipo de escrita está a conseguir passar a mensagem, ou se está tudo muito confuso. Se assim fôr, é favor de se pronunciarem. De nada serve estar para aqui a escrever, se o texto estiver muito confuso.

Continua...

[Paulo C. Jerónimo]

José Costa,

O tipo de escrita parece-me bastante acessível, nada confuso.
Mais uma vez, obrigado pela tua disponibilidade.

Abraço.
PC

[Fernando]

Olá a todos. Tenho andado um pouco afastado deste local, mas cá estou novamente.
Quero simplesmente agradecer ao José Costa por este tópico e por quanto aprendo com ele.  O Zé Costa é um "mestre". Com toda a sinceridade, bem-haja!

[José Costa]

Boas.

Uma outra vantagem do armazenamento compartilhado, ainda sobre a arquitectura SAN, é a redundância.
Se tiver um PC e ele avariar, significa que fica impossibilitado de trabalhar nele. Se o armazenamento fizer parte do PC, e portanto os videos estiverem nele armazenados, não poderá dar continuidade ão trabalho, mesmo que tenha um outro PC. Não á forma de aceder ãos dados do PC avariádo. A única forma será retirar os discos rigidos do PC avariádo e colocá-los num outro PC. Mas esta solução poderá não ser assim tão simples.

A maioria dos PCs assemblados (montados) para trabalhar em video têm os discos rigidos organizados num nivel RAID, normalmente RAID 0. Isto significa que com a avaria do PC, só é possivel aceder ãos dados através de um PC que tenha o mesmo modelo de board. Mainboards diferentes utilizam controladoras RAID onboard diferentes, pelo que os dados só são passiveis de serem lidos através de controladoras iguais. Sendo as controladoras onboard uma mistura de hardware e software (chamadas de controladoras fake-RAID), os discos só são lidos por modelos de board iguais. A retirada dos discos rigidos de um PC para outro poderá significar a perda total dos dados, se não tivermos este aspecto em atenção. Um nivel RAID tem vantagens, mas também tem os seus inconvenientes. Nada melhor que estar ciente de todos eles.

No caso de termos o armazenamento compartilhado, e o PC avariar, tudo o que á a fazer é trabalhar num outro PC. Como os dados estão fora do PC avariádo, eles continuam disponiveis a qualquer outro PC que esteja (ou seja ligádo) à SAN. Qualquer projecto pode ser aberto e trabalhado em qualquer PC, em qualquer altura, não interessando qual o PC que o criou. No nosso exemplo dos três PCs, imagine que capturou as cassetes atravès do PC nº 1. Começou a editar no PC nº 2 e tem o PC nº 3 ou desligado ou a converter um qualquer video. Entretanto o PC em que você está a editar avaria, o PC nº 2 portanto. Tudo o que tem a fazer é ir para o PC nº 1 ou nº 3 e voltar a abrir o projecto. Ele (o projecto) estará intacto, partindo do principio de que salva com regularidade, à medida que vai trabalhando. Na frente do PC, continua a edição do video, como se nada tivesse acontecido. Quanto ão PC avariádo, compra um novo e liga à SAN. Tão simples quanto isto.

È claro que isto pode levantar uma outra questão: e se são os discos da SAN que avariam? Lembre-se que nada na vida é 100% fiável.

É possivel recorrer a uma serie de recursos para evitar a perda de dados no caso de avaria da SAN. RAID e Cluster são dois deles. No caso de avaria de algum dos discos, basta substituir o disco avariádo por um novo e o sistema se encarrega de proceder à recuperação dos dados automáticamente, sem que exista a perca de qualquer dado. Nestes casos, e dependendo da capacidade da SAN e da existencia (ou não) de backups de segurança, pode-se ter os discos num qualquer nivel RAID, sendo que todos eles têm vantagens e inconvenientes, pelo que a escolha do nivel RAID a implementar deve ser feito em função de uma serie de aspectos a se considerar. De qualquer das formas, o dado a reter é que o importante é a segurança dos nossos dados. De nada serve termos um ou vários PCs super rápidos, se de repente ficarmos sem os nossos ficheiros video/audio.

Um dos aspectos a se ter em conta é o preço do armazenamento. Vários estudos apontam para o facto de que o armazenamento compartilhado fica mais barato que o armazenamento DAS. Por custo não podemos ver apenas o do armazenamento, mas também o da segurança dos dados, da manutenção do equipamento, da gerência do armazenamento, da perca de tempo em transferências, etc.

PCs com os seus próprios discos rigidos significa perca de espaço de armazenamento, pela duplicação dos dados. Com menos espaço em disco é possivel ter a mesma quantidade de informação (dados) úteis. Tranferir dados de PC em PC significa perder tempo. E se temos dois PCs a transferir dados entre si, não podemos estar a editar neles. Ter que andar constantemente a apagar dados de um PC ou a transferir os seus dados para outro PC, porque ele está com o disco cheio, significa também perca de tempo. Um só PC é fácil de gerir, mas quando se tem vários já a coisa muda de figura.

Por fim, o trabalho em equipa, também chamado de colaboração.

Se tiver 3 PCs, cada um com os seus próprios discos rigidos, significa que os projectos têm que ser feitos em separado. Se o armazenamento fôr compartilhado, podem ser feitos em colaboração. Imagine um pequeno estúdio. 3 PCs, 3 pessoas. Com armazenamento compartilhado, podem estar as 3 pessoas a trabalhar ão mesmo tempo no mesmo projecto, no mesmo trabalho. Uma encarrega-se da edição video, outra trata dos gráficos e a terceira do audio. 3 pessoas a trabalhar ão mesmo tempo, no mesmo projecto, para o mesmo destino, com vista a mais rápidamente terminar o trabalho. À quem seja muito bom no video mas péssimo no audio. Simples, um trata do video e outro trata do audio. Todos têm o mesmo projecto no seu computador, todos verificam em tempo real as alteraçôes que são feitas pelos outros. Deixa de ser necessário ter que esperar por transferências entre PCs, que um termine primeiro a sua parte para depois o outro poder fazer a parte que lhe compete, de ter que andar sempre a espreitar o PC no outro para saber das alteraçôes ão projecto. Passa a haver um só projecto, presente na frente de cada um, alterado por cada um.

E quando o estúdio crescer e mais PCs forem necessários, basta ligar os mesmos à SAN. Começamos com 3 PCs, mas podemos expandir para muitos mais. Tudo depende da capacidade da SAN. Sendo que se o objectivo é trabalhar com 40 PCs todos ão mesmo tempo, a SAN não vai custar o mesmo que uma outra para trabalhar com apenas 10 PCs. Que nestas coisas de tecnologia convém ter os pés bem assentes na terra.

E o NAS? Em que é diferente?

Continua...

[José Costa]

Boas.

Técnicamente, um NAS trabalha a nivel de ficheiro, enquanto que uma SAN trabalha a nivel de bloco. O que é que isto quer dizer?

Tome-mos um exemplo: temos um ficheiro de video. O SO (sistema operativo) vai dividir esse ficheiro em, por exemplo, dez partes iguais. Vamos chamar-lhes bloco 01, bloco 02, bloco 03,...... bloco 09 e bloco 10, a cada uma dessas partes. Cada um destes blocos, ou partes, é constituido por bits, os zeros e uns da informação. Um disco rigido grava cada uma destas partes, naquilo que se chama sectores. De uma maneira muito simplista, um disco rigido está dividido no seu interior em pequenos "contentores". Cada um destes "contentores" armazena uma determinada quantidade de informação. Estes "contentores" têm então o nome de sectores, e a quantidade de informação que guardam é determinada pela formatação, sendo que se pode dizer, também de uma forma muito simplista, que a formatação de um disco rigido é a  estrutura organizacional que lhe é imposta pelo SO. As nossas partes ou blocos do ficheiro vão ser gravadas nos sectores do disco rigido, uma parte ou bloco em cada sector, sendo que cada sector armazena apenas um bloco.  Juntamente com a gravação destes blocos, é também gravado bits de controlo, que indicam quais blocos pertencem a qual ficheiro, qual a ordem de cada bloco na estrutura e também a sua localização, em cada sector do disco rigido.

Quando um programa, um NLE por exemplo (editor não-linear, mais conhecido por software de edição video), pede um ficheiro, o disco rigido acede esses sectores e entrega o seu conteúdo. Sendo cada sector um bloco, estes são entregues ão programa, pela seguinte ordem: ão fazer Play na timeline do NLE, no inicio do video, o NLE vai pedir ão disco o bloco 01, e o disco vai ler e entregar ão NLE os dados desse bloco. O NLE mostra-nos o conteúdo desse bloco, que no nosso caso é o inicio do nosso video. Mas o bloco 01 é apenas uma parte do video, pelo que o NLE vai pedir o bloco 02 e o disco rigido entrega o seu conteúdo. O NLE continua a mostrar o video e pede o bloco 03, o disco entrega e assim sucessivamente até chegar ão final do nosso video, que corresponde ão bloco 10. Durante todo este processo, a visualização do nosso video acontece sem qualquer paragem, sem nada que nos indique o que está a acontecer. Acontece e pronto.

Mas o que é que acontece se, por exemplo, fizermos Pause a meio do video? O NLE vai pedindo sucessivamente os blocos ão disco rigido. Ão pressionarmos o Pause, o NLE interrompe a leitura do nosso video e ão mesmo tempo deixa de pedir os restantes blocos ão disco. Se o Pause se der a meio do video, isso significa que o NLE pediu os blocos de 01 a 05. Como os blocos 06 a 10 pertencem à outra metado do video, e como não a vamos ver, o NLE não os pede, e o disco não os entrega.

Supondo que queremos começar a ver o nosso video na timeline, um pouco depois do inicio e só durante breves momentos, colocamos o cursor nesse ponto e "dámos" o Play. Instantes depois "dámos" o Pause. Vamos supôr que os blocos que correspondem a essa parte do video são os blocos 03 e 04. Neste caso, o procedimento é o seguinte: o NLE pede primeiro o bloco 03, o disco entrega, o NLE mostra e entretanto pede o bloco 04. O disco entrega o bloco 04, o NLE mostra e entretanto fazemos o Pause. O NLE não pede mais nenhum bloco, até "dármos" novamente o Play.

Este funcionamento é chamado de acesso a nivel de bloco, o processo pelo qual todos os discos rigidos se regem, sejam eles internos ou externos, seja qual fôr o tipo de interface (SATA, PATA, SAS, SCSI, FC ou até mesmo ST−506 ), e independentemente de serem de tecnologia magnética ou SSD.  Tendo a SAN o mesmo tipo de acesso, acesso a nivel de bloco, pode-se dizer que uma SAN é, grosso modo, um disco rigido. Num PC, uma SAN surge como um disco rigido, pois para o hardware não existe diferença entre um disco rigido convencional e uma SAN. O funcionamento é exactamente o mesmo, sem tirar nem pôr. Quando um programa pede dados ão disco rigido, o que o disco entrega são os bits que estão nos sectores, sendo que um sector ou bloco é composto de zeros e uns, que agrupados formam os nossos ficheiros.

O NAS, tal como a SAN, tem como função armazenar os dados e entregar os mesmos quando são pedidos. Um NAS e uma SAN são constituidos por discos rigidos, mas cujo funcionamento (do NAS) é diferente. Um NAS entrega o ficheiro inteiro, não o bloco.

Se o NLE pede o bloco 03 e 04, o NAS entrega todos os blocos que dizem respeito ão nosso video, que no exemplo são 10. Isso significa que o NAS lê todos os 10 blocos e os entrega ão NLE. Este por sua vez grava-os no disco rigido do PC (normalmente o mesmo disco aonde está instalado o SO e os programas, conhecido por disco C: ), aquilo que se chama de ficheiros temporários. È de salientar que o NLE só queria 2 blocos, mas no entanto vai ter que aceitar os 10, que é todo o ficheiro, gravar os mesmos no disco C: (fora do NAS, portanto), ler esses blocos (03 e 04) do disco C: e só depois é que vai poder mostar o conteúdo. Enquanto que numa SAN existe uma leitura, num NAS existirá uma leitura, a sua gravação e novamente a leitura desses dados. 

Se quisermos ver o nosso video desde o inicio, a coisa não é muito diferente do acima exposto. O NLE começa por pedir o bloco 01, mas o NAS entrega todos os 10 blocos. O ficheiro é gravado na integra no disco C: e só depois é que é lido o bloco 01 e restantes para o NLE os poder mostrar. Ora tal procedimento acarreta uma perda de desempenho, pois para uma leitura haverá sempre duas leituras e uma gravação por parte do NAS. À a acrescentar a isso o facto de todo o ficheiro ter que ser lido, mesmo que só se queira uma pequena parte do mesmo. È por esta razão que o NAS tem um acesso chamado de acesso a nivel de ficheiro.

Este tipo de acesso (o de bloco e o de ficheiro) é igual para qualquer outro tipo de ficheiros ou programas. Os discos e a SAN entregam blocos (partes do ficheiro, portanto), o NAS entrega o ficheiro inteiro. E se bem que à primeira vista o funcionamento do NAS possa parecer um inconveniente, existem situaçôes e aplicaçôes que tiram vantagem deste procedimento. Mas para a área de video, o melhor mesmo é o funcionamento da SAN, pois é o que se assemelha a um disco rigido convencional.

Numa SAN, e na área da edição video, o desempenho a nivel de velocidade de escrita/leitura dos dados é semelhante ão disco rigido, pelo que não se verifica qualquer diferença quando se está a editar. Já no caso do NAS, as coisas são totalmente diferentes. Como todo o ficheiro tem de ser lido primeiro e depois gravado num outro disco rigido, normalmente o C:, e só depois é que ele é mostrado, acaba por se verificar um enorme atraso na resposta de todo o sistema, o que torna impraticável a edição video num NAS. E quanto maior fôr o ficheiro video/audio/outro, maior será esse atraso. A edição de um video com 1 segundo de duração poderá ser praticável, mas se tentarmos fazer o mesmo com um video de 10 minutos já a coisa será totalmente diferente.

Continua...

[José Costa]

Boas.

Já tive oportunidade de referir acima que a arquitectura que melhor serve as necessidades dos editores de video com mais de 1 PC é a SAN. Mas a arquictetura NAS também tem vantagens, mas já o wortkflow é totalmente diferente. Vejamos então em que consiste essas diferenças. E vamos manter os nossos 3 PCs dos exemplos anteriores.

Estamos no PC nº 1 a editar. Colocamos entretanto o PC nº 2 a capturar uma cassete video. Na arquictetura SAN, os ficheiros audio/video são directamente gravados nos discos rigidos da SAN, pois os nossos PCs não têm qualquer disco rigido (interior ou exterior ) destinado ão armazenamento dos dados. Os únicos discos existentes nos nossos PCs são os discos rigidos denominados C: ,que são os do SO e dos programas.

Numa arquictetura NAS, os nossos PCs têm de ter discos rigidos para gravar os ficheiros audio/video, tal como num PC convencional. Assim, para além do disco C: destinado ão SO e ãos programas, têm também discos destinados ás capturas video/audio. Um PC ligádo a um NAS pouco ou nada difere de um PC convencional. Então, qual a vantagem de ter os PCs ligádos a um NAS?

Num PC convencional, cada PC tem de ter os ficheiros de que precisa no seu próprio disco rigido. Isto faz com que o seu espaço de armazenamento tenha de ser consideravelmente grande, pois o disco rigido tem de ter espaço para armazenar as músicas, backgrounds, videos, gráficos, etc. Tem de ter o espaço que as capturas vão ocupar, e ainda possuir espaço para manter os dados em backup, até o projecto ser aprovado pelo cliente e então poder ser apagádo. Tem ainda de ter espaço para as conversôes video e os ficheiros que são criádos (sejam temporários ou não), assim como ter espaço para novas capturas e novos projectos.

Lá no cimo, vimos que cada um dos nossos 3 PCs tinha 100 GB de dados, que representava um total de 300 GB nos 3 PCs. 100 GB são dados úteis, os outros 200 GB são dados duplicados. Vimos também que a captura de uma cassete video para um PC significa que a edição video tinha de ser nesse PC, assim como a sua conversão para MPEG-2 (para se proceder á gravação do DVD) ou Blu-ray.

Numa arquitectura NAS, os ficheiros estão gravados no NAS e não nos PCs. Os 100 GB que estariam "residentes" em cada PC (totalizando 300 GB) passam a estar no NAS, mas apenas os 100 GB "reais". E á medida que vão sendo necessários na edição, são copiádos para os PCs respectivos. Exemplificando:

Estando o nosso PC nº 2 a capturar para os seus próprios discos rigidos, os dados são depois copiádos para o NAS. Ão editar no PC, se precisarmos de uma música, ela será copiáda do NAS para o PC. Qualquer ficheiro que seja necessário à edição será copiádo do NAS. A edição é feita, o projecto é gravado no NAS e então os dados são apagados do disco rigido. São apenas apagádos os ficheiros do PC, pois os do NAS continuam intocáveis. Se entretanto quisermos re-editar o projecto, só temos de voltar a copiar os ficheiros do NAS para o PC, qualquer PC. É possivel copiar os mesmos dados para dois ou mais PCs, e fazer projectos diferentes. Isto torna possivel  que várias pessoas editem projectos diferentes, mas com os mesmos ficheiros video/audio.

O facto dos dados serem apagádos do disco rigido do PC após a edição permite que o PC possa ter pouco espaço de armazenamento, por exemplo 80 GB ou menos, sem que no entanto isso afecte o número de trabalhos que podemos fazer. E uma vez que poupamos no armazenamento que cada PC tem, tal permite que utilizemos um nivel Raid 0 nos PCs, com vista a melhorar a performance na edição.

Todo e qualquer ficheiro será sempre copiádo para o NAS e não para os PCs. Grosso modo, um NAS actua como um disco rigido externo, tipo os USB, mas que em vez de estar acessivel apenas a um PC, estará acessivel a todos os PCs. O NAS funciona assim, entre outras coisas, como um backup.

Continua...

[José Costa]

Boas.

Numa época em que cada vez mais as gravaçôes video são em suporte flash e não mais em cassete, deixa de haver a questão da captura em tempo real, da digitalização do material video procedente da fita para o PC. E daí, também se poderá questionar a opção por uma arquitectura NAS ou SAN, em detrimento da convencional arquitectura DAS, que diga-se de passagem, muito mais fácil de implementar. Mas ão contrário do que se possa pensar, o NAS ou SAN tem também vantagens num workflow baseádo em ficheiros.

Um dos grandes problemas que se enfrenta actualmente é a gestão do armazenamento. Estudos comprovam que a arquitectura  de armazenamento baseádo em DAS é mais caro que a NAS ou SAN. Isto é facilmente compreendido por cada um de nós, se nos lembrar-mos o que representa ter um PC, cujos discos estão cheios. É necessário proceder á compra de mais um disco rigido interno ou externo para fazer face á necessidade de armazenamento extra, ou então selecionar arquivos para libertar espaço em disco, que é o mesmo que dizer que se vai apagar ficheiros. E quantos de nós já não tiveram necessidade de o fazer, vindo mais tarde a verificar que foi uma má opção, pois os ficheiros apagados vêm a fazer falta, por esta ou por aquela razão?

A transferência de dados é também frequente entre possuidores de vários PCs. Para além do tempo perdido em transferências, é a ocupação de pelo menos dois PCs nesse processo. Junte-se a isso a duplicação dos dados, e também o tempo que se perde a procurar em que disco ou PC se encontra aquele ficheiro, para com facilidade se verificar que o actual processo de armazenamento não é dos melhores. Pode ser barato, e é, no que toca a espaço de armazenamento. Mas no requesito aproveitamento de espaço, tempo, facilidade e expansibilidade do workflow de trabalho, é muito caro.

Durante anos, os NAS e SAN têm vindo a ser utilizados intensivamente na industria audiovisual, pelas possibilidades que acrescentam á utilização de vários PCs e plataformas. Mas o seu alto preço têm feito com que só grandes estúdios, productoras e emissoras de TV a eles tivessem acesso. Desde os finais da década de 90 do século passado que os NAS e SAN fazem parte da estrutura de trabalho das grandes produçôes, com significativas vantagens. Muitas das séries e filmes não teriam sido possiveis sem o recurso a tais arquitecturas, ou então o seu custo de produção teria sido muito maior do que foi.

Com a "democratização" do PC, um NAS ou SAN deixou de ser algo existente só nas grandes productoras, para passar a estar disponivel e acessivel ãos comuns dos mortais, pelo preço (quase) do armazenamento convencional. O hardware aberto e largamente disponivel em qualquer loja de vão de escada, com os baixos preços que se conhece, permite que se possa pensar em se construir um NAS ou SAN, sem que no entanto se tenha de penhorar a casa para tal. È algo que está ão alcance de qualquer um, com o minimo dos conhecimentos para tal. E se quisermos ir um pouco mais longe, acrescentar a recuperação automática dos dados, no caso de avaria de um ou mais discos, assim como o backup dos dados, também de forma automática e autonoma.

Mas se no armazenamento convencional, os discos rigidos ligam ãos PCs através de um cabo SATA ou PATA, como são ligádos no caso de um NAS ou SAN? Existem várias formas: AoE, Fibre Channel, Infiniband, Gigabit Ethernet.

Continua...