Como obter taxas superiores a 200MBps?

[António Cristo]

Estou a aproveitar o tópico para fazer uma pergunta relacionada. Se alguém me souber ou quiser responder.

Sem ser discos SSD, o que o mercado tem para oferecer com taxas superiores a 200Mbps (média)?

Obrigado




PS: Este topico teve origem num outro, e pelo interesse do assunto que entretanto se foi desenvolvendo, decidimos dividi-lo, a partir da mensagem que iniciou o novo tema.

[AC]

Acho que só consegues taxas sustentáveis dessa ordem agrupando discos em RAID, agora o que a industria ofereçe:

266 MBps - The Apple Xserve RAID's list price for 5.6 TB is $12,999, or $2.32 per GB. Its performance is excellent. For a workload of 8KB random reads, it can sustain 1100 I/Os per second (IOPS). For a multi-user sequential workload, it can sustain 266 MBps of read throughput.

Acho que têm para entrega, não sei é se aceitam paypal... rssssss 

[António Cristo]

Pal television...

Andei a ver este local (tem valores referência que dão jeito para quem usa discos e vídeos)

http://www.sonnettech.com/product/fusionfamily/index.html

Valores ligeiramente abaixo desse Pal television.

Ando em busca de discos que não se fiquem pelos 150Mbps, é que os sata 300 e 600 não vão alem disso pois são uma verdadeira garrafa com gargalo estreito.
;)

[José Costa]

Boas.
Citádo: "o que o mercado tem para oferecer com taxas superiores a 200Mbps (média)?"
Qualquer disco actual consegue ter uma taxa sustentada de 200Mbps. Mas nenhum disco actual consegue ter uma taxa sustentada de 200MBps. Repare no Mbps e no MBps. É só uma letra de diferença (minuscula e maiuscula), mas que em armazenamento faz toda a diferença. Uma representa mega bits, a outra representa mega bytes.

Repare também que utilizei a palavra "sustentada", que tem um significado diferente de taxa de pico.

Como creio que se refere a 200 MBps (200 MB/s), a resposta mantem-se: actualmente nenhum disco rigido consegue tal cadência de dados, e creio que nem mesmo os discos SSD o conseguem. 125 MB/s já é conseguido por alguns discos SSD, mas os discos convencionais só atingem estes 125 MB/s em taxas de pico, alguns SAS e de 15000 RPM podem chegar ãos 150-160 MB/s em taxas de pico. Por norma, a taxa sustentada fica abaixo dos 90 MB/s, mesmo nos melhores.

Um disco Sata 600 não é mais rápido que um disco Sata 300. O Sata é apenas o canal de comunicação, pois os discos são exactamente iguais. Apenas mudam o interface de ligação.

A única forma que tem de obter a cadência de dados pretendida, seja ela sustentada ou de pico, é com a utilização de discos em RAID, que também está dependente do nivel de RAID pretendido e do número de discos que integra o RAID.

Quer fazer o quê? Boas.

[António Cristo]

Quero montar um novo sistema de edição.

Como ando com muitas duvidas sobre os discos a usar (tenho andado a investigar) sobre o assunto.
Reparo que para o geral que faço os discos actuais não me trazem problema, mas se quiser trabalhar uncompress no máximo tenho 1 stream de vídeo.

Vi testes com taxas de 450MBs (SSD RAID 0)(LETRA bB pormenor importantíssimo) só faria sentido o investimento numa utilização fluente, que não é o caso e para bases vídeo na ordem dos 150/200 GB.

Tenho ideia de usar para vídeo [(2x 2TB RAID0) (2X 2TB RAID0) RAID5] minha ideia inicial mas depois de investigar reparo que não existe consenso sobre o RAID (entendo na generalidade teoria de alguns gurus - pois tem muito ver com o tipo de aplicações que correm e respectivos ficheiros - no caso vídeo) pois a forma como os testes são executados, bem como a montagem do sistema altera os valores desviando a precisão das leituras finais e respectiva taxa real.
Raid: por software, hardware (MOTHERBOARD, PLACA DEDICADA pci)

O Raid 0 aumenta a taxa de transferencia.
O Raid 5 Cria paridade dos dados.

A primeira pergunta que fiz é simples e vocês tiveram a amabilidade de responder que agradeço.
Esta resposta ao que fazer o quê, já não é linear.

Obrigado

[José Costa]

Boas.
O seu texto está um pouco confuso, e existem partes que não compreendi de todo. De qualquer das formas, tenha estas observaçôes em atenção:

- um só disco rigido nunca vai ser o suficiente para você ter um stream de video não comprimido. Um stream de video não comprimido precisa de uma cadência de dados sustentada média de perto dos 139 MB/s (depende se 8bit, se 10bit, se 720p, se 1080p e ainda se 25 ou 50p), muito longe daquilo que um só disco consegue entregar. Se resolver fazer um simples dissolve, passa a ter dois streams de video, logo o dobro da cadência de dados necessária.

- o grande problema dos discos rigidos SSD, tem a ver com a morte gradual das células. Em ambientes de grande indice de gravaçôes, os discos SSD podem não chegar a ter um tempo de vida muito longo, situação que não se verifica nos discos rigidos convencionais, pois não existe praticamente limite para o número de gravaçôes que os discos conseguem suportar. Um bom disco rigido pode trabalhar 24/7 durante 10 ou mais anos consecutivos. Um SSD não durará seguramente mais que 2 em regimes intensivos de gravação. O limite de gravação por célula é de cerca de 100.000 gravaçôes nos melhores. É por essa razão que os discos SSD que são utilizados em servidores são normalmente utilizados só para leitura, pois os discos de sistema têm altos indices de gravaçôes de ficheiros temporários (as paginas swap). Também utilizam muito discos convencionais para o swap, e SSD para leitura e SO.

- O RAID tem vários niveis, cada um deles adequádo a cargas de trabalho diferentes, assim como a niveis de segurança diferentes. Torna-se necessário saber o que pretende fazer, para se poder responder também adequádamente. Não pode é comparar desempenhos obtidos em sistemas RAID mas dedicados à web ou a sistemas "convencionais", com o desempenho que se obtem de um sistema RAID, mas configurado para ficheiros video. Um bom sistema para uma coisa não é um bom sistema para outra coisa.

- Um sistema para trabalhar em HD não comprimido tanto pode custar cerca de 200 euros (de discos falando), como pode custar os 12.000 dólares referenciádos pelo A. Caneira. Tudo depende do que pretende do sistema. E estes 200 euros não é garganta não, mas é preciso ter em atenção que existe limitaçôes. O mercádo está cheio de soluçôes, que quando devidamente conjugadas, permitem poupar muito dinheiro.

- Se faz perguntas especificas, posso tentar responder especificamente, mas se faz perguntas no abstracto, então as respostas de nada servem, pois respostas abstractas normalmente não permitem obter as respostas especificas que pretendemos nestes casos. Cada caso é um caso, e torna-se necessário conhecer o seu caso para se poder responder. Por isso é que lhe perguntei o que quer fazer. E como referiu e muito bem, a sua resposta "já não é linear". Como menciona uma situação genérica, edição de video, nada mais sei para além disso. E como não sei o que você gosta de comer, não posso aconselhar a comer isto ou aquilo. Percebeu a analogia? Boas.

[António Cristo]

Para não ficar confuso... cá vai.

Quero montar um novo sistema de edição vídeo.

E procuro entender qual a melhor solução para este a nível de armazenamento.

Tenho-me centrado no caso dos periféricos de Armazenamento dos ficheiros de vídeo.

Procuro a melhor taxa de transferência de discos no mercado.
Por outro lado quero que os dados destes venham a ter segurança.
Tudo isto tem um preço. Há que equilibrar custo beneficio.

Taxas de transferência Raid 0
Segurança Raid 5 ou outra.

Mas o disco só por si sem Raid já tem a sua especificidade de transferência, tudo isto começa por escolher o disco.

Meu post anterior depois de o reler não parece confuso não tem é nenhuma pergunta objectiva.
Responde só ao fazer o quê?

Obrigado José Costa

[José Costa]

Boas.
Desculpe lá mas.... sou eu que estou com dificuldades em entender, é você que não está a conseguir passar a mensagem ou isto é um jogo do género "gato e rato?" 

António Cristo, que você quer montar um novo sistema de edição, já eu tinha percebido.
Que você anda à procura de uma solução para o armazenamento, também já tinha percebido.
Que você quer obter o melhor desempenho por parte dos discos, com o menor custo e com a maior segurança possivel, também já lá tinha chegado.

Aonde eu não cheguei, porque você não o disse, foi qual a capacidade que você precisa, e qual o desempenho real que necessita. Falou em 150 ou 200 MB/s, assim como em video não comprimido. Como um disco só não consegue sustentar 150 MB/s, e 200 MB/s não são suficientes para edição de video não comprimido, fica-se sem saber que desempenho e que tipo de desempenho você precisa ou quer. Porque uma coisa é querer, outra totalmente diferente é precisar de o ter. E eu não sei o que você precisa de ter. Mas OK, também não são assuntos que me digam respeito.

Fala em RAID 0 e RAID 5. Mas fala também em "equilibrar custo beneficio". São sábias palavras, mas não adianta muito à questão, pois as suas necessidades continuam por mencionar. É que ter uma alta taxa de transferência de dados e uma grande segurança dos mesmos dados, tanto lhe pode custar os meus mencionados 200 euros, como lhe pode custar muito mais que os 12.000 dólares. É tudo uma questão de zeros, necessidades e expectativas.

Menciona "tudo isto começa por escolher o disco". Pois eu diria que escolher o disco é o menor dos seus problemas. O problema é saber o que você espera dele, pois um só disco não lhe permite editar em video HD não comprimido, já que falou nele. e alguns discos não são aconselhados para utilização em RAID, que você também refere. Junte a isto o facto de que um disco rigido tanto lhe pode custar 37 euros, como lhe pode custar para cima de 400 euros. E estou apenas a mencionar discos com a mesma capacidade de armazenamento, para haver algum termo de comparação.

De uma maneira genérica, repondeu sim à pergunta "quer fazer o quê?", mas faltou a especificidade da questão, para lhe poder dar uma resposta especifica. Mas OK, você também não fez "nenhuma pergunta objectiva". Se não à pergunta, também não pode existir resposta. E se não existe resposta, este é apenas mais um comentário meu.

Mas não ligue, que já não sei o que escrevo. Por vezes fico com as ideias turbadas, não enxergo a luz ão fundo do túnel. Só depois é que reparo que já à muito saí do túnel. Coisas de maluco...  Boas.

[António Cristo]

O José Costa pode-me dar uma dica de discos e RAID para:

Uncompressed 8-bit 1080i HD
(1 stream=124.3 MB/sec)

para 3 STREAM de vídeo

com segurança total dos dados.

Esta é objectiva.

[José Costa]

Boas.
Só faltou a capacidade pretendida...  Boas.

[António Cristo]

estava a pensar em 2TB e já agora na minha pesquisa vi isto:
Seagate® Constellation™ ES SAS 6Gb/s 2-TB Hard Drive
ST32000444SS 150MB sustentada (no site - mas depende onde está a ler/escrever e do teste...não confio muito nestes dados oficiais do fabricante)
http://www.seagate.com/ww/v/index.jsp?name=st32000444ss-constellation-es-sas-6gbs-2-tb-hd&vgnextoid=f6dc38661f2a4210VgnVCM1000001a48090aRCRD&vgnextchannel=f424072516d8c010VgnVCM100000dd04090aRCRD&locale=en-US&reqPage=Support#tTabContentSpecifications

[José Costa]

Boas.
Mas os 2 TB é a capacidade total pretendida ou a de cada disco? Boas.

[António Cristo]

Estava a pensar em ~4TB disponíveis para movimentar ficheiros. 2x2TB

O que com o RAID pode significar em mais discos.

Se para atingir a performance precisar de 3 discos aí iria para 3x1TB + segurança.

Fico a pensar é se existe motherboard para esta situação.... pois isso já vai introduzir uma controladora pci.... são só pensamentos.... :

[José Costa]

Boas.
António Cristo, o que lhe vou dizer pode ser visto de muitos prismas. Você pode acreditar ou não, pode até ficar aborrecido comigo, mas a verdade é que você anda em circulos e não vai chegar dessa forma a lado nenhum. À uma serie de aspectos que você não está a ter em atenção, e outros com os quais não está a ser consciente.

Você pode saltar, gritar, erpernear, mas a verdade é que com 3 discos não vai conseguir editar 3 streams de video HD não comprimido. Estamos a falar de perto de 400 MB/s, taxa sustentada. Não à RAID com 3 discos que dê conta do recado. Os discos são apenas uma parte do armazenamento, e você está a querer depositar todas as suas cartas nos discos. Mas não acredite em mim, dê uma vista de olhos ão link que você colocou acima, olhe com atenção, e vai verificar o que você está a pedir e o porquê de eu lhe estar a dizer que não o consegue com os três discos. Mas não acredite em mim, faça a sua pesquisa na net.

Fala em controladora. Sabe quanto custa uma controladora RAID? Sabe quanto custa o disco SAS que refere? Sabe quantos discos vai precisar para obter o que pretende? O Apple Xserve RAID mencionado pelo A. Caneira mais acima custa 13.000 dólares, mas apesar disso não é capaz de lidar com 3 streams de video HD não comprimido. Mas OK, o Xserve tem como objectivo algo diferente do que pretende. Posso lhe perguntar quanto é que está a pensar gastar só no armazenamento, para esse seu sistema de edição?

Você está a pensar em espaço de armazenamento e em custos. E com isso anda à procura do disco milagroso, Pois aqui vai a triste noticia: não existe esse disco milagrosso, mesmo que procure no meios dos discos SSD. Eu até lhe posso dar a referência de meia dúzia de discos, mas a verdade é que eles não vão resolver o seu problemas, se você não souber como os configurar e se não optimizar o sistema, simplesmente vai gastar o dinheiro e não vai conseguir o que pretende: 3 streams de video HD não comprimido. É muita fruta! Acredite, o disco é o menor dos problemas.

Quer saber o que você pode fazer para atingir o seu objectivo, quer saber como o pode conseguir pelo preço mais baixo possivel? Quer saber aonde fui buscar os tais 200 euros referidos acima? Eu posso lhe dar essas respostas, mas não é a escrita o meio mais aconselhável para tal. Estou disponivel para consultadoria, teria todo o gosto em o receber aqui no estúdio ou então em lhe ligar. Mas é claro, para isso você teria de abrir o jogo todo, dizer o que faz, como o faz, que equipamentos tem e que formatos usa, que softwares,... sejamos honestos, por aqui o pessoal tem medo de referir esse tipo de coisas, tem medo que lhes roube algum segredo.

Mas não acredite em mim, pesquise na net. Faça pesquisas em locais crediveis, com informaçôes que dizem respeito à área do video, não das bases de dados ou de web. E se depois chegar à conclusão de que talvez eu tenha alguma razão, e se quiser resolver o seu problema, ligue-me. Eu posso ajudar. De mais a mais, se ler as várias coisas que já por aqui no fórum escrevi, vai encontrar montes de informaçôes úteis.

Mas quer um disco? O que referiu é um dos possiveis. Outro é o Samsung F4. Vai fazer o que você quer? NÃO! Boas.

P.S. Dê uma vista de olhos neste tópico.

[António Cristo]

Obrigado José Costa.

Pela objectividade à minha pergunta objectiva