Boas.
Não é por nada não, mas já se deu ão trabalho de ler as especificaçôes do producto? È que segundo a página web do mesmo, essa é uma solução de captura em MPEG-2, não de captura em AVI. Apesar da "placa" permitir a importação e posterior conversão de um ficheiro AVI em MPEG-2, importação não é o mesmo que captura.
Assim, acredito que tanto o seu sistema como a "placa" não sofre de qualquer problema, simplesmente você está a tentar fazer um tipo de captura para o qual a "placa" não foi concebida. E prova disso mesmo é o facto de mencionar que fez uma captura em MPEG-2 e não teve problemas com a mesma.
Os productos têm caracteristicas e não podemos atribuir culpas ãos mesmos, só porque queremos fazer com eles algo para o qual não foram concebidos. E está a ser este o caso. O fabricante só garante a captura em MPEG-2 e você quer capturar em AVI. Talvez seja o caso de procurar um outro producto, que é o mesmo que dizer uma outra placa, que permita fazer o que você quer.
Quanto ão software, o Pinnacle Studio 12, e ão facto de você ter a opção de captura em AVI disponivel no menú, devo dizer que essa é uma opção que o software permite fazer, mas não significa que o hardware o permita. O software acompanha e tenta abranger uma série de hardware existente, pelo que tem que ter disponivel uma série de opçôes de captura para tentar ir ão encontro dos hardwares. Mas tal facto não significa que automáticamente qualquer hardware permita fazer a captura em qualquer formato, só porque a opção está disponivel no menú do software, que ainda por cima é um software de uso geral, não uma solução desenvolvida em especifico para um tipo especifico de placa/hardware.
Não vou questionar a qualidade dessa "placa", nem tão pouco se é superior ou inferior a outra. Faz o que faz, e pelo que li do seu post, faz muito bem. Que é, capturar em MPEG-2. Pelo que, ler as especificaçôes dos productos é essencial para não se criarem situaçôes como a que está a viver.
Só um último aspecto ou dois. Naturalmente que existem placas e soluçôes superiores á que tem. Mas também têm um custo superior. Mas independentemente do custo da solução, primeiro que tudo é preciso definir as necessidades (e valor que se está disposto a pagar) e só depois é que se pode partir para a compra. E a compra deve ser de um producto que o fabricante garante que serve para o que se quer e não de um producto que supomos que serve para o que queremos, só porque achamos que video é tudo a mesma coisa.
No que diz respeito ão software freeware, existem milhares de opçôes. Mas saliento o facto de que precisa primeiro de confirmar se trabalham com a "placa" de que dispôe. E se a placa apenas permite capturar em MPEG-2, não adianta querer trocar de software para assim capturar em AVI. Não vai dar.
Utilizar uma câmera para fazer de "ponte" entre o analógico e o digital, como sugerido pelo Pedro Rocha, é talvez a melhor solução para o seu caso, e a mais barata. Isto se a câmera o permitir. Boas.