Saudações Caríssimo!
Bem, se a aplicação do efeito Chroma Key ( Premiere ) não tem segredos ... o mesmo não se pode dizer sobre o conjunto de fatores que influenciam diretamente nos resultados alcançados quando de sua utilização.
Cada caso é um caso e mesmo após anos consecutivos a utilizar o mesmo estúdio, mesmas luzes, câmera ... etc ..., basta "aparecer" um sujeito com a uma cor de pele diferente daquela a que estamos "habituados" e pronto ... problemas diversas podem surgir.
Percebi segundo seus relatos que o "problema" pode estar ( e estará ) relacionado com a da iluminação por você utilizada.
Em situações de estúdio para chroma, a iluminação deve ser a mais homogênea possível ... para evitar que ao mudarmos de enquadramento e/ou ângulo, ocorram mudanças "drásticas" de intensidade e/ou "sombra" ( e sabemos que as "sombras" em se tratando de chroma não são realmente bem vindas ). Claro, qualquer palpite sobre "como configurar suas luzes de estúdio" - sabendo-se que obviamente não conheço o ambiente - seria mera especulação ... sem sentido até.
Com relação as vibrações, talvez consigamos explicá-las recorrendo as "negativas" condições de iluminação geradas. O Premiere CS3 é como o motor de um automóvel de corrida - preparado para oferecer o que há de melhor em se tratando de performance. Isto digo porque, antes da versão 2.0, havia uma maior tolerância ao Canal Alpha ( brancos ) ... nas trilhas de vídeo. Em outras palavras: não "vibrava" mesmo em uma trilha "chapada" ( "excesso de luz" ). Àpartir do 2.0 ( ainda mais no CS3 ), esta situação mudou ... e jã não se "toleram" trilhas "chapadas". Para satisfazer a sua curiosodade, agarre em uma imagem "chapada" ( em movimento ) ... e dê-lha alguma opacidade ( -10% por exemplo ). Perceberá que a vibração praticamente desaparece ... ou é sucumbida pela subtração do Alpha.
Durante o Chroma esta situação também se verifica. Via de regra utilizamos o "verde" como "elemento de subtração para o Chroma" - certo? ( ou uma das cores básicas do sistema RGB - Red, Green, Blue). Lembremos que estas são construídas tendo o Branco ( ou Alpha ) como motriz. Então ... se houver excesso ( "chapar" ) vai vibrar ( e esta vibração verificar-se-á durante a aplicação de qualquer efeito ... Slow ... flare ... chroma ... etc! Em situações pontuais onde estas imagens são realmente necessárias e são impossíveis de serem refeitas ... trabalha-se a "opacidade" e/ou curvas de tons ( dentre outras possibilidades ).
Ainda, segundo vejo, e como cada caso é um caso, não existe efeito nenhum dentro do banco keying melhor ou pior para realizar o Chroma Key. Cada um tem sua finalidade. Ainda, os "ajustes finos" são uma excelente ferramente para "aparar arestas"! Também ... não aconselho "acumular" efeitos com os mesmos objetivos - Chroma, luma, Blue screen key ... etc. Além de não alcançar os resultados esperados, degrada a imagem. Inclusive, podem gerar "conflitos" entre eles e a trilha de vídeo.
Bem, falar de chroma key é sempre subjetivo. É como disse: "na teoria é uma coisa ... na prática é outra".
Espero ter ajudado.
Deixo um link sobre o assunto. Talvez algumas de suas dúvidas possam também serem esclarecidas!
http://www.fazendovideo.com.br/vtart_039.aspAbraços e Sucesso!