Пару лет мучался с артефактами в ЛУЧШЕМ видеопроигрывателе vlc (www.vlc-player.ru/).

Оказалось все банально:
http://www.vlc-player.ru/faq/
Q: Видео отображается, но некорректно
A: Скорее всего проблема в плагине вывода видео.
Первый способ - попробуйте другой плагин вывода:
% vlc -V sdl
% vlc -V x11
Второй способ: измените глубину цвета экрана и/или его разрешение.
Далее, если у вас Linux/Unix, проверье ваш XFree86 видеодрайвер.