Сказ как прокинуть виртуальную камеру OBS в эмулятор с Deepfake a.k.a Эмулятор OBS Deepfake=?

​

Здравствуйте, с вами доза, оформление каличное так как статья написана не с пк, и амняма не будет
Все проверено на работоспособность, спасибо другу
​

ВАЖНО

Данная статья гарантирует ровно 0% того, что в вашем конкретном случае, всё нижеописанное поможет вам. Так как случаи бывают абсолютно разные. Я лишь делюсь своими наработками и наблюдениями. Конкретно для моих целей, всё воркает практически идельно. Так же не забывайте, что ЭТО АБСОЛЮТНО БЕСПЛАТНО! Я специально искал такие сервисы/программы, которые не требуют денег (свои остроумные шутки про жида оставляйте под этой статьей). И прошу учесть, что это моя первая статья.

Ну с вводной частью, я полагаю, мы закончили, поэтому перейдем непосредственно к практике.

​

Характеристики пк для верифа

Здесь указаны системные характеристики машины, на которой я успешно проходил верификации.

Процессор – Intel i9 14th (Да, дерьмо);

Видеокарта – Nvidia RTX 3080 (если у вас AMD, то вам остаётся уповать на мощность процессора);

RAM – DDR5 128Gb (это здесь не основное, можно меньше);

OS – Windows 10 (Linux не подойдет, поскольку эмулятор его не поддерживает).

Хочу заметить, что это не рекомендованные системные требования. Это просто вам для понимания, что это крайне ресурса затратно. Но проходить можно и на более народном железе. Хотя видеокарты всё равно нужно крайне «жирная».

Материал для работы

Anaconda – её я использую для создания изолированных друг от друга сред Python. Поскольку раньше я юзал много проектов на питоне и менеджерить это было невозможно, я привык юзать анаконду. Удобная штука.

CUDA Toolkit – основа, база и грунт ИИ для подмены. Очень важно выбрать правильную версию, которую поддерживает ваша видеокарта. Для того, чтобы узнать какая версия вам нужно тыкайте сюда .

ffmpeg – будет нужен для работы одноименной библиотеки.

Deep-Live-Cam – наша ИИ-шка, которая будет творить магию.

OBS – будет посредником между эмулятором и ИИ-шкой.

Visual Studio – для сборки и запуска трижды проклятой CUDA.

BlueStacks – эмулятор андроида.

Установка ffmpeg

Давайте двигаться по порядку и начнем с установки ffmpeg.

Качаем архив (ffmpeg-git-full.7z) по ссылке выше. Из этого архива нам понадобиться только ffmpeg.exe, который находиться в папки bin. Извлекаем его на компьютер и закидываем в папку на системном диске.




Теперь нам нужно добавить его в PATH. Открываем свойство компьютера.

Теперь нам нужно добавить его в PATH. Открываем свойство компьютера.


Извините что криво, я не художник

И переходим в «Дополнительные параметры системы» - «Переменные среды…»


Добавляем в «Переменные среды для пользователя» и «Системные переменные» в разделе «Path» полный путь (в моем случаи C:\ffmpeg) до нашего ffmpeg.exe.

Визуал студио

Двигаемся в перед и устанавливаем Visual Studio, а точнее C++ Build Tools, который требуется для CUDA.
Качаем установщик и выбираем всё, что ниже на скриншоте (+ самую новую версию «Пакет SDK для Windows 10) и нажимаем «Установить».
Так же рекомендую обновить Visual C++ Redistributable .

Желательно на этом моменте перезапустить компьютер, чтобы изменения вступили в силу.

CUDA

Первое, в ней нет технологии обратной совместимости. То есть, новые версии CUDA, не поддерживают старые видеокарты. Кто старый, кто новый не вам решать. И второе, CUDA 11.x: поддерживает Capability от 6.1 до 8.6, а CUDA 12.x: поддерживает Capability 8.x и выше (в основном для архитектуры Ada Lovelace). Хотя это не точно и не всегда истинно. Чтобы узнать свою Capability, воспользуйтесь ссылкой в «Перечень необходимого ПО». Если в конце установки эта пасCUDA выбьет ошибку, то попробуйте откатить ей на 1-2 патча.

Если будет интересно, напишите, я когда-нибудь сделаю статью по особенностям CUDA, её спецификаций и GPU в целом. Но это не точно…

Вообще то, что я написал выше, это просто крик души от боли в анусе, после погружения в лор CUDA. Нам же понадобиться версия 11.8. Но если у вас что-то пойдет не по сценарию, то вы знаете кого в этом винить и что +- делать.

В первую очередь, нам нужно обновить драйвера для нашей видеокарты. Это можно сделать на официальном сайте Nvidia. После обновления драйверов, переходим в архив её версий и находим нужную нам. При скачивании рекомендую выбирать Installer Type – exe(local). Во время установки, я вам крайне не рекомендую устанавливать ей куда-то, кроме дефолтного пути установки. Тогда высока вероятность некорректной работы.

Выбираем «Экспресс» установку

Важно CUDA

По идее сейчас этого ручного труда не должно быть, но всегда стоит проверять, добавилась ли пасCUDA со всеми своими подсистемами в PATH. Для того, чтобы это проверить заходим в «Переменные среды…» как это было показано в пункте по ffmpeg. Смотрим на содержимое Path в «Переменные среды для пользователя» и «Системные переменные», должно быть похоже на это в обоих.



Если данного списка нет, то вам придётся добавлять его самому. Схема такая же, как и с ffmpeg.

Список
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib\x64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include

Так же посмотрите, есть ли «Переменные»: CUDA_PATH, CUDA_PATH_V11_8, CUDNN (тоже должны быть в двух окнах).



Если их нет, то создайте их с такими значениями

CUDA_PATH - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8

CUDA_PATH_V11_8 - C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8

CUDNN – C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib\x64;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include

Так же добавляем расширение для файлов типа .PY в PATHEX. После этих несложных мувментов, перекреститесь и перезапустите комп.

Спойлер

Посмеялись и хватит, теперь к делу.

Вообще, она достаточно старая, как по меркам рынка ИИ. Изначально она делала дипфейк только для статических видео. Это было не всегда «вау!» эффект, но в паре с небольшая постобработкой, выдавала чудеса. А теперь она эволюционировала до своего нынешнего состояния.
Перед тем как преступить к работе с ИИ-шкой, установите Anaconda. Это не обязательно, но удобно. Я не стал её установку помещать в отдельный раздел. Как по мне там нет ничего сверхъестественного. У Anaconda есть визуальный интерфейс, но он выглядит, слегка, ублюдский. По это причине мы будем юзать православный Anaconda Prompt! Запускаем его и создаем среду для нашей ИИ-шки.
conda create -n xss python=3.10

Переходим в нашу среду.
conda activate xss

Переходим в директорию, в который мы планируем держать нашу ИИ и следуем инструкции по установке . В ней нет ничего сложно и там всё достаточно детально описано, чтобы я не растягивал в пустую текст статьи.
После настройки, запускаем её на мощностях нашей видеокарты.
python run.py --execution-provider cuda

Если вы хотите запустить её в дефолтном состаянии, то бишь на процессоре.
python run.py

Небольшое отступление. Если CUDA 11.8 у вас не стала и вам пришлось менять версию и у вас выскакивает ошибка при запуске на видеокарте, то вам нужно поменять версию модуля onnxruntime-gpu. Найти его версии и спецификации для них, можно тут .
После запуска, перед нами появиться такое окно.
Посмеялись и хватит, теперь к делу.

Вообще, она достаточно старая, как по меркам рынка ИИ. Изначально она делала дипфейк только для статических видео. Это было не всегда «вау!» эффект, но в паре с небольшая постобработкой, выдавала чудеса. А теперь она эволюционировала до своего нынешнего состояния.
Перед тем как преступить к работе с ИИ-шкой, установите Anaconda. Это не обязательно, но удобно. Я не стал её установку помещать в отдельный раздел. Как по мне там нет ничего сверхъестественного. У Anaconda есть визуальный интерфейс, но он выглядит, слегка, ублюдский. По это причине мы будем юзать православный Anaconda Prompt! Запускаем его и создаем среду для нашей ИИ-шки.
conda create -n xss python=3.10

Переходим в нашу среду.
conda activate xss

Переходим в директорию, в который мы планируем держать нашу ИИ и следуем инструкции по установке . В ней нет ничего сложно и там всё достаточно детально описано, чтобы я не растягивал в пустую текст статьи.
После настройки, запускаем её на мощностях нашей видеокарты.
python run.py --execution-provider cuda

Если вы хотите запустить её в дефолтном состаянии, то бишь на процессоре.
python run.py

Небольшое отступление. Если CUDA 11.8 у вас не стала и вам пришлось менять версию и у вас выскакивает ошибка при запуске на видеокарте, то вам нужно поменять версию модуля onnxruntime-gpu. Найти его версии и спецификации для них, можно тут .
После запуска, перед нами появиться такое окно.



Мы выбираем лицо, на которое будет донором для подмены, выключаем все ползунки, выбираем нашу вебку (не виртуальную камеру OBS) и нажимаем «Live». У нас появилось окно Preview, его то мы и будем засовывать в OBS.

Сноска. Не так давно, разрабы выкатили pre-built версию. Я с ней не работал, поэтому ничего сказать не могу. Но в теории, она должна быть более практична.

Obs

Запускаем OBS и создаем виртуальную камеры. Для этого мы в «Источнике» нажимаем «+», «Захват окна».

выбираем настройки как показано ниже. Учтите, что из двух [python.exe], нам нужен именно Preview.



Если после следующего запуска у вас будет подтягивать интерфейс ИИ, вместо окна Preview. То просто удалите ваш захват окна и создайте его по новой.

Советую растянуть виртуальную камеру на весь экран, чтобы лицо нормально влезло в камеру на эмуляторе. Хотя подкручивать нужно будет всё равно.

Блюстак, либо же просто эмулятор

Нам осталось только запустить эмулятор, который мы уже, естественно, скачали и установили до этого. Советую, кстати, не забыть его выключать автозагрузках после установки. Он ублюдский, но зато бесплатный и очень простой в настройке для нашей задаче. Хотя и не без косяков, но о них немного позже.

Запускаем BlueStacks X и переходим в «Менеджер окон». Создаем новое «окно» на базе Pie 64-bit с такими настройками.





Всё оптимально, но разрешение ставьте всегда вертикальное. Иначе это будет потом очень дико выглядеть при проходе верифа.

Запускаем нашу адскую колесницу, ждем пока всё прогрузиться и заходим в настройки эмулятора (шестерня в правом нижнем углу на рамке). Переходим в «Устройства» и выбираем камеру OBS Virtual.

Теперь мы авторизуемся в плей маркете и закидываем апк/качаем из стора или проходим вериф по ссылке в нашем браузере. Когда наступит момент верифа и приложение запросит доступ к камере, то смело давайте его. Туда будет выводиться ваше подменное лицо с OBS. Единственное, что вам останется, так это слегка подогнать камеру.

Как я сказал раньше, у этого эмулятора есть один очень существенный минус. На него нельзя накинуть ******, как на любой другой. Единственный вариант, это либо ставить ****** на весь компьютер с помощью условного Proxifier, либо юзать ***. Но проблема решаема, тут уже кому как больше подходит. Я лично сидел на ***.

Почему не работает

Берите хорошие фотографии. Лицо для подмены, должно быть очень четким. Не должно быть поворота головы, строго прямо, не сильно затемнено и на достаточном отдалении, чтобы все части лица в него попадали с запасом (уши, подбородок, верхняя часть головы).
- Если после запуска у вас виснет программа, то тут два варианта. Первый, вы выбрали неудачное фото, и программа не может его подменить. Чтобы это проверить, скачайте фотку какой-то знаменитости и попробуйте подмену. Второй вариант, ваше железо тупо не вывозит. Это крайне возможно, ибо с каждой обновой системные требования повышаются.