【图片】《PSV汉化教程》使用AI进行游戏语音的完全中文化【psvita破解吧】

03月21日漏签0天

psvita破解吧关注：112,765贴子：1,256,511

11回复贴，共1页

<返回psvita破解吧

《PSV汉化教程》使用AI进行游戏语音的完全中文化

取消只看楼主收藏回复

1楼占楼，等度娘通过更新

送TA礼物

IP属地:肯尼亚

1楼2023-05-28 10:03回复

游戏语音的本质其实还是使用真人声优为其配音，所以中文化的本质是使用原日文配音的声优（当然，你也可以用其他人的声音）训练出的模型进行转换，从而达到中文配音，大概思路去下：
（1）解密游戏，提取游戏原配音（纯净人声无伴奏）
（2）从网上抓取提取原日文声优的干声，越多越好
（3)本地或者云上训练声音模型（你电脑配置好，可能20分钟就可以出模型）
（4）本地或者云端进行替换原游戏音
（5）将中文化的语音替换，然后打包封装即可

IP属地:肯尼亚

来自iPhone客户端2楼2023-05-28 12:16

收起回复

这个是我用日本歌姬aimer训练出的《千本樱》（原唱：初音），大家可以看看效果。
网页链接
具体细节占楼更新

IP属地:肯尼亚

来自iPhone客户端3楼2023-05-28 12:19

第一步：解密游戏
1.首先使用maidump将官方版变成mai的文件夹模式。
这里以clannd为例，初次解密后是

观察游戏，一般语音是放在pak文件里，寻找对应的pak解包工具（吧主分享了一个pak解压文件，我试了很久没反应，后来找了这个下面这个软件打开了（实在解不开可以试试土办法，自己拿个psv实机运行，用手机录制，输出为wac的无损格式即可）

2，从你想替换的游戏原音提取纯净的人声，单独放个文件夹存档备用
我这里一般使用的是这个网站在线提取https://www.yinziai.com/tools/extract-voice
ps：有些游戏bgm和配音是分开运行的，没有合在一起，假如你这个游戏的原声本来就是纯净人声（无伴奏音乐这种），直接存着备用，不用再预处理（提取人声）了

IP属地:肯尼亚

6楼2023-05-28 13:14

收起回复

第二步：寻找原日文声优的“干声”（就是纯净人声，这是个行业术语，没有bgm和伴奏那种）
1，这个可以去网上各个地方找，以我训练的aimer为例，我是通过从她的无损专辑提取，歌曲用上面那个人声去除伴奏后，单独用软件将‘干声’切割成5-15s左右的训练数据。我使用的声音切割软件是下图：（网上很多安装包，百度即可）

切割后的效果是这种，选一下，长了的破音，无声的声音删除，保持每个声音片段在5-15s之间，新建一个名为aimer的文件夹，将整个文件夹打包成一个“aimer.zip”的zip文件
ps:注意，所有训练的数据必须是干声哈！纯人声这种

IP属地:肯尼亚

10楼2023-05-28 13:42

收起回复

第三步：云端环境搭配和模型训练
1，搭建云端环境
up是穷鬼，电脑很垃圾，所以采用的是租超级便宜的纯云端的服务器（1块钱1小时那种）训练，3个小时差不多就出模型，花费不到10元，超级便宜，哈哈！当然你电脑性能好的话（显卡显存超过12gb，可以自己本地训练。一样的效果）
模型训练采用的是sovits4.0平台，以下是云端训练模型的步骤，以autodl云平台为例：
（1）.打开网站https://www.autodl.com/create，（自己提前注册登录哈）
（2），点击控制台-容器实例-租用新实例

（3.）选择一个便宜的服务器，我选的rtx3090的，1.6一个小时，拉到下面这个社区镜像，输入so，搜图中这个镜
像，点击镜像创建即可。

（4），点击右边的控制台-容器实例，你就可以看到你租的服务器镜像了，开机，点击jupyterlab进入云端电脑
（这个云端电脑没有装桌面，习惯就好），云端环境就搭好了。

IP属地:肯尼亚

12楼2023-05-28 14:08

收起回复

第三步：模型训练
2，模型训练
（1）点击右边的控制台-容器实例，你就可以看到你租的服务器镜像了，开机，先别急，去把配置文件改了，别浪费我租的云电脑的性能，

，点击configs文件夹---config.json，单击右键“以editor”打开，看右边
"learning_rate"旁边的数字改成 0.0004 ,"batch_size"数字改成24，拉到最下面，看到有个spk，把逗号后面的全部删除就行了
ps：为啥是24，因为我租的电脑是24g的显存，learning_rate与batch_size成正比关系，记住这个比例就行了

（2）把你之前的那个“aimer.zip”的压缩包上传到dataset_raw目录，如下图

（3）看下面有个进度条，完了后，点那个蓝色的加号，开一个“终端”，在黑色终端输入解压命令
unzip aimer.zip，把之前收集到的干声数据集解压到这个目录下，如下图所示：

（4）完成上面的步骤，准备工作就做好了，接下来使用up提供的一键脚本，鼠标点一下一键执行.ipynb
，看右边，鼠标移动到预处理，先点下蓝色大圈再点下蓝色小圈的启动按钮，这样我们就开始在云端数据预处理了，等进度条跑完，预处理就完成，自动停止了

跑完效果如下：

IP属地:肯尼亚

15楼2023-05-28 14:40

收起回复

接上面
（5）开始训练：当上面的云端预处理完成，点击一下训练那个蓝色区域，再点蓝色小圈的开始按钮

如果出现下面这种类似代码，代表就正在训练了：

ps：因为是云端训练，所以你可以放心关闭浏览器，安心的喝茶去吧，大概训练到800，就会保存第一个语言模型，建议多训练一会，800的模型虽然也能用，效果一般，如果你不想训练了就可以点击一下训练开始按钮（蓝色小圈）旁边那个正方形按钮（停止训练按钮）

IP属地:肯尼亚

16楼2023-05-28 15:01

收起回复

因为训练是可以不间停的，不想训练可以点停止按钮，所以如何判断模型是否可用是个难题，训练好的模型放在
so-vits-svc4/logs/44k目录下的，一般是下面这些文件：

蓝色圆圈就是训练好的模型，一会我们就通过这个模型来替换原日文游戏语音（就是第一步让你提取的游戏原音（纯人声）），如何判断好坏，一般来说，越久越好，你可以打开蓝色圆圈下面那个train.log文件（这个是训练记录的日志），看日志有些片段会出现如下图所示的数值（这个是数学上的分布，你不用了解），你直接看最下面最近的保持模型的数值，其中第5个值越低越好（0-0.3最完美），up这个0.59一般般，凑合把

IP属地:肯尼亚

18楼2023-05-28 15:19

第四步，使用训练好的模型云端进行中文语音的重构（假设我训练的模型是歌手aimer）
1，要想让 ai （aimer）说中文，你首先有ai模仿的游戏台词的中文语音（中文母本------纯净人声哈！！），这个中文语音来源提供两个思路，一个是网上现成的中文朗读工具（你可以使用一些手段使用工具朗读游戏台词，录制声音），一个是你自己朗读游戏台词，录制纯人声的中文语音，有杂音也没关系，用一些工具降噪去除就行
2，在云端电脑那里点“web ui推理”，然后点蓝色的那个网址（划线），就弹出了云端转录的网页了