psvita破解吧 关注:112,721贴子:1,255,659

《PSV汉化教程》使用AI进行游戏语音的完全中文化

只看楼主收藏回复

1楼占楼,等度娘通过更新


IP属地:肯尼亚1楼2023-05-28 10:03回复
    游戏语音的本质其实还是使用真人声优为其配音,所以中文化的本质是使用原日文配音的声优(当然,你也可以用其他人的声音)训练出的模型进行转换,从而达到中文配音,大概思路去下:
    (1)解密游戏,提取游戏原配音(纯净人声无伴奏)
    (2)从网上抓取提取原日文声优的干声,越多越好
    (3)本地或者云上训练声音模型(你电脑配置好,可能20分钟就可以出模型)
    (4)本地或者云端进行替换原游戏音
    (5)将中文化的语音替换,然后打包封装即可


    IP属地:肯尼亚来自iPhone客户端2楼2023-05-28 12:16
    收起回复
      这个是我用日本歌姬aimer训练出的《千本樱》(原唱:初音),大家可以看看效果。
      网页链接
      具体细节占楼更新


      IP属地:肯尼亚来自iPhone客户端3楼2023-05-28 12:19
      回复
        大佬牛,


        IP属地:浙江来自Android客户端4楼2023-05-28 12:44
        回复
          这个技术好,厉害


          IP属地:江西来自Android客户端5楼2023-05-28 13:12
          回复
            第一步:解密游戏
            1.首先使用maidump将官方版变成mai的文件夹模式。
            这里以clannd为例,初次解密后是

            观察游戏,一般语音是放在pak文件里,寻找对应的pak解包工具(吧主分享了一个pak解压文件,我试了很久没反应,后来找了这个下面这个软件打开了(实在解不开可以试试土办法,自己拿个psv实机运行,用手机录制,输出为wac的无损格式即可)

            2,从你想替换的游戏原音提取纯净的人声,单独放个文件夹存档备用
            我这里一般使用的是这个网站在线提取https://www.yinziai.com/tools/extract-voice
            ps:有些游戏bgm和配音是分开运行的,没有合在一起,假如你这个游戏的原声本来就是纯净人声(无伴奏音乐这种),直接存着备用,不用再预处理(提取人声)了


            IP属地:肯尼亚6楼2023-05-28 13:14
            收起回复


              IP属地:河北7楼2023-05-28 13:20
              回复
                意思是提取游戏语音,用ai翻译成国语,然后再打包回去?


                IP属地:河北8楼2023-05-28 13:23
                收起回复


                  IP属地:湖南来自iPhone客户端9楼2023-05-28 13:33
                  回复
                    第二步:寻找原日文声优的“干声”(就是纯净人声,这是个行业术语,没有bgm和伴奏那种)
                    1,这个可以去网上各个地方找,以我训练的aimer为例,我是通过从她的无损专辑提取,歌曲用上面那个人声去除伴奏后,单独用软件将‘干声’切割成5-15s左右的训练数据。我使用的声音切割软件是下图:(网上很多安装包,百度即可)

                    切割后的效果是这种,选一下,长了的破音,无声的声音删除,保持每个声音片段在5-15s之间,新建一个名为aimer的文件夹,将整个文件夹打包成一个“aimer.zip”的zip文件
                    ps:注意,所有训练的数据必须是干声哈!纯人声这种


                    IP属地:肯尼亚10楼2023-05-28 13:42
                    收起回复
                      如果用这个方法,重新制作中文版弹丸论破V3就好了。


                      IP属地:湖北11楼2023-05-28 13:52
                      收起回复
                        第三步:云端环境搭配和模型训练
                        1,搭建云端环境
                        up是穷鬼,电脑很垃圾,所以采用的是租超级便宜的纯云端的服务器(1块钱1小时那种)训练,3个小时差不多就出模型,花费不到10元,超级便宜,哈哈!当然你电脑性能好的话(显卡显存超过12gb,可以自己本地训练。一样的效果)
                        模型训练采用的是sovits4.0平台,以下是云端训练模型的步骤,以autodl云平台为例:
                        (1).打开网站https://www.autodl.com/create,(自己提前注册登录哈)
                        (2),点击控制台-容器实例-租用新实例


                        (3.)选择一个便宜的服务器,我选的rtx3090的,1.6一个小时,拉到下面这个社区镜像,输入so,搜图中这个镜
                        像,点击镜像创建即可。

                        (4),点击右边的控制台-容器实例,你就可以看到你租的服务器镜像了,开机,点击jupyterlab进入云端电脑
                        (这个云端电脑没有装桌面,习惯就好),云端环境就搭好了。


                        IP属地:肯尼亚12楼2023-05-28 14:08
                        收起回复
                          这样也行?!楼主好有想法


                          IP属地:吉林来自Android客户端13楼2023-05-28 14:15
                          收起回复
                            遇见大佬,先赞为敬


                            IP属地:陕西来自Android客户端14楼2023-05-28 14:35
                            回复
                              第三步:模型训练
                              2,模型训练
                              (1)点击右边的控制台-容器实例,你就可以看到你租的服务器镜像了,开机,先别急,去把配置文件改了,别浪费我租的云电脑的性能,,点击configs文件夹---config.json,单击右键“以editor”打开,看右边
                              "learning_rate"旁边的数字改成 0.0004 ,"batch_size"数字改成24,拉到最下面,看到有个spk,把逗号后面的全部删除就行了
                              ps:为啥是24,因为我租的电脑是24g的显存,learning_rate与batch_size成正比关系,记住这个比例就行了



                              (2)把你之前的那个“aimer.zip”的压缩包上传到dataset_raw目录,如下图

                              (3)看下面有个进度条,完了后,点那个蓝色的加号,开一个“终端”,在黑色终端输入解压命令
                              unzip aimer.zip,把之前收集到的干声数据集解压到这个目录下,如下图所示:



                              (4)完成上面的步骤,准备工作就做好了,接下来使用up提供的一键脚本,鼠标点一下一键执行.ipynb
                              ,看右边,鼠标移动到预处理,先点下蓝色大圈再点下蓝色小圈的启动按钮,这样我们就开始在云端数据预处理了,等进度条跑完,预处理就完成,自动停止了

                              跑完效果如下:


                              IP属地:肯尼亚15楼2023-05-28 14:40
                              收起回复