Author: 著者，所属
- Changzeng Fu
- Osaka Univercity RIKEN
Motivation： 研究の出発点
- どんな課題や問題点を解決しようとしたの
- 感情音声変換タスク
- 音声生成変換においてtransformerを利用したものはない
Method: 研究手法
-
Cycle GANにtransformerモデルを組み合わせたCycleTransGANを提案
-
F0とスペクトルグラムを特徴料とする(Zhou et al. [13],Ming et al. [20], and Kaneko et al. [21])
-
スペクトログラム
- タイムステップの時間関係を取るため，transformerの残渣畳み込み
- さらにtransformerに与える時に，位置の埋め込みを2回
- 出力をCNNで特徴量をとる
-
F0はスペクトログラムと比べ情報量が少ない
-
だから*2されていない
-
-
入力の感情情報をターゲットのものと一致させる
-
元の言語情報を保持したまま入力を変換する
-
ジェネレータが目標とする分布に従っているかどうかを判断
-
-
カリキュラム学習を用いてフレームの長さを段階的に増やした
- ，500エポックごとに入力の長さを0.5秒ずつ徐々に長くしていき，モデルが短い音声から長い音声へ
- 短い音声から全体を見るため
-
日本語感情音声データセットで評価
Insight: 結果と知見
-
カリキュラム学習を用いることで，短いセグメントから全体を学習でき，感情の特徴変換がうまくいった
- 音声の感情は一部であり，細かくしてしまうと一部に特徴量を集中すると言ったことができないから
-
時間的特徴量によ裏，誤読，音素のスキップなどの不安定な問題をある程度解決
-
感情の類似性，声質，自然さで向上した
(One-sentence) Contribution Summary: 貢献を1行でまとめる
- 感情音声変換タスクにおいてGANtransformerを用いて学習をうまく回した．向上した点もある
Keyword: キーワード
Unknown: 残った課題
- 音声の明瞭さと感情の強さは改良の余地がある
Reflection: 考察
Reference:読むべき 関連研究