Dialogue MatchのReverb Moduleを支えるテクノロジー

by アンディー・サロフ, リサーチ・エンジニア　2019年11月5日

Dialogue Matchの機能、Reverb Moduleが誕生した経緯について紹介します。

台詞編集や録り直しを行う制作者が使用するiZotopeの最新のプラグイン、Dialogue Matchにおいてリバーブのマッチングは欠かせない要素です。新たに開発されたEQ、リバーブ、アンビエンスのマッチング・テクノロジーであるDialogue Matchは一つの録音物に起源する音要素を別な部分に適応、映像シーンの環境や空間の響きを一瞬で整えます。
まず「元となる素材」と「適応する素材」となるトラックを用意、Reverb moduleは元となる素材を分析、反響密度、ディケイ・タイム、音色、サイズを解析し元に近いリバーブのキャラクターを作成します。簡素画面では、ウエット・ゲインやドライ・ゲインを調整でき、詳細パネルではより踏み込んだ微妙な調整が思う存分可能となっています。

Dialogue Matchのユーザーインターフェイス

Reverb moduleとは？そしてその用途は？

ダイアログの制作現場ではエンジニアには様々な条件で録音された音素材に一貫性を持たせることが求められます。例えば録り直し時のレコーディングもしくはミキシングエンジニアはアフレコとプロダクション時に現場録音されたシンクロ素材と共存させる必要があります。
アフレコはシンクロとは区別がつかない音質でなければなりません。
ドキュメンタリー番組の編集者も異なる現場から送られて音と映像素材を取りまとめてナレーション録りに備えます。音素材は異なる年代、録音機材やマイク、環境で録音されていることも多々あります。ポッドキャスト制作者のインタビューにおいても様々な場所で録音された会話がまるで同じ部屋で行われているかの様な音質に揃える必要性が出てきます。

微々たる音の違いでも視聴者に混乱を招くこともあり、ナレーションの音質の矛盾から視聴者の気が逸れてしまうことすら有り得ます。一貫性を保つことは優れた視聴経験の提供には必要不可欠です。

持続する音響要素、例えばリバーブ等は音素材が同じ場所で録音されたという認識を与える重要な要素となります。一貫性を実践するにはエンジニアは多大な時間を掛けてリバーブのパラメーターをいじくり回してドライな音素材にリバーブが乗った素材の反響音に限りなく似せ人工的な響きを付加する作業が伴います。これは無限に近い数の設定の組み合わせから探し出すという大変な任務です。それはエンジニアが多くのパラメーターと永遠に格闘することを意味します。加えていくつかの設定のコンビネーションは思わぬノンリニアな（つまり予想が付かない）方向に作用してしまうのです。

私達iZotopeはエンジニア達が費やす長く退屈な作業時間が最小限に軽減され、スキルとクリエイティビティが最大限に発揮される作業に集中できる様努めています。
多次元的でノンリニアなパラメーターを並べて解析するのは膨大な時間と経験値を要し、人間の許容能力を超えるものです。幸いにもマシン学習の能力はこの解析作業を行うには有り余るものがあります。我々は自然界の残響音が付加されたレファレンス・トラックのリバーブ成分を解析し、それをドライのトラックに適応することができるのか？自答自問の末、成功を実現することができたのです！

蓋を開けてみると

Reverb Moduleはレファレンス音源のリバーブ成分を組織的情報網と照らし合わせます。膨大なレファレンスの分析結果から集積された情報網を用いて、我々はこの情報網自体にリバーブのDSPに適切な設定を推測させる指示系統を組み込みました。この情報網は音素材全体の中での脈略を考慮しどの様に時間の流れと共に音が展開されているか順次解析します。適した加工内容はほぼ一瞬にしてはじき出され、元の音素材の前後も含めた流れも考慮されたものとなります。

開発の舞台裏をお伝えすると、このReverb moduleは元々受賞歴のあるExponential Audioのテクノロジーを応用したリバーブであり、このリバーブは自然な響きでありながら残響音の反射部分や音質キャラクターの微調整が可能なことで高い評価を得たものです。我々は組織的情報網がExponential Audioのエンジンを活用してその広範囲に渡るパラメーターと照合させる様に働きかける設計を施しました。
レファレンスとなる音素材を読み込むことにより、情報網は即座にその素材に適したパラメーターの予測を検出、そのリバーブ設定をまったく別に聴こえるトラックに適用するのです。

本当に効くの？

私達iZotopeのサウンド・デザインチームは経験豊かなリスナーで構成され膨大な時間を費やしReverb moduleの効果を検証してきました。
また私達はリバーブ・マッチングのプロセスが外部ベータ・テスター達から得た評価から、それが期待を超えたものであることを確信しました。

ただ私達は自社のサウンド・デザイナーやベータ・テスターの判断は断じて厳しく、あくまでも統計による証拠を元にしたものであることを常に念願に置いています。

私達はMUSHRA法の実験結果を採用しReverb moduleが果たして経験豊かなエンジニアにとって実用的なリバーブのマッチングであるか判断しました。
MUSHRA法はMultiple Stimuli with Hidden Referenceの略で、実用的な評価法として人々がどの様にレファレンス音源と比較対象の音源の類似点を人々が認知するのかを測れる手法になります。MUSHRA法は元々オーディオ用のコーデックの品質評価用に設計されたもので多くの音質比較や評価に関する論文にも利用されています。

MUSHRA法の利用方法：まず複数のトライアル評価を遂行、基準原音はその旨を明白した状態で各トライアル評価を行います。そして「multiple stimuli」と呼ばれる無記入でランダムに並べられた比較用対象音を複数加えます。評価者は0から100までの連続値で原音と比較対象音の尺度を行います。

AudioLabs Schoeffler,M. et al.,(2018)によって webMUSHRAを用いて実行されたDialogue Matchの実験結果。webMUSHRA – 包括的ウェブベース・リスニング・テスト構想。Journal of Open Research Software誌参照。6(1),p.8。

比較用対象音の一つには原音と同じものがあります。これは「隠れ基準」と呼ばれるものです。私達は評価者がこの隠れ基準を原音に非常に近いと評価することを確認します。さもなければこの評価自体が信頼に欠けるものだと結論を下さなければなりません。

私達はまた、原音からは音質がかけ離れた隠れアンカーを比較用対象音の間に挟みます。これは相違評価評点の最低範囲の目安を明らかにするのに役立ちます。

最後に残るのは私達が最も重要な評価対象に挙げる音になります。つまり私達の実験では下記の比較用対象音を提出します。

・隠れ基準
・アンカー、ランダムなリバーブのパラメーターを設定したリバーブを付加した音
・熟練エンジニアが判断してリバーブのマッチングを施した音
・二つの異なる組織的情報網で私達が「回帰分析情報網」「類別分析情報網」と呼ぶリバーブ・マッチ技術を応用した音

私達の情報網のいずれかが熟練エンジニアによるものと合わせて高い評価を得ることを期待していました。
下図では評価者による票点の平均値を表しています。

評価者による評点の平均値 (左から 原音 / 人 / 回帰分析モデル / 類別分析 / ランダム)

上記で述べた通り、隠れ基準が100に近い成績の平均値を付け、ランダムな残響音を加えた音（隠れアンカー）が最も低い成績の平均値を付けるのを期待していました。まったく違う結果が出てしまうと実験自体が明白な失敗に終わってしまうためです。

回帰分析情報網（Reverb moduleに実際配備したもの）が熟練エンジニアが施したものに迫る結果を出したことに私達は満足しています。これまではベータ・テスター達、そしてサウンド・デザインチームが打ち出した仮説でしかありませんでしたが、これで晴れて統計が仮説の正当性を立証したことになります。更には0.24というp値が示す通り、熟練エンジニアと私達のリバーブ・マッチング技術が同じ根拠から成り立っているという仮説も排除できません。　　　　　　　　　　

Reverb moduleを上手に使いこなすコツ
Reverb moduleを支える組織的情報網は特定のキャラクターが乗った素材に最も有効です。

是非下記のアドバイスを参考にしてみてください：
1.レファレンス音は3秒以上で、しかし長過ぎず静か過ぎる箇所や無音状態は含まれない様に。情報網は3秒以上のダイアログの残響音を聞き取る様設計されています。

2. 雑音が多い音素材は避けてください。具体的には情報網はハムノイズやエアコンの音等、持続した雑音には弱く、過剰に反応してしまいがちです。レファレンスに雑音が多く含まれている様であればRXのDe-humやSpectral De-noise等のノイズ除去ソフトを使って雑音を取り除いてください。RXとDialogue Matchを併用する方法はこちらから。

3.レファレンス音からリバーブの衰退音の全てを供給する必要はありません。情報網は静か過ぎる部分まで読み取ってしまうと正確な分析が行われずその能力が最大限に活かされなくなる可能性があります。

4.レファレンス音を供給する際にPro Toolsのクリップの範囲を超えない様に注意してください。Reverb Matchは選択した全ての領域に対して解析を行い、これにクリップ外の波形が存在しない部分が選択範囲が含まれてしまうと正確な解析が行われなくなってしまいます。想定外の予期せぬ結果も招きかねません！

5.Reverb moduleはドライの状態の音に適応する様に設計されています。加工先の音に部屋鳴り等の残響音が残っていたらRXのDe-Reverbを先に施すことを検討してください。

6.moduleはレファレンスとは違う場所に効果が適応されることを意識してください。適応する場所の尺よって効果に変化が生じることがありますので、レファレンスのプロフィールは必ず保存しておきつつ、尺が違う様々な領域でその効果を試してみることをお勧めします。

最後に

Reverb moduleはDialogue Matchの中では強力なツールで音の性質が異なる複数の音素材に一貫性をもたらします。元々はセリフに最も効果的に作用する様に設計されていますが、それ以外の音素材に無効という訳ではありませんので是非様々な音素材で実験してみてください。
この機能の最も有利なアドバンテージはエンジニアが気が遠くなる程パラメーター操作を続けて探し回って目的に辿り着くということ無しに、それをほぼ一瞬で自動的に解析することで、作業時間を大幅に短縮させることができるということです。将来的には組織的情報網に更に広範囲な学習能力を持たせたいと思っています。iZotopeからの新たなテクノロジーにご期待ください。
Dialogue Matchの無償トライアル版も用意しておりますので是非お試しください。