リアルタイムエンジン
StreamAnalyzer が聴くのに対し、RealtimeEngine は再生する側です。
libsonare のリアルタイム機能のうち、トランスポートと再生を担います。テンポ、クリップのスケジュール、メトロノーム、オートメーション、レーンミキサー、録音、UI 向けのメーター/スコープ情報を扱います。
ライブアナライザーではなく再生エンジンを作るときに使います。アプリに再生ヘッド、クリップ、MIDI、再生中に動くミキサーが必要なら、この層の担当です。API は リアルタイムエンジン を、AudioWorklet ブリッジは リアルタイムとストリーミング を参照してください。
トランスポート: 再生ヘッドとテンポ
トランスポートは再生クロックで、再生/停止/シーク、現在位置、ループ点、そして他のすべてが基準にするテンポを持ちます。「5 小節目で」スケジュールされたクリップや「2 拍目の」オートメーション点はトランスポートに対してのみ意味を持つので、トランスポートはエンジン全体が読む共有タイムラインです。
クリップとスケジューリング
エンジンが再生するのはクリップ、つまりタイムライン上のスケジュール位置に置かれた音声バッファや MIDI イベント列です。スケジューリングとは、トランスポートに対してクリップがいつ始まり止まるかを決めることで、1 つの連続ストリームではなく多数の断片から再生を組み立てられます。アレンジ、バックトラック、リズムゲームの譜面はこの仕組みで再生されます。
このデモは同じ考え方の縮図です。複数のレーンが同時に鳴り、ミキサーがまとめ、メーターがその出力を反映します。
メトロノーム
メトロノームは、トランスポートのテンポと拍子にロックしたクリックイベントを生成し、モニタリング、録音、演奏の整合に使います。同じトランスポートクロックから導かれるため、クリップやオートメーションと自動的に同期します。
メーター情報: リアルタイムグラフを見る
リアルタイムの音声コールバックは、タイミングを壊さずにデバッガで覗けません。代わりにエンジンは、メーターと状態の定期的なスナップショット(テレメトリ)を出力し、UI が通常の(音声でない)スレッドで読みます。音声経路に手を触れずに、レベルメーター、ゴニオメーター(左右の位相関係を表示するステレオスコープ)、トランスポート状態を描けます。
libsonare がエンジンをどうモデル化するか
RealtimeEngine は EngineController と連携してトランスポートを管理し、ClipAudioBuffer ストレージ上で ClipPlayer/ClipSchedule によりクリップをスケジュールし、Metronome(MetronomeConfig → MetronomeEvent)でクリックを生成し、ミキサーグラフ上でオートメーションを再生します。メーターは MeterTelemetryRecord を生む MeterTelemetryTap と、UI が音声スレッド外で読む汎用 Telemetry チャンネル(TelemetryType/TelemetryErrorCode)で公開されます。エンジン全体はリアルタイム安全で、オフライン(バウンス)でも AudioWorklet 内でも、フリーズやキャプチャの経路を含めて同じく動きます。
ホストが待つべき量は、2 つの読み出し値で見積もれます。tailSamples はエンジンの最も長い可聴テールのサンプル数を表す保守的な上限で、graphLatencySamplesQ8 は処理レイテンシを 1/256 サンプル単位で表します。オフラインのバウンスやフリーズの前に、エンジンはレンダリングせずに自分をプライムします。キュー済みコマンドを適用し、ミキサーとエフェクトのすべてのプロセッサを準備時の状態へリセットし(インストゥルメントは除く)、スムーザーを確定値へ揃えます。このため鳴り続けるインサートのテールやディレイラインは断ち切られ、2 回目のバウンスは 1 回目と一致します。primeOfflineParameters と resetProcessorState は、ブロックごとにエンジンを駆動するホストにこれらの手順を公開します。準備時より大きなブロックサイズでのオフラインレンダリングは拒否されます。
関連: リアルタイムエンジン、リアルタイムとストリーミング、ストリーミング解析、リアルタイム安全性、オートメーションとメーター