AVAssetWriterとAuthor fragmented MPEG-4コンテンツ

AVAssetWriterとAuthor fragmented MPEG-4コンテンツ

より早くよりスムーズなHLSストリーミング体験のため、音声や動画コンテンツをFragmented MPEG-4に変換しましょう。Fragmented MPEG-4フォーマットの扱い方、動画からfragmentedコンテンツを生成する方法、AVAssetWriterを設定しHLSアウトプット用のフラグメントを作る方法を見ていきます。

リソース
- Writing Fragmented MPEG-4 Files for HTTP Live Streaming
- - HDビデオ
  - SDビデオ
こんにちは　WWDCへようこそ
“AVAssetWriterと Author Fragmented MPEG-4コンテンツ” ミズノ･タカギです私はAppleのCoreMediaエンジニアですこのセッションではHLSの断片化された MP4ファイルを書き込むための AVFoundationの新機能についてお話しますこれはHLSの一般的なワークフローを示す図ですソースマテリアルがありますビデオオンデマンド素材またはライブ素材の場合がありますメディアデータをエンコードする部分があります例えばビデオサンプルは HEVCにエンコードされオーディオサンプルは AACにエンコードされます
次にここにセグメンターがあります
メディアデータを特定の形式でセグメント化します
セグメンターはセグメントを同時にリストする― プレイリストも作成します
最後にコンテンツをホストするウェブサーバがあります AVFoundationは主にセグメンターの行いに役立つ新機能を提供します
AVFoundationにはAVAssetWriterがありメディアオーサリングアプリケーションが MP4などの指定されたコンテナータイプの新しいファイルにメディアデータを書き込めますメディアデータをHLSの断片化されたMP4形式で出力するように拡張しました
Apple HLSは MPEG-2トランスポートストリームや ADTS MPEGオーディオなどの他の形式をサポートしていますただしこの新機能は断片化されたMP4固有のものですこれはユースケースの事例です
私の事例はソースがビデオオンデマンド素材です
AVFoundationにはメディアファイルからサンプルデータを読み取るためのオブジェクトのAVAssetReaderがあります
ソースムービーからサンプルデータを読み取りサンプルをAVAssetWriterにプッシュして断片化されたMP4セグメントファイルを書き込みます
もう１つの事例はソースがライブマテリアルです
AVFoundationには AVCaptureVideoDataOutputと AVCaptureAudioDataOutputがありますこれらは接続されたデバイスからキャプチャされたサンプルデータを提供するオブジェクトです
デバイスからサンプルデータを受け取りサンプルをAVAssetWriterにプッシュして MP4セグメントファイルを書き込みます断片化されたMP4はISOベースのメディアファイル形式に基づく― ストリーミングメディア形式です Apple HTTP Live Streamingは2016年以降断片化されたMP4をサポートしていますこれが通常のMP4ファイルの基本的な図ですまずこのファイルがどのファイル形式に準拠しているかを示す― ファイルタイプボックスから始まります
そのすべてのサンプルデータに関する情報を整理するムービーボックスがあり― そのすべてのサンプルデータを含むメディアデータボックスがありますムービーボックスにはオーディオコーデックやビデオコーデックなどサンプル全体に関連する情報が含まれています
またサンプルデータの場所などサンプルデータへの参照も含まれていますほとんどのボックスの順序は任意です
ファイルタイプボックスが最初に来る必要がありますが他のボックスはどのような順序でもかまいません AVAssetWriterを使用したことがある場合は movieFragmentIntervalプロパティがあることをご存知かもしれませんこれはムービーフラグメントが書き込まれる頻度を指定します
結果のムービーはいわゆる断片化されたムービーです以下は断片化されたムービーファイルの基本的な図です
このムービーにはメディアデータボックスにある― すべてのサンプルデータを参照するムービーフラグメントボックスがあります
この形式の構造はライブキャプチャに役立ちます例えばクラッシュなどによって予期せずに書き込みが中断された場合でも部分的に書き込まれたデータは― 引き続きアクセスおよび再生できます
この断片化されたムービーのケースでは書き込みが正常に終了した場合 AVAssetWriterが最後のステップとしてファイルをデフラグすることに注意してくださいしたがってこれは通常のムービーファイルを作成することになります
以下は断片化されたMP4ファイルの基本的な図ですファイルタイプボックスが最初に来てムービーボックスはファイルタイプボックスの後に来ます次にメディアデータボックスが後に続くムービーフラグメントボックスがありますその後ムービーフラグメントボックスとメディアデータボックスのペアが続きますこれらのボックスの順序は次のようになります断片化されたムービーと断片化されたMP4の主な違いは断片化されたMP4のムービーボックスにはサンプルデータへの参照が含まれていないことですサンプル全体に関連する情報のみが含まれムービーフラグメントボックスとメディアデータボックスの順序が逆になります
次にAVAssetWriterの使用方法についてご説明しますこれはAVAssetWriterのインスタンスを作成する方法を示しています AVAssetWriterはファイルを書き込まずデータを出力するため出力URLは指定しません出力コンテンツタイプを指定するだけです断片化されたMP4は MP4ファミリーに準拠しているため常にAVFileType.mp4でUTTypeを指定する必要があります AVAssetWriterInputを作成しますこの事例ではメディアサンプルをエンコードするために辞書であるcompressionSettingsが提供されていますまたはパススルーモードと呼ばれる outputSettingsに nilを設定できますパススルーモードではAVAssetWriterは指定されたとおりにサンプルを書き込み inputをAVAssetWriterに追加するだけです AVAssetWriterの設定方法は次のとおりです outputFileTypeProfileを指定する必要があります
メディアデータを断片化されたMP4形式で出力するには Apple HLSまたはCMAF準拠のプロファイルを指定する必要があります
preferredOutputSegmentIntervalを指定します
AVAssetWriterはその間隔でメディアデータを出力しますこの時間間隔は合理的な時間にすることができますが HLSのターゲットセグメント期間は秒単位の整数でなければならずこれがHLSの正しい選択であるためここではgreater precisionを使用していませんまたinitialSegmentStartTimeも指定します
これは間隔の開始点です
次に指定されたプロトコルを実装するデリゲートオブジェクトを指定します
プロトコルについては後で話しますこの後通常のファイル書き込みと同じプロセスが続行されます
書き込みを開始しAVAssetWriterInputを使用してサンプルを追加します
このセッションではこれ以上説明しませんが 2011年のWWDCセッション "Working with Media in AV Foundation"でこれらのプロセスの実行方法をご覧いただけますセッションビデオはAppleのデベロッパサイトにありますデリゲートメソッドのプロトコルは次のとおりです２つのメソッドがありますどちらのデリゲートメソッドも断片化されたメディアデータの NSDataを配信します
また断片化されたメディアデータのタイプを示す―
AVAssetSegmentTypeも配信します
その内の１つを実装する必要があります違いは２つ目が AVAssetSegmentReportオブジェクトを配信することですそのオブジェクトには断片化されたメディアデータに関する情報が含まれていますそのような情報が必要ない場合は１つ目の方を実装する必要があります
AVAssetSegmentTypeには２つのタイプがあります初期化と分離です初期化タイプの断片化されたメディアデータにはファイルタイプボックスとムービーボックスが含まれます分離可能タイプの断片化されたメディアデータには１つのムービーフラグメントボックスと１つのメディアデータボックスが含まれます
分離可能なタイプのデータを正常に受け取ります
受け取ったメディアデータをセグメントと呼ばれるものにパッケージ化しセグメントをファイルに書き込みます
ファイルタイプボックスとムービーボックスのペアは
初期化セグメントである必要があります
またムービーフラグメントボックスとメディアデータボックスのペアは
１つのセグメントにすることができます
HLSの場合これらのセグメントをすべて含む単一のファイルをストリーミングに使用できます
または各セグメントを複数のセグメントファイルに分割することもできます
さらにムービーフラグメントボックスとメディアデータボックスの複数のペアを１つのセグメントにして１つのセグメントファイルに保存できます HLSはプレイリストを使用しますクライアントは主にプレイリストでセグメントについて理解をします
こちらがプレイリストの事例です URLや期間などセグメントに関する情報を示す― タグがいくつかあります AVAssetWriterはプレイリストを書き込みませんプレイリストを書いてくださいそのためデリゲートメソッドの１つが AVAssetSegmentReportを配信します AVAssetSegmentReportが提供する情報に基づいてプレイリストと Iフレームプレイリストを作成できます
fmp4Writerというサンプルコードを見るとプレイリストの作成方法が分かりますまたプレイリストに関するドキュメントはこちらのデベロッパストリーミングページにありますサンプルがエンコードされないモードであるパススルーモードでは AVAssetWriterは優先出力セグメント間隔に達したか超えた後次の同期サンプルの直前にすべてのサンプルを含むメディアデータを出力します
ここでの同期サンプルは別のサンプルに依存しないサンプルですこれはCMAFではすべてのセグメントが同期サンプルで始まる必要があるためです Apple HLSもこれを優先しますこのルールはビデオだけでなく USACオーディオなどのサンプルの依存関係があるオーディオにも適用されますしたがってパススルーの場合追加できる AVAssetWriterInputは１つだけです同期サンプルが間隔の近くに配置されていない場合メディアデータは指定された時間よりもかなり長い時間で出力される可能性がありますその結果HLSには適しません解決策の１つはビデオサンプルを同時にエンコードすることです前述のとおりAVAssetWriterInputで圧縮の出力設定を指定するとサンプルがエンコードされますエンコードモードでは優先出力セグメント間隔にちょうど到達するかそれを超えるビデオサンプルは強制的に同期サンプルとしてエンコードされます
つまり同期サンプルは自動的に生成されるため断片化されたメディアデータは指定された間隔でまたはそれに非常に近い間隔で出力されますオーディオとビデオの両方をエンコードする場合メディアごとに１つのAVAssetWriterInputを追加できます以前私はパススルーの場合は追加できる― AVAssetWriterInputは１つだけと言いましたただしマスタープレイリストを使用してビデオとオーディオを別々のストリームとして配信できます一対のオーディオストリームとビデオストリームだけでなく様々なビットレートまたは異なる言語でストリームを配信することもできます
複数のストリームを作成するには AVAssetWriterの複数のインスタンスを作成する必要があります繰り返しになりますがマスタープレイリストに関するドキュメントと HLSのビデオとオーディオのエンコードに関する推奨事項はこちらのデベロッパストリーミングページに載っています
これは高度なユースケースですが preferredOutputSegmentIntervalとは異なるセグメンテーションが必要な場合は自分で行うことができます例えば間隔に達した後ではなく間隔に達する前に同期サンプルではないメディアデータを出力したい場合があります AVAssetWriterのプロパティを設定する前にお見せしたコードは次のとおりですカスタムセグメンテーションを通知するには preferredOutputSegmentIntervalを CMTime indefiniteに設定します initialSegmentStartTimeを設定する必要はありませんインターバルがないためですその他の設定は preferredOutputSegmentIntervalに使用される設定と同じですこれはパススルー専用ですカスタムセグメンテーションではエンコードできませんしたがってAVAssetWriterInputを作成するときは
nilを出力設定に設定する必要があります
メディアデータを出力するには flushSegmentメソッドを呼び出します
flushSegmentは前回の呼び出し以降に追加されたすべてのサンプルを含む― メディアデータを出力します
次の断片化されたメディアデータが同期サンプルで開始できるように同期サンプルの前にflushSegmentを呼び出す必要があります
そうしないと非同期サンプルで開始された― 断片化されたメディアデータを示すエラーが発生します
このモードではオーディオとビデオを多重化できますただしオーディオとビデオの両方にサンプルの依存関係がある場合両方のメディアを均等に揃えることが難しくなりますその場合ビデオとオーディオを別々のストリームとしてパッケージ化することを検討する必要があります
AVAssetTrackにオーディオトラックにサンプルの依存関係があるかどうかを示す― 新しいプロパティが追加されました
このプロパティを使用してトラックにサンプルの依存関係があるかを事前に確認できますメディアデータを断片化された MP4形式で出力するには Apple HLSまたはCMAF準拠のプロファイルを指定する必要があることを先に述べました
CMAFは断片化されたMP4セグメントを構築する方法に関する一連の制約です
ストリーミング用に断片化されたMP4を使用するための規格です
Apple HLSを含む複数のプレーヤーでサポートされています Apple HLSのみを対象とする場合一部の制約は不要ですただしメディアライブラリのより幅広い視聴者を獲得したい場合は CMAFを検討してください
次にHLSがオーディオプライミングをどのように処理するかについて説明しますこの図はAACオーディオのオーディオ波形を表しています
AACオーディオコーデックではエンコーディングアルゴリズムの性質上オーディオサンプルを正しくエンコードおよびデコードするためにソースPCMオーディオサンプルを超えるデータが必要ですこのためエンコーダは最初のtrueオーディオサンプルの前に無音部分を追加します
これはプライミングと呼ばれます AACの最も一般的なプライミングは 2112オーディオサンプルですこれは約48ミリ秒でありそのサンプルレートは44100であると仮定しています
オーディオとビデオが別々のストリームとして別々のファイルに書き込まれる場合メディアデータは次のようにレイアウトされます
両方のメディアが時間０から始まると仮定しますお気づきかもしれませんがオーディオとビデオが同時に開始した場合
オーディオがプライミングによって遅延しオーディオとビデオがわずかにずれます CMAFは問題を補正するためにオーディオトラックにエディットリストボックスを採用していますプライミングは編集で削除され
オーディオとビデオの開始時間が一致するようになります
従来Apple HLSはエディットリストを使用していないため Apple HLSプロファイルを指定した場合古いプレーヤーとの互換性のためにエディットリストボックスは使用されません代わりにオーディオメディアの baseMediaDecodeTimeはプライミングの量を後方にシフトします
しかしながらbaseMediaDecodeTimeは符号なし整数として定義されているためゼロより前にすることはできません
１つの解決策はオーディオとビデオの両方を同じタイムオフセット分だけ前方にシフトすることですこのようにしてオーディオメディアの baseMediaDecodeTimeはプライミングの量を後方にシフトできます
開始時間がゼロでない場合でも HLSではビデオサンプルの最も早い― プレゼンテーションタイムから再生が開始されます
したがってタイムオフセットを待たずにすぐに再生が開始されます
これはビデオとオーディオの正確な同期だけでなくプライミング時間が異なるオーディオバリアント間のタイムスタンプの正確な同期にとっても重要ですしたがってApple HLSプロファイルを指定する場合はすべてのサンプルに一定の時間を追加してメディア時間をシフトすることをお勧めします
initialSegmentStartTimeも同じタイムオフセットだけシフトする必要があります先に述べたように最も一般的なプライミングは１秒未満なのでタイムオフセットには数秒で十分ですただしAppleのセグメンターツールである mediafilesegmenterは10秒のオフセットがあるため同じ10秒を選択できますサンプルコードはすべてのサンプルにタイムオフセットを追加する方法を示していますこのデモではサンプルのコマンドラインアプリケーションを使用して断片化されたMP4セグメントファイルとプレイリストを作成します
次にSafariを使用して結果のコンテンツを再生します
このデモシーンはコンテンツをホストするローカルサーバーとして事前に設定されています
端末アプリケーションにコマンドラインアプリケーションを入力しました
このコマンドラインアプリケーションは既製のソースムービーからメディアデータを読み取りビデオとオーディオをエンコードしますこれがソースムービーです長さはわずか30秒ですこのコマンドラインアプリケーションは優先出力セグメント間隔に６秒を使いますセグメントファイルとプレイリストはこのディレクトリに作成されますでは始めましょうソースムービーのビデオフレームレートは 30フレーム／秒です５つのセグメントファイルが表示されプレイリストが作成されましたプレイリストを開きます
各セグメントの継続時間は６秒です
ローカルホストをURLとして入力し Safariを使用して再生します
再生してみましょう
HLSにはいくつかの要件がありますまたユーザーのエクスペリエンスを改善するための推奨事項もいくつかあります AVAssetWriterを使用して書き込んだセグメントファイルとプレイリストを検証しそれらのファイルが要件と推奨事項を満たしていることを確認することをお勧めします 2016年のWWDCセッション “Validating HTTP Live Streams”はこの目的のための優れた情報源ですセッションビデオはデベロッパ向けのサイトにあります
AVAssetWriterはHLSの断片化されたMP4形式でメディアデータを出力するようになりましたご清聴ありがとうございました

5:36 - Instantiate AVAssetWriter and input

// Instantiate asset writer
let assetWriter = AVAssetWriter(contentType: UTType(AVFileType.mp4.rawValue)!)

// Add inputs
let videoInput = AVAssetWriterInput(mediaType: .video, outputSettings: compressionSettings)
			
assetWriter.add(videoInput)

6:28 - Configure AVAssetWriter

assetWriter.outputFileTypeProfile = .mpeg4AppleHLS

assetWriter.preferredOutputSegmentInterval = CMTime(seconds: 6.0, preferredTimescale: 1)

assetWriter.initialSegmentStartTime = myInitialSegmentStartTime

assetWriter.delegate = myDelegateObject

8:00 - Delegate methods

optional func assetWriter(_ writer: AVAssetWriter, didOutputSegmentData segmentData: Data, segmentType: AVAssetSegmentType)


optional func assetWriter(_ writer: AVAssetWriter, didOutputSegmentData segmentData: Data, segmentType: AVAssetSegmentType, segmentReport: AVAssetSegmentReport?)

8:37 - AVAssetSegmentType

public enum AVAssetSegmentType : Int {
    case initialization = 1 
    case separable = 2
}

13:45 - Custom segmentation

// Set properties
assetWriter.outputFileTypeProfile = .mpeg4AppleHLS

assetWriter.preferredOutputSegmentInterval = .indefinite

assetWriter.delegate = myDelegateObject

// Passthrough
let videoInput = AVAssetWriterInput(mediaType: .video, outputSettings: nil)

15:17 - Audio has dependencies

extension AVAssetTrack {
       /* indicates whether this audio track has dependencies (e.g. kAudioFormatMPEGD_USAC) */
    open var hasAudioSampleDependencies: Bool { get }
}

リソース