概要
本機能は、SkyWay を使った音声通話を文字起こしする機能です。専用のライブラリを利用してリアルタイムに文字起こし結果を取得できます。
Freeプランをご利用の場合は、SkyWayコンソールのプロジェクト詳細からお申し込みいただくことでご利用いただけます。
文字起こしを行う際には、エンドユーザーへの説明および同意取得が必要です。詳しくはSkyWay 利用規約 第 36 条 「文字起こし機能の取扱い」をご確認ください。
主な特徴
- リアルタイム：音声ストリームを話の区切りごとに文字起こしし、結果を低遅延で順次取得できます
- 発言者の識別：文字起こし結果には発言者の情報が紐付けられるため、誰の発言かを識別できます
- 翻訳機能：指定した言語の文字起こし結果とその翻訳結果を取得できます
- アーカイブ機能：文字起こし終了後に、セッション内の文字起こし結果を JSONL ファイルとしてクラウドストレージに保存できます
例えば以下のようなシーンでご活用いただけます。
- 会議の議事録：発言者を識別して議事録を記録・表示
- 遠隔接客：外国人との接客で互いの発言を翻訳
文字起こし機能の全体像
- お客様サーバーから SkyWay Speech to Text API で文字起こしの開始・終了を行います。
- お客様アプリケーションから SDK を使って SFU に音声データを Publish すると、STT サーバーで文字起こし処理が実行されます。
- 文字起こし結果は SkyWay Speech to Text Client （以下、STT Client）を使って取得できるほか、アーカイブ機能を利用して指定したクラウドストレージに保存できます。
対応している通信方式
文字起こし機能は、メディアデータが SFU を経由する通信方式に対応しています。
P2P Room での通話を文字起こしする場合は、同時に文字起こし用の SFU Room を利用する必要があります。 この時、文字起こしのためのオプション指定を行うことで、SFU 通信料、および SFU リソース確保料を 0 にすることができます。 詳しい方法についてはP2P での通話内容を文字起こしする方法を参照してください。
STT Client
クライアントアプリで文字起こし結果を取得するために必要なライブラリです。
- JavaScript: GitHub skyway-stt-client-js
AndroidやiOSなど他のプラットフォームの対応は、今後ご要望をもとに順次拡大する予定です。
モード
文字起こし機能には TRANSCRIPTION モードと、TRANSLATION モードがあります。
TRANSCRIPTION モード
自動判定した言語、または指定した言語で文字起こしを行います。指定できる言語は最大20言語です。 言語を指定しない場合は、音声から言語を自動判定して文字起こしを行います。
TRANSLATION モード
通話の言語と翻訳したい言語の2つを指定することで、文字起こし結果とその翻訳結果を同時に取得することができます。 例えば日本語と英語を指定した場合、日本語の音声については日本語での文字起こし結果と英語への翻訳結果が、英語の音声については英語での文字起こし結果と日本語への翻訳結果が取得できます。
各モードでサポートしている言語はサポート言語を参照してください。
ノイズキャンセリングとの併用
文字起こしの処理は、音声が無音になったタイミングで開始されます。 周囲の環境音を拾うと、発言していない時間が無音区間として検知されず、次のような事象が発生する場合があります。
- 文字起こし結果が出力されるまでに時間がかかる
- 環境音を含む音声区間が課金対象になる
このような場合は、ノイズキャンセリングを併用することで環境音を抑え、無音区間の検知精度を向上させることができます。
デモ
任意の Room 名と Member 名を入力して Room に入室し、Start transcription/translation ボタンをクリックすることで音声通話の文字起こしを体験できます。
