JP-2026076677-A - 音楽処理装置及び音楽処理アプリケーション

JP2026076677AJP 2026076677 AJP2026076677 AJP 2026076677AJP-2026076677-A

Abstract

【課題】音楽会場で発生する音楽の第１所定時点以降における展開に応じた演出を支援することの可能な音楽処理装置を提供する。【解決手段】音楽データを取得して処理を実行するプロセッサ１７を有する音楽処理装置１１であって、プロセッサ１７は、音楽の音楽データを第１所定時点から取得するデータ取得処理と、取得した音楽データを処理することにより、第１所定時点より後の推測対象時点に音楽会場で発生する音楽の特徴を推測する推測処理ステップと、推測処理ステップで得られた音楽の特徴の推測結果を、音楽の特徴に応じて人間が認識可能な演出を選択する演出処理装置１２へ提供する提供処理と、を実行する構成である。【選択図】図１

Inventors

林件頼
中野雄太

Assignees

株式会社raw
西性大輝

Dates

Publication Date: 20260512
Application Date: 20241024

Claims (7)

音楽データを取得して処理を実行するプロセッサを有する音楽処理装置であって、前記プロセッサは、音楽の音楽データを第１所定時点から取得するデータ取得処理と、取得した音楽データを処理することにより、前記第１所定時点より後の推測対象時点に音楽会場で発生する音楽の特徴を推測する推測処理ステップと、前記推測処理ステップで得られた音楽の特徴の推測結果を、音楽の特徴に応じて人間が認識可能な演出を選択する演出処理装置へ提供する提供処理と、を実行する構成である、音楽処理装置。
請求項１記載の音楽処理装置であって、前記プロセッサが推測する音楽の特徴は、無音であるか否か、パート判別、楽器の種類、曲調、音楽が表現する人間の感情、のうち何れか１つ以上の項目を含む、音楽処理装置。
請求項１記載の音楽処理装置であって、前記プロセッサが実行する推測処理は、取得した音楽データを処理する第１処理と、前記第１処理より後に行われ、かつ、取得した音楽データを処理する第２処理と、を含み、前記プロセッサが実行する前記第１処理は、前記第１所定時点から前記推測対象時点に至る合計所定時間の範囲の時間軸方向の位置が異なる複数の分析用データのそれぞれについて、推測対象時点における音楽の特徴を推定する学習済みモデルを生成する処理を含む、音楽処理装置。
請求項３記載の音楽処理装置であって、前記プロセッサが実行する前記第２処理は、前記第１所定時点から、前記第１所定時点と前記推測対象時点との間の第２所定時点までの間における音楽データの特徴と、前記学習済みモデルとを比較することにより、前記推測対象時点に音楽会場で発生する音楽の特徴を推測する処理を含む、音楽処理装置。
請求項３記載の音楽処理装置であって、前記プロセッサが実行する前記第１処理は、前記第１所定時点から所定時間に亘って無音の音楽データを付加して学習済みモデルを生成する処理を含む、音楽処理装置。
請求項３記載の音楽処理装置であって、前記プロセッサが実行する前記推測処理は、前記第１所定時点より後であり、かつ、前記推測対象時点より前の第２所定時点において、前記音楽の特徴を推測する処理を含み、前記第２所定時点から前記推測対象時点までの所定時間は、前記演出処理装置が、音楽の特徴の推測結果を取得する時点から、音楽の特徴に応じて人間が認識可能な演出を選択する時点までのタイムラグに相当する時間である、音楽処理装置。
音楽データを取得するコンピュータに処理を実行させる非一時的な音楽処理アプリケーションであって、前記コンピュータに、音楽の音楽データを所定時点から取得するデータ取得処理と、取得した音楽データを処理することにより、前記所定時点より後の第１時点に音楽会場で発生する音楽の特徴を推測する推測処理ステップと、前記推測処理ステップで得られた音楽の特徴の推測結果を、音楽の特徴に応じて人間が認識可能な演出を選択する演出処理装置へ提供する提供処理と、を実行させる構成である、音楽処理アプリケーション。

Description

本開示は、演奏される音楽の音楽データを処理する音楽処理装置及び音楽処理アプリケーションに関する。演奏される音楽の音楽データを処理する音楽処理装置（音楽画像出力装置）及び音楽処理アプリケーション（プログラム）の一例が、特許文献１に記載されている。特許文献１に記載されている音楽画像出力装置は、音楽が格納される音楽格納部と、音楽の出力指示を受け付ける出力指示受付部と、出力指示に応じて、音楽を出力する音楽出力部と、音楽の分析結果に基づく１以上の属性値を取得する属性値取得部と、１以上の属性値を用いて、画像を取得する画像取得部と、画像を出力する画像出力部とを具備する。また、特許文献１において、コンピュータがアクセス可能な記録媒体は、「音楽が格納される音楽格納部を具備し、前記コンピュータを、音楽が格納される音楽格納部と、音楽の出力指示を受け付ける出力指示受付部と、前記出力指示に応じて、前記音楽を出力する音楽出力部と、前記音楽の分析結果に基づく１以上の属性値を取得する属性値取得部と、前記１以上の属性値を用いて、画像を取得する画像取得部と、前記画像を出力する画像出力部として機能させるためのプログラム。」が記載されている。さらに、特許文献１には、「属性値取得部は、音楽の分析結果に基づく１以上の属性値を取得する。また、音楽の分析とは、例えば、音の分析でもよいし、歌詞の分析でもよい。音楽の分析は、音および歌詞の両方の分析であることは好適である。音の分析とは、例えば、音の特徴量を取得することであってもよい。特徴量とは、例えば、音の波形における振幅の変化、音の波形を構成する周波数成分の変化などである。特徴量は、例えば、音響特徴量ベクトルで表現されてもよい。音響特徴量ベクトルとは、振幅の変化、周波数成分の変化といった２以上の特徴量を成分とするベクトルである。ただし、特徴量の表現形式は問わない。」と記載されている。さらに、特許文献１には、「歌詞の分析とは、例えば、深層学習やＳＶＭや決定木等の機械学習、形態素解析等を用いた自然言語処理によって、歌詞から自立語を取得することであってもよい。・・・表面的画面を特定する情報は、例えば、「海岸」、「花火」、「クリスマス」、「卒業式」などの用語である。また、内面的場面とは、ユーザの内面に関する場面であり、主観的場面といってもよい。」と記載されている。さらに、特許文献１には、「内面的場面を特定する情報は、例えば、「デート」、「恋人」、「緊張」、「リラックス」などの用語である。印象とは、ユーザの抱く印象である。印象を特定する情報は、例えば、「嬉しい」、「悲しい」、「寂しい」、「楽しい」などの用語である。・・・そして、属性値取得部は、例えば、格納部の学習情報を用いて、歌詞を構成する文章または当該文章を形態素解析し取得された文章のベクトルを、用語ごとの学習情報に適用し、各用語に対応するか否かを判断し、対応すると判断された１以上の用語を属性値として取得する。」と記載されている。さらに、特許文献１には、「かかる構成により、音楽の出力中に、当該音楽に応じた画像を出力できる。」と記載されている。特開２０１８－１３６３６３号公報音楽処理装置を含むシステムの具体例１を示す模式図である。システム全体で実行される処理例を示すフローチャートである。図３（Ａ）は、表示装置に表示される画面の一例を示す模式図、図３（Ｂ）は、音楽データのクリッピング処理例を示す図である。図４（Ａ）及び図４（Ｂ）は、学習済みモデルの生成例を示す図である。図５（Ａ）及び図５（Ｂ）は、学習済みモデルの生成例を示す図である。図６（Ａ）及び図６（Ｂ）は、学習済みモデルの生成例を示す図である。図７（Ａ）は、音楽処理装置を含むシステムの具体例２を示す模式図、図７（Ｂ）は、音楽処理装置を含むシステムの具体例３を示す模式図である。（概要）システムは、音楽処理装置及び演出処理装置を有し、音楽処理装置は、演奏会場で演奏される音楽の音楽データを処理する。音楽処理装置は、音楽に対応する演出を行なうために必要な情報を生成し、演出処理装置に対し、リアルタイム、かつ、自動的に提供する構成である。また、本実施形態には、システム及び音楽処理装置のいくつかの具体例、及び音楽処理アプリケーションのいくつかの具体例が、図面を参照して開示されている。（具体例１）（１）全体構成図１のように、システム１０は、音楽処理装置１１及び演出処理装置１２を有する。図１に示す具体例１は、音楽処理装置１１及び演出処理装置１２が演奏会場Ａ１へ配置されている例である。演奏会場Ａ１には、音楽の生演奏を聴覚で認識する人間（聴衆）が居る。音楽処理装置１１は、ネットワーク１３へ通信可能に接続されている。また、音楽処理装置１１は、ネットワーク１５を介して演出処理装置１２へ通信可能に接続されている。マイクロフォン１４は、音楽の演奏会場Ａ１に設けられる機器である。マイクロフォン１４は、演奏会場Ａ１で実際に演奏される音楽の音を取得し、かつ、電気信号に変換して出力する。演奏会場Ａ１は、コンサートホール、音楽スタジオ、多目的ホール、公会堂、体育館、野外劇場、等のうちの何れであってもよい。演奏会場Ａ１で演奏される音楽の音源１６は、人間（歌手）、楽器を含む。楽器は、通常楽器、電子楽器の何れであってもよい。通常楽器は、機械的な振動部分を備える楽器である。電子楽器は、機械的な振動部分を備えておらず、電子回路による発振音を用いる楽器である。さらに、演奏会場Ａ１にコンピュータ６２が設けられており、コンピュータ６２のスピーカ６２Ａで音楽が再生される構成でもよい。コンピュータ６２のスピーカ６２Ａで再生した演奏の音楽データは、ループバック機能によりコンピュータ６２へ戻され、戻された音楽データが、マイクロフォン１４を経由せずにネットワーク１３を経由して音楽処理装置１１へ送られる。なお、音楽処理装置１１で取り扱われる音楽のジャンルは、ポップス、ロック、ダンス、ラテン、クラシック、行進曲、声楽、邦楽、等のうちの何れであってもよい。ネットワーク１３，１５は、無線通信システムまたは有線通信システムのうち、１以上の通信システムによりそれぞれ構成される。無線通信システムは、電波通信、光通信、赤外線通信、ラジオ波通信、衛星通信、等を含む。有線通信システムは、通信回路、通信ケーブル、アンテナ、を含む。ネットワークは、インターネット、イントラネット、ワイドエリアネットワーク、イントラネットのうち、１以上のネットワークを含む。ネットワーク１３，１５は、近距離無線通信を含む。近距離無線通信は、例えば、無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標））、ブルートゥース（登録商標）を含む。音楽処理装置１１は、ネットワーク１３を通して音楽を取得し、かつ、各種の処理を実行することができる。音楽処理装置１１は、演奏会場Ａ１で演奏または再生される音楽に合わせて、演出設備５０で演出を行なうための前処理を実行する。演出処理装置１２は、演出設備５０で実行する演出を、音楽処理装置１１から取得した推測結果に基づいて、自動的に選択及び管理する構成である。演出設備５０は、演奏会場Ａ１で演奏または再生される音楽に合わせて、リアルタイムで演出を実行する構成である。演出設備５０が実行する演出内容は、人間（聴衆）が視覚、触覚、嗅覚、等で認識可能なものである。（２）音楽処理装置の構成音楽処理装置１１は、本体（ケーシング）、プロセッサ１７、主メモリ１８、補助メモリ１９、操作装置２０、表示装置２１、通信装置２２等を備えたコンピュータである。プロセッサ１７は、本体の内部に設けられ、かつ、演算装置（演算回路）と制御装置（制御回路）とが統合された中央演算処理装置（ＣＰＵ（Central Processing Unit））により構成されている。プロセッサ１７は、バス２３を介して主メモリ１８、補助メモリ１９、操作装置２０、表示装置２１、通信装置２２等へ通信可能に接続されている。プロセッサ１７は、本体の内部に設けられた他の装置及び回路、本体の外部に設けられた装置及び回路を包括して制御する。また、プロセッサ１７は、中央演算処理装置に加え、デジタルシグナルプロセッサ、特定用途向け集積回路（ASIC: Application Specific Integrated Circuit）、ＧＰＵ等の演算処理回路を有している。ＧＰＵとは、（Graphics Processing Unit）の略であり、ＧＰＵは、３次元グラフィックの画像処理、等を行う際に必要な演算処理を行うグラフィックコントローラである。また、ＧＰＵは、音楽データの処理及び分析の段階において、音響モデルの構築を行なう機械学習、具体的には、ディープラーニングを実行する構成を有する。プロセッサ１７は、補助メモリ１９に記憶されている非一時的なアプリケーションを動作させることにより、各種の処理を実行する。プロセッサ１７が実行する処理は、プロセッサ１７内で行う処理自体、判断、分析、推測、他の要素に対する制御及び指示、他の要素からの情報及び信号の取得、補助メモリ１９への情報の記憶処理、等を含む。主メモリ１８は、揮発性の記憶装置であり、主メモリ１８は、プロセッサ１７が処理を実行する場合に、ワーク領域及びバッファ領域として機能する。補助メモリ１９は、不揮発性の記憶装置、つまり、非一時的な記憶媒体である。補助メモリ１９には、非一時的なアプリケーションが記憶されている。アプリケーションは、プログラム、設定ファイル、データを保管するファイル、各種ライブラリ等を含む。また、補助メモリ１９には、プロセッサ１７が各種の処理を実行するために用いる各種の情報、プロセッサ１７が各種の処理を実行した結果としての各種の情報、等が記憶される。補助メモリ１９に記憶される各種の情報は、ここで、各種の情報は、情報自体、データ、グラフ、マップ、図表、等を含む。補助メモリ１９は、主メモリ１８より大容量であり、補助メモリ１９は、プロセッサ１７による入力命令及び出力命令により動作する。非一時的な記憶媒体である補助メモリ１９は、例えば、磁気ディスク、光ディスク、フラッシュメモリ、等により構成される。磁気ディスクとしては、ハードディスクドライブが例示される。光ディスクとしては、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、等が例示される。フラッシュメモリは、半導体メモリの一種であり、フラッシュメモリとしては、ＳＤメモリーカード、ＵＳＢフラッシュドライブ、ソリッドステートドライブ、等が例示される。補助メモリ１９に含まれる１以上の要素は、本体へ取り付け及び取り外しができる記憶媒体１９Ａとして定義可能である。操作装置２０は、音楽処理装置１１を利用する“音楽処理管理者”により操作される。操作装置２０は、音楽処理装置１１の動作及び停止を切り替える場合、プロセッサ１７で各種の処理を実行させる場合、表示装置２１で情報を表示させる場合、ネットワーク１３を介して音楽データを含む信号を取得する場合、演出処理装置１２へ情報を送る場合、等において操作される。操作装置２０は、例えば、キーボード、タッチパッド、マウス、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ、等のうち、少なくとも何れか１つの要素を含む。これらの要素は、音楽処理装置１１が、携帯型コンピュータであるか固定型コンピュータであるかにより、適宜、選択され、かつ、本体への取り付け構造が、適宜、選択される。つまり、操作装置２０は、本体へ直接に取り付けられる構造、または、本体へケーブルを介して接続される構造を有する。表示装置２１は、本体へ直接に取り付けられるか、または、本体へケーブルを介して接続される。表示装置２１は、“音楽処理管理者”により目視されるディスプレイであり、ディスプレイは、液晶ディスプレイ、有機エレクトロ