[-> シンポジウムホームページ | -> home page of the sumposium]
第1回デジタル医用画像の「色」シンポジウム

パネルディスカッション 第1部:パワーユーザーと色処理専門家の連携で拓く新世界

マルチスペクトルカメラを用いた色再現システムの医療応用

山口 雅浩
東京工業大学像情報工学研究施設

The 1st Symposium of the 'Color' of Digital Imaging in Medicine

Panel Discussion Part 1 :
Cooperation of Power Users in Medicine and Specialists of Color Technologies
for Pioneering a New Frontier

Medical Application of a Color Reproduction System
with a Multispectral Camera


Masahiro YAMAGUCHI
Imaging Science & Engineering Laboratory, Tokyo Institute of Technology

Summary
A system for accurate color reproduction in medical imaging under various illuminations were introduced [reference No.1, No.2, No.3]. (1) A multi-channel image of the objects is taken using a multispectral camera, (2) spectral reflectance of the object is deduced from the image using its statistical characteristics, (3) spectral power distribution of the illumination used to take the image is measured, (4) the component of the illumination is removed from the image, then the image is converted with the spectral power distribution of the illumination used for observation to reproduce same colors under it and (5) the image is corrected according to the characteristics of devices used to display it.
Principal component analysis showed spectral reflectance of human skin and mucous membrane can be represented by a fairly small number of principal components [reference No.1, No.2, No.4]. In order to acquire the spectral power distribution of the illumination, instead of using expensive spectrometers, a fairly small number of color patterns taken simultaneously with the object can be used to deduce it [reference No.2]. A data format to record the transmission of multispectral images with information used in these color adjustment processes was proposed (Table 1).

 はじめに
 現在,ネットワークを利用した遠隔医療を用いて僻地医療,医療機関連携,在宅医療等の充実を図ることが期待されている。遠隔医療システムを介しても十分な診察が確保されることは必須であり,各種画像検査機器から提供される画像情報に加えて,患者の状況映像等,カラー画像の色を正確に再現することの必要性はきわめて高い。しかし,現在のカラー画像システムでは,被写体の色を画像として正確に再現することができない。その理由としては,
(1)カラー画像機器の分光感度特性が人間の視覚系と異なること,
(2)機器により特性が異なること,
(3)照明環境による色の違いを正確に補正できないこと等があげられる。
 これに対して,筆者らのグループではマルチスペクトルカメラを用いて被写体の分光特性を計測することで正確な色情報を取得・再現するシステムの開発を行なってきた【1〜3】。また,(財)医療情報システム開発センターにおいて1997〜1998年度に行なわれた「医療における高精細カラー画像の色再現システム」の開発では,医療現場で使いやすいシステムの開発やデータ伝送・保存のためのフォーマットに関する検討が行なわれた。本稿では,現在までに行なわれた開発内容と今後の課題について概説する。

 1.色の入力と再現
 カラー画像の入力に関しては,人間の視覚系の特性にもとづく色度座標値を精度よく入力し,伝送して再現する必要がある。ところが,通常のRGBカラーカメラ等においては,正確な色を取得するための校正が行なわれていないことや,分光感度が人間の視覚系の特性とは異なる等の問題により,正確な色度座標値を得ることができない。
 また,遠隔医療においては被写体となる患者と観察者(医師等)は異なる地点に存在するので,照明環境の違いを考慮する必要がある。人間の視覚系は,周囲の照明環境によって色に対する感度が変化する(色順応)ため,たとえば蛍光灯の下で撮影された画像を白熱灯の下で表示すると,画像全体が青みがかって見えてしまう。一方,被写体を照明する光源の種類が変わった場合被写体の色は変化するが,視覚系の色順応とのバランスによって照明光が変わっても白い物体は白と認識されることになる。
 したがって,色再現においては以下の2種類の方法が必要になる。
(1)対象物体を直接観察した際の色を正確に再現する。
 これは,観察者が撮影側に移動して観察した場合に相当する。
(2)対象物体を観察環境の照明光の下に置いた時に見える色を再現する。
 画像表示装置の周囲の照明環境が物体に対する照明光と異なる時には,視覚系の色順応により,(1)により再現される色は,実際の物体を観察した場合とは異なって見える場合がある。(2)にもとづく色再現を行なうことで,目の前に患者が存在するときの色を正しく表示することが可能になる。
(1)を実現するには,人間の視覚特性にもとづく色度座標値,たとえばXYZ色度値の画像を作成すればよい。このためには,視覚系と同じ分光感度を持つカメラを用いるか,RGBカメラで得られる画像からXYZの画像に変換する。このとき,一般にはRGBからXYZは一意に決まらないので,被写体の分光反射率に関する統計的な性質等を利用すること等が必要になる。
(2)のように被写体を観察環境に置いたときと同じ色を再現するためには,撮影された画像から撮影環境の照明光の成分を取り除き,観察時の照明光の分光強度を乗じることにより,観察環境の照明光の下での色度座標値を求める。このとき,任意のスペクトルを持つ照明光の下での色を求めるには,被写体の分光反射率を精度よく取得する必要がある。具体的には,以下に示す方法が考えられる。
・多バンドのマルチスペクトルカメラを用いて分光画像を取得する。
・被写体の分光反射率に関する統計的な性質を用いて,撮影された画像から分光反射率を推定する。
 被写体の分光反射率の統計的性質としては,皮膚の場合は肌の分光反射率,内視鏡では胃や腸の粘膜の分光反射率,病理組織像の場合には色素の分光透過率等に関する相関関数や基底関数を利用することが考えられる。皮膚【1,2】や粘膜【4】の分光反射率は,比較的少数の基底関数で精度よく記述されることが明らかになっており,これを利用すれば少ないバンド数の画像から正確な色を取得することが可能になる。
 画像出力系に関しては,CRT等のディスプレイの校正が必要であり,最近著しく進展している色管理技術を適用して出力装置の校正を容易に行えることが望まれる。さらに,画像圧縮を行なう場合には,非可逆の圧縮手法では色の正確性が保存される保証がない点にも留意する必要がある。

 2.色再現システム
 分光画像を撮影するために回転フィルタ方式のマルチスペクトルカメラ(オリンパス光学製)を用いるシステム(1),(2)を紹介する。このカメラは,10枚の狭帯域の干渉フィルタを取り付けた円盤を回転させながら画像を撮影することで,10バンドのマルチスペクトル画像を毎秒3フレームで取得することができる。
 まず,マルチスペクトルカメラを用いて被写体の分光画像を撮影するとともに,被写体に対する照明光のスペクトルを計測する。カラー画像を伝送する場合には,状況に応じて2種類の手法を取ることが考えられる。
 (1)観察側の照明環境を特定できる場合
 この場合には,観察側の照明環境のスペクトルを撮影側に予め送っておき,照明光の影響を補正して観察照明環境下での色度座標値の画像を伝送する。このとき,伝送するデータは3バンドの画像と照明光のスペクトルとなり,伝送データ量は従来のカラー画像とほとんど変わらない。
 (2)観察の照明環境を特定できない場合
 複数の相手先に画像を伝送する場合等においては,伝送元で観察照明環境下の色度座標値の画像を作成できない。そこで,取得されたカラー画像情報から任意の照明環境の下で最善の色再現結果を得るために,撮影された画像データに対して,撮影時の照明環境のスペクトルやカメラの特性等の情報を付帯して伝送する。
 観察側では,(2)の場合には観察照明環境スペクトルを用いて画像を変換した後,表示デバイスの特性を補正して画像を表示する。
 ここでは,被写体の分光反射率の統計的性質を利用するために,人間の肌の分光反射率(484サンプル)を分光計により測定し,主成分分析により主成分の寄与率を求めた。その結果,肌の分光反射率は6〜8本の基底関数で精度よく展開でき,最低6〜8バンドの画像を用いれば良好な色再現が可能になることが示された。そして,10バンドのマルチスペクトルカメラを用いて実験を行った結果,人間の視覚系における色弁別閾程度の精度で再現できることが確認された。
 照明光のスペクトルについては,分光計等を用いて計測することも考えられるが,より簡便な方法として色票を用いることも有効である。すなわち,既知の分光反射率を持つ複数枚の色票を撮影した画像から,照明光のスペクトルを含むシステムの伝達特性を推定する。このとき,任意の被写体を対象とすると多数枚の色票が必要になるが,対象物体を限定できるときは物体の統計的性質に応じた比較的少数の色票を用いることでこれを実現できる【2】。たとえば,人間の肌を対象とする場合には,肌の色再現用の色票を対象物体とともに撮影することで,照明光の補正を行って色再現を行なうことが可能になる。さらに,この方法を用いれば,カメラの分光感度が未知の場合に,色票を撮影した画像から校正を行なうこともできる。
 実際の医療現場では,コストや大きさ等の点からマルチスペクトルカメラを使用することが困難な場合,いわゆるデジタルカメラ等を用いて手軽に撮影できることが望まれる。しかし,市販のデジタルカメラの分光感度は人間の視覚系と異なることに加えて,さまざまな画像処理が組み込まれている場合も多く,正しい色再現が保証されない。そこで,カメラの内部処理を色再現用に変更し,色票等を用いた校正方法を適用することにより,デジタルカメラを用いた色再現システムが実現されている。なお,3バンドで得られる色再現精度には限界があることには留意する必要がある。

 3.カラー画像情報の活用
 本色再現システムでは,物体の色を計測することで,異なる照明環境での色再現を実現している。計測された色情報は,単に伝送して再現するだけでなく,保存して色の時間的な変化を調べたり,データベース化して参照画像等として活用され得る。たとえば,時系列的に撮影した画像の色を過去の画像と直接比較することで,皮膚病や血流状態等の経時的な変化を高精度に検知できるようになる。また,病態と色の関係を解明することで,色を用いた病変の定量化や診断支援等に結びつけられる可能性もある。なお,内視鏡画像に関しては,生体粘膜の色と病態の関係を調べることを目的として,経内視鏡分光測光システムを用いた粘膜の分光反射率の計測と解析が行なわれている【5】。
 遠隔医療における色再現や正確な色情報を画像データベース化して活用する等の目的には,画像情報を計測値として活用可能な形式で伝送・保存を行なう必要がある。画像伝送の標準的規格として普及しつつあるDICOMでは,状況映像等の可視光画像のフォーマットにおいても色再現のための付帯情報を伝送すること等は考慮されていない。(財)医療情報システム開発センターにおいて行なわれた「医療における色再現」WGでは,異なる照明光の下での色再現を可能とするための画像データと付帯情報を記述するデータ形式(表1)を作成している。


表1 照明可変画像ファイルフォーマットの概要(一部省略)
Table 1A summarized file format for multispactral images (partially omitted)

ヘッダー
header
ファイルサイズ
file size
画像幅・高さ
width and height of images
画像チャネル数
number of color channels
画素データサイズ
image size in pixel
スペクトル次元数
number of spectral dimensions
スペクトル波長帯域
wavelengths of spectral bands
スペクトル間隔
difference of wavelength between each band
スペクトルデータサイズ
size of spectral data

撮影特性データ
characteristics of data acquisition process
カメラ名
camera name
フィルタ情報
filter specifications
シャッタ速度情報
shutter speeds
レンズ情報
lens specifications
撮影特性データモード
data record modes
撮影照明光スペクトルデータ
spectral power distribution of illumination
マルチチャネル分光感度データ
multi-channel spectral responses
信号値補正係数データ
coefficient for corrections of signal data

被写体特性データ
characteristics of the object
基底関数フラグ
basis function flag
基底関数データ
basis function data
相関行列データ
correlation matrix data

領域コードデータ
field code data
領域コード
contents of data

マルチチャネル画像データ
multi-channel image data
画像データ
contents of data

 おわりに
 本稿では,医療における色再現を実現することを目的としてこれまで行ってきた開発内容を紹介した。今後,カメラやモニタの精度をさらに向上することが期待されるものの,上述の手法を用いることで肌の色を精度よく再現できることが実証されている。
 正確な色の再現に関しては,ネットワーク応用の進展とともに,医療に限らず電子商取引や電子美術館・博物館などのさまざまな目的で必要とされつつある。カラー画像データを共有し,活用を図ってゆくためには,マルチバンド画像と撮像系や照明光の特性等を記述可能なデータ形式の開発や標準化の推進が期待される。

 文献
 References
[1] 長崎,小宮,和田,大山,内川,山口,小尾,栗木:正確な色再現が可能な遠隔医療TVシステム用ソフトウェアの研究開発,創造的ソフトウェア育成事業最終成果発表会論文集,情報処理振興事業協会,229‐232(1998)
[2] M.Yamaguchi, R.Iwama, Y.Ohya, T.Obi, N.Ohyama and Y.Komiya and T.Wada : Natural color reproduction in the television system for telemedicine, Image Display, Medical Imaging '97, Proc. SPIE, 3031, 482-489 (1997)
[3] Y.Ohya, T.Obi, M.Yamaguchi, N.Ohyama and Y.Komiya : Natural Color Reproduction of Human Skin for Telemedicine, Image Display, Medical Imaging '98, Proc. SPIE, 3335, 263-270 (1998)
[4] S.Kitoh, T.Obi, M.Yamaguchi and N.Ohyama : Color measurement of the mucous membrane using sequential endoscopic images, Medical Imaging '97, Proc. SPIE, 3034, 1057-1064 (1997)
[5] 三本木,西澤,小尾,長谷川,山口,大山,小林,田尻,吉田,後野:生体粘膜の分光特性の解析(II),第59回応用物理学会学術講演会講演予稿集,896(1998)