スマホのカメラ。ハードウェアとソフトウェアの境目に関する一考察

2018年11月17日。iPhone XS Maxではてなブックマークを見ていたら、人気エントリに次の記事が上げられていました。

Google本気スマホ、カメラがエグいと話題――プロの写真家も舌を巻く驚異の機能
「とにかくカメラ機能に感動した」とプロの写真家も舌を巻く理由

この記事を見て、素直に「試してみたい」と思ったものの、GoogleストアのPixel 3のページを見ると95,000円〜と、iPhoneに負けず劣らずの良い価格。

現状ではおいそれと買えるシロモノではありません。

ただ、内容としては素晴らしいモノだったので、Facebookに上記の記事をシェアしました。

特に、写真家 / アーティスト / 教育家 / ドラマトゥルク の Shinya Bさんの意見を伺いたかったのでメンションに入れました。

ありがたいことにすぐにコメントが。

このコメントを読んで、なるほど。と思いました。

iPhone については2016年9月に発売されたiPhone 6s以降、背面のカメラの解像度は1,200万画素で変わっていません。

ハードウェア的にはF2.2からF1.8のレンズになったり、F2.8の望遠レンズの付いたデュアルカメラになったり、手ぶれ補正機能が付いたりという部分もあったりはします。

が、解像度としては1,200万画素のままでずっと来ています。

Androidでは2,000万画素オーバーの機種もザラにありますが、iPhoneは変わっていません。

しかしながら、撮影された画像を見ると、iPhone 6s  (Plus) → iPhone 7 (Plus) → iPhone 8 (Plus) / X → iPhone XS (Max) と新しいモデルの方が良くなっています。

もうちょい言葉で言うなら「表現力が上がっている」「仕上がりがキレイ」とでもいいましょうか。

2,000万画素以上のAndroidスマホよりもキレイだなー。と思う画像も多々あります。

どうして、iPhoneのカメラは1,200万画素のままなのか。

1,200万画素で十分とAppleが考えているからでしょう。

1,200万画素というと、4,032 x 3,024ピクセルといういわゆるアスペクト比4:3で4Kの解像度の画像となります。

それに対して現状でそのままの画像を表示できるのは4K/5K/8Kディスプレイぐらいしかありません。

スマホでは解像度は2K程度がやっとで、実画面の大きさも5インチ、6インチなど全然小さいもののとなります。

むやみに解像度を上げても表示しきれません。ならば4Kで十分だろう?とAppleは考えているんでしょうね。

そのかわり、限られた画面で表示した際にどれだけキレイに見えるか。という表現力を高めることで写真・画像の質を上げよう。というアプローチを取っています。

厚さ数mmで収めなければならないスマホはハードウェア的にレンズを大きくする、よく映るものにする。というのには限界があります。

その限界を超えるのがソフトウェア的な処理により、画像キレイにする方法です。

具体的には、明るさ(絞り)を変えた写真を複数枚撮り合成することで、明るい部分、暗い部分の両方を表現する、AI(人工知能)を使って唐突ではない自然がグラデーション、色を表現する。

などの処理を性能が上がったプロセッサやメモリの力を利用して瞬時に行っています。

iPhone XS / XS Max / XRには、6コアのCPU、4コアのGPU、そして8コアのNeural Engineが搭載されています。

CPU(Central Processing Unit)はスマホ全体の処理を行う部分、GPU(Graphics Processing Unit)は画面表示を行う部分、Neural EngineはAI(人工知能)処理を行う部分です。

このCPU/GPU/Neural Engineの処理能力が向上することにより、細かく何回も画像処理をすることで表現力のある画像に仕上げています。

振り返って、最初に紹介したGoogle Pixel 3のカメラ・画像は、やはり画像は1,220万画素レベルであり、AIによる画像処理で最適でキレイな画像に仕上げています。

AI分野で最先端を行くGoogleが自社製品ということもあり本気で取り組んだのではないか。と思われるレベルのカメラアプリがPlex 3に搭載されていると言えます。

AIの力ならば、iPhoneも処理を行うCPU/GPU/Neural Engineは十分兼ね備えているので、画像処理を行うソフトウェア=アプリが提供されれば同じような画像・写真を撮影することができるのではないかと。

ということで、下記のような返信コメントを書きました。

おそらく、画像処理、AI処理についても特許などがたくさんあって、簡単にアプリが登場することはないかもしれませんが、お手軽にキレイな画像が撮影できるカメラアプリが出てくることを切に願います。

まぁ、撮影している立場、画像を提供する立場としては、アプリ側でガンガンに処理された画像だと、どこに自分の表現、意図を出していくか。というのが難しくなってくるんてすけどね、、、

いずれにしても現状のまま。ということはないと思うので、この先も楽しみにしています!

では、今回はこの辺で。