研究紹介/Research introduction

研究テーマ/Research theme

マルチメディアデータを処理する集積回路を用いて開発するシステムの研究です．

超並列モバイルプロセッサ，及び連想メモリベース超並列モバイルプロセッサによるアプリケーション処理
Matrix processing engine and content addressable memory-based matrix processing engine

最大2,048並列のデータ処理能力を誇るモバイル機器向けLSIマトリックス型超並列プロセッサの開発とその応用を行っている． これは，SRAMで小規模な演算器を挟み込んで超並列に処理を行うものであり， これまで，画像圧縮，誤り訂正，顔検出，及び暗号化等を実装し，その効果を確認した．
A massive-parallel memory-embedded SIMD matrix processor is presented for multimedia data processing. This processor can have up to 2,048 2-bit processing elements, which are connected by a flexible switching network, and supports 2-bit 2,048-way bit-serial and word-parallel operations with a single command. The SIMD matrix architectures are verified to be a better alternative for processing repeated-arithmetic and logical-operations in multimedia applications with low power consumption. The massive-parallel memory-embedded SIMD matrix architecture is therefore a promising solution for integrated realization of real-time algorithms with low power dissipation and small Si-area consumption. Furthermore, content addressable memory (CAM)-based massive-parallel SIMD matrix arichtecture is developed for aiming effective processing table-lookup and repeated operation.

近年，機械学習をはじめとして動画像処理等，モバイル機器上でも大規模なデータを取り扱う ニーズが高まっている． 本研究は，連想メモリをベースとして，超並列に処理を行う事が可能なプロセッシングアーキテクチャを 開発している．このアーキテクチャは，2つの連想メモリで並列に並んだ小規模の演算器を挟み込み， マスク検索を行う事で，並列にデータを読みだして処理を行う．また，連想メモリの検索機能も活かすことが可能であり， 繰り返し演算処理とテーブルルックアップ処理で構成されたマルチメディアアプリケーションを効率よく処理することが可能である．
Recently, several multimedia applications, such as digital image compression, digital video compression, and digital audio processing, are executed on the mobile devices. The processing core in the mobile device requires high performance and programmability. Generally, multimedia applications consist of repeated arithmetic operation and table-lookup coding operation. To improve the processing speed of the both operations on a processing core, Content Addressable Memory-based massive-parallel SIMD matrix core (CAMX) is proposed. The role of CAMX is an accelerator for mobile CPU core. CAMX has highly parallel processing capability and is configured by two CAM modules which are used in fast tablelookup operation.

LED照明とスマホカメラの連携による盗撮防止システムの開発
LED-based spy-photo prevention system

本研究の目的は，スマートフォン (スマホ)等のカメラ付き携帯端末の普及に伴い問題となってきている， 盗撮行為やデジタル万引き，そしてバイトテロ等の犯罪行為を可視光調光とモバイル画像技術を用いて防止する事である． 盗撮等の行為が行われる可能性のある屋内にあるLED照明から特殊な調光信号を発生させ，犯罪防止空間を構築する． そして盗撮行為時にカメラ内部の画像処理で可視光信号を検知したならば，撮影機能が停止される仕組みである． 可視光信号はスペックの低いスマホ内蔵カメラでも受信できる新しい調光方式とする． 受信側のスマホは当初ソフトウェアによる信号検出による． 実験データを蓄積し必要性を世間に周知し，スマホに本機能を回路として組込む実験も行う． また，LED照明のみを用いた撮影妨害方式や歩きスマホ，ながらスマホ防止への応用も研究する．
Various crimes can be committed by using cameraembedded mobile device. In particular, spy photo and digital shoplifting are increasing rapidly. No direct countermeasures have been taken against these crimes, so potential victims have to prevent these crimes themselves. To overcome these problems, this research proposes a crime prevention method called Spy photo Prevention System (SPS) that uses an LED visible light beacon to prevent a camera from taking photos. SPS generates several beacons by changing the brightness intensity of an LED light bulb. After the camera receives this beacon, the proposed system forces the camera function to stop automatically. A prototype of SPS is constructed to demonstrate the system. Since the transmitter is to transmit light in public places, this transmitter must not transmit a beacon that discomforts people’s eyes. The receiver is used in a smartphone camera and has programs to control the camera and receive the beacon.

LEDを用いてスマホカメラを介して情報を視認できる読む照明の開発
Development of invisible information lighting display

人の目には通常の照明ながら，スマートフォン等のCMOSイメージセンサを介して照明を見ると， 文字や絵などの情報を視認できるシステムを開発している． 我々はこれをステゴパネルと名付けた．ステゴとはステガノグラフィーのことであり，特定の人物に情報を 提供するという意味である． これを用いることでLED照明に新たな価値を付加することが可能となり，エンタメや災害時に用いることを想定している．
This research introduces the development of LED-based display Stego-panel. While this prototype system can show several characters and patterns through a CMOS image sensor on smartphones by using a custom prototype LED board and dedicated software, displayed-information is imperceptible to human eyes. Thus, Stego-panel can use interior illumination and also transmit several messages to specific persons, who have a smartphone. In live demonstration, we can show LED-based Stego-panel and practical values for many visitors.

LSIテロリストにより組込まれる悪意のある回路とその対策回路の研究
Hardware Trojan detection system

LSI開発におけるグローバリゼーションに伴い懸念されているのが，ハードウェアトロイと呼ばれる回路である． この回路は開発者の意図しない機能を持つものであり，悪意ある第三者によって仕込まれる． そして発症条件が揃うと，隠された機能が活性化し，様々な被害を及ぼす． 研究では，ハードウェアトロイの概要について調査するとともに，開発した検証用ボードを用いて実際の ハードウェアトロイの実装している． これまで，トリプルDESとAES暗号化回路に仕込んだハードウェアトロイを検証した． また，ハードウェアトロイ対策のための回路を研究している．
In recent years, several researches for hardware Trojan and its detecting method are becoming to active rapidly. The hardware Trojan is implanted as hardware modification to conventional LSIs. After a trigger, which is an activate signal to satisfy event condition occurs, hardware Trojan-implanted chips are modified the original function to enable an adversary to control, monitor, communication and so on. Thus, an adversary can disable or destroy a system, or the Trojan can leak confidential information and secret keys convertly to the adversary. In this research, recent researches for hardware Trojan are introduced in detail. A verification board, which can execute the ARM-based SOC processing, is developed with a CPU and a FPGA. Especially, a hardware Trojan, which is implanted the cryptographic triple DES and AES circuits, is implemented in a Xilinx FPGA and is able to leak plain text and a secret-key after encrypting processing.

プライバシー保護のための階層式画像マスキングシステム
Hierarchical masked image filtering technology on security-camera privacy protection

近年，監視カメラの普及に伴い個人情報保護の観点から配慮が必要となっている． そこで映像中の顔情報等を検出し，要求に応じて強度や取り外しの制御が可能なマスク処理技術を開発し， 組込み機器を利用した監視カメラデモシステムを開発している．
This research presents a hierarchical-masked image filtering method to ensure privacy-protection. Cameras are widely used for various applications, e.g., crime surveillance, environment monitoring, and marketing. However, invasion of privacy has become a serious social problem, especially with the use of surveillance cameras. Several current surveillance cameras on the market and related research often have a complicated or institutional masking privacy-protection function. The novel proposed Hierarchical-Masked image Filtering (HMF), which has an unmaskable (mask reversal is possible) capability and is applicable to existing surveillance camera systems for privacy-information protection, can satisfy privacy-protection related requirements. This method has five main features: unmasking of the original image from only the masked image and a cipher key, hierarchical-mask level control via using parameters for the length of a pseudorandom number, robustness against malicious attackers, fast processing on an embedded processor, and applicability of mask operation to existing surveillance camera systems. Furthermore, for verifying the HMF-based mechanism operation on actual equipment, a prototype system is developed that mainly consists of an USB web camera, an ultra-compact single board computer, a notebook PC, etc.

組込み機器向け高速，高画質，高耐性電子透かし方式
Max-plus algebra-based morphological wavelet transform watermarking

近年モバイル機器で処理されるデジタルコンテンツは，リアルタイム処理だけでなく， 著作権保護のための技術が強く求められる様になっている． このため，高速処理に加えて，透かし情報を埋め込んだ際にも画質の劣化が少なく， データ圧縮等の攻撃に耐性のあるマックスプラス代数系に基づくモルフォロジカルウェーブレット変換を 利用した電子透かし手法を提案している．著作権等のデータの埋め込みに周波数係数の相対値を利用することで， 高画質，切り取り耐性，及び高圧縮耐性を実現した．今後は動画等へ展開する．
This research reports on the image compression tolerability and high implementability of a novel proposed watermarking method that uses a morphological wavelet transform based on max-plus algebra. This algorithm is suitable for embedded low-power processors in mobile devices. For objective and unified evaluation of the capability of the proposed watermarking algorithm, we focus attention on a watermarking contes by the IHC, which belongs to the IEICE and investigate the image quality and tolerance against JPEG compression attack. Therefore, the proposed watermarking algorithm can satisfy all claims of the watermarking contest and is a very effective watermarking technology. Our proposed watermarking establishes a certified watermarking method for the competition for watermarking algorithm presented by the IHC. As a result, the proposed watermarking method achieves effective processing capability for mobile processors.

画像の構成パターンを利用した改ざん検知手法
Morphological pattern spectrum based image-manipulation detection

デジタルデータの普及に伴い，画像の真正性を保証する必要性が生じてきている． そこで画像の構造をモルフォロジカルパターンスペクトラムを用いて解析し， そのデータを暗号化して真正性を保証する技術を開発している． 提案手法は，人間が改ざんを検知するのと同様に，回転や圧縮を改ざんとみなさず 故意に行われた画像の操作を検知する事ができる．
This research presents a morphological pattern spectrum-based image manipulation detection method. The novel method consists of using a mathematical morphological-based algorithm to extract pictorial feature information} from an original digital image and a block-cipher algorithm to protect the extracted-pictorial information. This will be useful in situations where it is important to find evidence of specific events such as in the investigations of crimes.

赤外線カメラと可視光カメラを組み合わせた超低消費電力センサノードの開発
Green Smart Secure Eyes (GSSE)

ビッグデータ処理の普及とともに，カメラで撮影する画像は多くの情報を含んでいるために必要性が増すと考えられている． しかしその処理には多く電力を要するため，間歇動作を行いて低消費電力処理を行う，赤外線カメラ， 及び可視光カメラを搭載したセンサノードを開発している． 現在はマイコン搭載ボードでプロトタイプの開発，及びASIC設計まで進んでおり， 今後は間歇アルゴリズムの精度向上とハードウェア化を進め，車載に対応できる精度を持たせていく．
Many kinds of environmental information will be collected by sensor nodes in the Big Data era. Conventional sensor nodes gathering numerical information such as temperature, humidity, or illumination intensity can be operated for a period of between a few months and two years by small cell batteries. On the other hand, image sensors capturing human images for surveillance are known to consume larger amounts of power than ordinary sensor devices; therefore they are unsuitable for long-term operation using small batteries. When an optical image sensor is powered by two AA batteries, it operates only one day. This research have proposed a novel sensor node called Green Smart Secure Eyes (GSSE), which is composed of an IR array sensor and optical image sensor. In the GSSE, to save power, the optical image sensor is only powered on when an event is detected by the IR array sensor. System control and event detection is carried out by the Micro Controller Unit (MCU).

マルチポート連想メモリの開発とその応用
Flexible Multi-ported Content Addressable Memory (FMCAM)

一致検索は認識やルーティングに重要な処理であり，連想メモリ (CAM)というLSIが利用されている． しかし，コストや消費電力の大きさ等，解決すべき問題も多い．そこで他研究に先駆け，連想メモリの多ポート化に着目， 動作周波数の低下やコストの増加を抑えた多並列検索処理を実現する多ポート連想メモリを研究開発している．
CAM (Content Addressable Memory) is expected as an attractive device because of its fast comparison process compared with software or other hardware devices. However CAM cannot be a major device because it requires so many comparators to speed up its comparison process and its high cost. For overcoming these problems, this paper presents an architecture of Flexible Multi-port Content Addressable Memory (FMCAM) which has multiple ports and exible functions. This device has two representative new points in its architecture, the use of classification category and a ring counter. The former point contributes the reduction of the number of comparators without the increase of its processing speed. While the latter point contributes to avoid a synchronization problem of ports in comparison process and obtains higher throughput.

個性処理に利用できる3値連想メモリの開発
Ternary content addressable memory with individuality (ITCAM)

我々の日常生活において，ロボットの果たす役割が重要になってきている． とりわけ，人のパートナーとなるヒューマノイド型のロボットは将来大きな地位を占めるものと予想され， その技術開発が急務である．現在のロボットは，入力に対する反応が一様である． もしくはソフトウェア的に擬似乱数を発生させ動きに幅を持たせている． これに対して，本研究では人間の個性が生まれながらにして備わっているように， ロボット製造時のチップばらつきを利用して，個体毎に異なる連想処理を行うためのLSIを開発している． これは3値連想メモリをベースとしたものであり，チップ毎のばらつきで検索距離に差異が生じることを利用して， ロボットの連想処理に個性を与えている．
This research presents a Ternary Content Addressable Memory with Individuality (ITCAM), which has individuality for data retrieval that is caused by the manufacturing variations of each LSI. The results of the maskable search by the ITCAM are different for each LSI. The ITCAM was implemented on three FPGA evaluation boards and tested in practice. The evaluation results showed that the data retrieval for each LSI is a little different due to the manufacturing variations. Thus, the ITCAM is a promising robotics solution for providing a little individual difference to each LSI.

間歇動作を利用した低消費電力バイオロギングデバイスの開発
Intermittent operation-based sensor node for Bio-logging

バイオロギングは，対象となる生物に小型のデータロガーを取り付け，その生態を探る研究である．動物の様々な生態を探るためには，小型，かつバッテリによる長時間駆動が重要となる．本研究は，超小型コンピュータにセンサ類，カメラ，及びGPSを取り付け，間歇動作をさせて長時間駆動を実現させる．対象動物はイシガメである．動物実験計画，及び保管施設審査済み．
Bio-logging device can see the ecology of creatures. Small size and low power comsunption are very important factors for investigating several creature ecologies. This research develops low power comsunption device, which has several sensors, GPS and camera, by using intermittent opearation. Target creature is the ISHIGAME, which is Japanese common turtle. Creature experimentation plan is approved by the examination committee.

無線機器のばらつきから生じる電波指紋の識別
Identification of radio fingerprinting by using radio equipment with variation

特定電波源識別技術とは，無線機器のばらつきによって生じる， 電波に含まれる意図しない変調成分等を無線通信機器の個体に固有の特徴とみなし，無線通信機器の個体を特定する技術である． 機器が発する電波の特徴をデータベースと照合することによって不正な機器の 利用を検知することにより，セキュリティをより強固にできる． この技術は我が国では，あまり研究が進んでいない． そのため本研究では特定電波源識別技術の確立を目的とする． 無線電波の振幅と位相の時間的変化を算出，複数の機器間で相互比較を行い，それぞれに固有の特徴を捉えることができた． また識別には機械学習 (AI)も用いることで精度を向上させる．
This research is shown that the specific emitter identification (SEI) technology may lead to further enhancement of information security measures. The SEI is a technology for finding specific feature comprised in the radio wave transmitted by an wireless communications equipment, caused by unintentional modulation and identifying an individual equipment. Using the specific feature, the usage of an unauthorized equipment can be detected by looking up databases and the information security can be more improved. The SEI technology has not yet made much progress in our country. Thus, we study a SEI method as a basic validation for establishing SEI technology. As a result specific features unique to individuals are captured and apparent specific features are observed in phase characteristics and amplitude. Futhermore, Artificial Intelligence (AI) technology is applied to classify several radio waves.

1/fゆらぎを利用した超音波やLED照明による植物生育
1/f fluctuation-based ultrasonic wave and LED lighting system for plants growth

植物工場は，安全な野菜が安定して供給できる事から注目を浴びている．従来はレタスが主流であったが，品種も多くなり，我が国における食物生産に大きな役割を果たすことが期待されている．しかし，照明，空調等の運用コストが大きいことが問題であり，現在は採算を取ることが困難である．本研究は，植物工場の照明に対して開発した制御装置を取り付ける．これまでの照明は，固定発光させるだけであったが，本提案は1/fゆらぎを主とした調光を与え，より自然に近い環境を構築，植物の生育を促進させる．または，超音波発生装置を用意し，それを野菜に対して放射する．そして早期の収穫を実現し収穫量を増やすと共に，電力の低減を実現する．また，野菜の種類や生育にあわせた柔軟制御を行い，高い歩留まりを実現する．
Conventional hydroponic plant factories employ LED panels for light source, which works fix luminescence. In this research, use of 1/f fluctuation algorithm to create ultrasonic wave and LED pulses has been proposed for hydroponics to grow vegetable efficiently. Furthermore, this method can reduce power consumption in factories.

野菜製造と魚養殖を両立する自動アクアポニクスシステムの開発
Development of automatic breeding system for prototype aquaponics system

アクアポニクスは水耕栽培と魚類の養殖を両立する食物生産システムである．魚類の排せつ物がバクテリアで分解されて野菜の栄養となる． また，野菜が水を浄化して魚類の飼育水となる．本研究はこのシステムを自動化して，有機栽培等，野菜に付加価値を持たせつつ 魚の大型化も目指す．
Aquaponics is defined as a combination of hydroponics and aquaculture. It is an environmentally friendly food production technology and can grow fish and plants together. Furthermore, water is continuously recirculated through this system as in a natural world. This technology has big potential to solve both environ- mental and food problems. The purpose of this research is to introduces the basis for constructing an aquapon- ics system and to develop automatic monitoring system. Monitoring system can automatically sense the environ- ment and conditions in aquaponics at any time. If several abnormal conditions are detected, notification is needed to be sent to the administrator.