研究室で、洪水・積雪・雪崩・鳥獣被害・空家倒壊を遠隔観察できる装置を開発しました。現在は3,000～4,000キロ離れた場所の測定でとどまっていますが、スマホの電波が届く場所ならば、地球の裏側でも観察することができます。遠隔観察のみならず、4軸および8軸のロボットを制御可能な遠隔操作を構築しました。現在は上下運動と、左右運動のみ動作させていますが、これらの技術を使って、色々な新規社会課題に適応してどの程度効果が有るかを測定定量評価しているところです。

　1945年の終戦頃に生まれた人の数は、2022年現在の出生数80万人に比べて、250万人と３倍以上の時期が数年続いたんだよ。この世代を団塊の世代というけれど、団塊の世代は、2020年には75歳になったんだ。2020年頃は７５歳以上の人口は500万人程度だけど、団塊の世代より年下の人達も今後高齢化し、2030年頃には75歳以上の人口が1500万人と3倍に短期間で急増するんだ。今の人口の10％が75歳以上になるんだね。

　75歳で区切りを打っているのは、残念なことに人間の構造上73歳ぐらいを越えると自分の意思で思うような動作ができなくなったり、通院が必要だったりという割合が多くなるから。後期高齢者と呼ばれるんだよ。知ってた？最近の研究では、後期高齢者の20～30%位の人が、単独で生活を行えないような深刻な認知症を発生するともいわれていて、その対応策が急ピッチで行われているところだよ。

　後期高齢化を見据えて、実際の生活では、買い物難民と呼ばれる足の不自由な人向けの食材の宅配サービスなども充実してきたね。これからは、スマホを使った生活の自由度が増加傾向にあると考えられているだ。社会インフラの維持のために急速なIoT化が自動的に進まるざる負えない状況となってきたよ。

　生産システム研究室では、将来地方の生活で必要となる新規社会課題の解決のためにスマホなどのIoT機材の活用を考えているよ。

　スマホの価格が下がっている。スマホを利用して遠隔地の天気や積雪深さを評価できたら皆の為に成ると思われた。富山県では、積雪によるビニールハウスの倒壊や、船の沈没が問題となっている。倒壊や沈没の後片付けを考えると早期に直接画像として積雪深さを評価できると対応が図れると思われた。既に各種の遠隔アプリや、スマホに元々ついている機能を使えば、デスクトップからPythonプログラムで自動でデータ収取しネットに情報をアップロードできる。これって、豪雪地帯の人にとって大事な事じゃないかな？と、そんな思い付きが実現可能か試してみた。

　エレベータの様に荷物の乗る箱と、カウンターウェイトを用いたスマホ上昇台を作成した。下図に実際の計測結果を示す。兎に角画像が揺れる。ダンパーを取り付けたり、潤滑剤を変更したり、試行錯誤しても抑えることができなかった。この構造は専門的には、アトウッド器械（こちらのきかいを用いる）という問題の構造となっており、動的運動方程式が常に成り立つため振動が発生する。そこで、準静的な釣り合い状態を保ったまま昇降動作が可能な、リニアスライダーを用いて観察用スマホ台の昇降を試みた。

　下図に示す様にリニアスライダーを用いた観察用スマホ台の昇降では画像の揺れが許容できる範囲内だった。Skypeを用いてPCと通信しながら、スマホ設置台を上下に移動させると鮮明な動画データを得ることができた。 

　スマホのビデオ通話機能で使用できるカメラは、タッチパネル面の画素数の低いカメラと、背面の画素数の高いカメラの二つがあるね。これを切り替えるのが実は難しかったりしている。既存の技術が使用できなくなったりと、数年の内に大きく使用できるアプリが変わったりと、小さな研究室が対応するには大変な作業なんだ。だけど、海外から提供されているアプリならばそのような問題も解決していたりする。 

　また、物理的・機械的にスマホのタッチパネルのボタンを押す方法を試したが、上手くいくもののちょっとダサい。結局なんだかんだで、スマホの自動応答プログラムで対応できたり、スマホを完全に遠隔操作できたり可能になった。結果、スマホをCloudを介して連動させて簡単に数千キロ離れた場所の情報を引き出すことができたので、それらを利用して積雪深さを評価してみた。

　Microsoft社のSkypeと商業用の遠隔アプリ、ESP32というブルートゥース機能搭載のマイコンを用いれば、殆どの遠隔観察と遠隔操作が可能だよ。本研究は、新潟県長岡市主催の「NaDec BASE」でこの技術のに関する講義を受け、その結果を応用利用しているよ。応用新規性という点ではAI画像処理プログラムを開発して追加したぐらいかな。

 　本研究室では音声AIでの着信技術の他に、海外サーバアプリを用いて直接スマホを遠隔操作する技術を用いて、他の国からでもスマホを遠隔操作する技術を構築しました。これを用いてスマホを中心として遠隔地のロボットも簡単に操作できるようになりました。 結果、暖かい外国の地域から、寒冷地の積雪を測定できるロボットができました。

　最初はどうすればよいか検討もつかなかったが、積雪深さはcm単位であれば、かなり原始的で簡単な方法でAIプログラムで自動計測・評価できる。それも数千キロ先でも、数m先でも変わらない技術が確立できました。人間の目視観察が可能であれば、㎜精度で積雪を評価もできます。

　最初は、Scikit-learnライブラリを用いた数字の機械学習器の認識を試みたが、認識精度が高くなかった。原因は人工知能というよりも、遠隔通信で得られる画像の画素の低さだった。そこで、低画素でも識別認識が可能なOpenCVに付属のArUcoマーカーを用いた積雪判定を実施した。ArUcoマーカーを用いることで、ロバストな積雪評価が行えた。1㎝毎に仮想現実マーカーを貼り付けた金尺を直接読み込むことで研究室PCから遠隔地の情報を得ることができた。研究室で使っているサーバーアプリは、日本国から3000㎞も離れた国と契約を結んでいる。往復で6000㎞の通信ネットワークを用いて、10m先のスマホ情報を得るって、なんか変な感じ。

　現在は、サーバーアプリがさらに改良されて、スマホの高画素画像も得ることができた。一度諦めた機械学習による数値認識もできる画素数なので再度挑戦するというもの技術の蓄積としては面白いと思うね。また、改良されたアプリでは、すごく簡単な原理でスマホの外部接続機器を操作できるようになった。遠隔地のロボットを多軸で簡単に動かすことが可能となり、㎜単位での積雪評価も可能になった。下の図だとAIだと6㎝と評価するけど、目視なら、45～48㎜の積雪高さ。と、評価できる。

　開発したロボットは応用範囲が広いだけでなく、コストが非常に安く、スマホを含めて３万円程度もあれば、数千キロ離れた養殖場の餌供給機械を画像を見ながらON、OFFできたり、有人芝刈り機を無人・遠隔操作できたり、かなり既存の設備の自動化・省力化が行えるようになる。あまりにも適用課題が多すぎて、本研究室の様な小さい研究室では手が回らない。という現実もあったりするんだよね。

　操作として注意することは、ArUcoマーカーの読み取りにはOpenCV-contribeパッケージが必要です。OpenCVパッケージと競合して動作しないため、2台のPCを用いてそれぞれのパッケージを運用するか、１台のPCで毎回アンインストール・インストールを行い、パッケージ切り替えを行う必要があります。

　兎に角スマホが安くなったので、何台か並べて積雪を測定したらいいと思わない？専門的に言うと、フェイズド・アレイ方式という測定方法なんだけど、それについても検討を行っていて、現在評価の真っ最中だったりする。消費電力や、通信費が嵩む（かさむ）という欠点があるけど、保守管理や、プログラムが凄く楽に成ると思っている。それらの結果については、「2022年のJST主催の”ジュニアドクター育成塾”」と関連して、今後、論文の形で公開予定だよ。現在、遠隔ロボットをスマホから操作してカメラを縦横無尽に移動させるながら動的に情報収集する方法と、複数のスマホを並べて静的に情報収集する方法の２つを検討している。実際どっちの方法が効果的か定量的に見分けているところだ。早ければ2023年の３月に高専機構の発表会で結果を発表できるかもしれないね。

　今の時点で数千キロ離れた場所の積雪だったり、水位だったりをcm単位で自動評価、㎜単位で目視評価できるシステムを構築できた。更に楽に成るために、自動的に任意の時間が来たら、AIプログラムが積雪評価を行い、結果をWebに自動的に上げれるか試してみた。

　このページの右側に「富山県降雪状況／衛星みちびき利用（試験ページ）」という項目がある。この試験ページのダウンロードファイルは、AIプログラムが自動的に積雪評価を行い、その結果をWebにアップロードしたページです。AIプログラムで全自動で一応結果を表示することができた。

　2022年11月に無限回転機構を取り付け、従来の上下、左右、前後の動きの他に、回転動作ができる装置を追加しました。スマホのカメラズーム機能も用いると、1㎜単位で積雪を評価することができました。30回追実験を行い目視であれば確実に１㎜精度で積雪を評価できるか定量化したいです。
　積雪観察技術には区切りがついたので、現在は継続自立利用が可能な電源開発および他の新規社会課題への適応を考えています。研究成果をKRIS2023という高専機構主催の国際会議で発表しました。現在、国際学術雑誌に投稿中です。結果が公表できる様になったら、HPでも詳しく公表したいと思います。

　2018年に富山県内の官公庁にインタビューを行った。富山県内では、国土交通省、富山県、富山市、各市が仲良く、協力して新規社会課題の解決に向かっていることを知った。2018年に富山県にインタビューした時にカメラで遠隔地の情報を評価できると良いね。というお話を聞いていたが、2023年１月時点で既に100台を越えるライブカメラが設置されていて、IoT技術が市民生活を支えるようになっている。2018年頃の台数は多くなかったけれど、2020年の富山市を中心とした100㎝越えの大雪がきっかけで、カメラの台数と内容の充実化が加速した感じです。道路の状況を把握して輸送計画を練り直したり、工場の生産活動を変更したり、安心安全の通学手段の確保など、遠隔カメラから得られる情報の波及効果は大きく、社会基盤インフラとして、今後色々な利用が期待されるものと思われます。

　以下のURL先にライブカメラがあります。　富山県道路情報 -道路カメラ一覧- (toyama-douro.toyama.toyama.jp)

　本研究室は、そのような情報をもとに、後追いで遠隔地の様子を観察する研究を始め、2022年頃にやっと小規模の遠隔地の様子をWebで共有できるシステムを立ち上げることができました。が、既に富山県で100機を越えるライブカメラが有り、研究成果の活用先が消失した状況です。

　公的な利用は無いとしても、開発確立した技術は、農業ハウスの積雪倒壊防止、小型船舶の積雪沈没防止、鳥獣被害の遠隔観察などの小規模の私的利用に用いることができると思っています。確立した遠隔操作技術を後期高齢者新規社会課題解決に向け適用できる範囲で研究を進めようと思っています。手始めに100㎞範囲内で遠隔操作可能な草刈り機械、除雪機械の実現に向けて調整を始めています。

　本校とシンガポールの提携校との遠隔操作実験を開始しました。国内回線と同様に国際回線でも普通に遠隔操作が可能な事を確認しました。距離に関係なくウェブサイトに繋ぐことが可能であれば、どこからでも遠隔操作が可能であることが分かりました。汎用スマホを用いれば、年間の通信費用も含め５万円程度で世界通信可能な遠隔操作ロボットを確立できることが分かりました。

　スマホの設置に関わる知識があれば、比較的簡単にシステムを構築可能であり、何を自動かしたいのか？の着眼点で、大きく研究分野が広がる可能性があることを感じました。遠隔操作ロボットの初期投資３万円、維持費２万円の年間５万円程度の固定費に見合う自働化したい人手作業があれば、隙間を埋めるように置き換わっていくのではないかと思っています。

　シンガポールとの通信実験に成功し、地球サイズのAIネットワークを構築することができました。可能であれば、衛星電話の通信網を用いた、宇宙規模でのAIネットワークを構築したいのですが、衛星電話の利用はまだまだ一般的ではないく、本研究室の資本では到底手の届かない所です。

　現在は自動制御プログラムとPythonAIプログラムを組み合わせた定時動作可能な完全自動遠隔観察装置の実現を検討しています。一度システムを構築すると、自動に遠隔動作可能な機械ができそうです。また、ChatGPTなどの生成系AIの仮想現実から、現実へのコネクトに興味があり、生成系AIの指示を実世界で動作させることが可能か検討しています。

　上記の様な電源を安定供給できない地域での災害観察が求められています。長期観察となると、提案装置を稼働させるには非常に多くの電力を必要とします。そのため、遠隔操作で起動運用できる電源を開発しています。

　セル起動式の安価なエンジン式発電機が２社から提供されており、それらセル起動式の発電機を用いて３カ月、６カ月の長期遠隔運用を行うには、どの様な条件、設備が必要かを検討しています。発電機の起動と停止では、チョークを引く、戻すの複雑な動作が必要です。

　本研究室では既に数千キロ離れた海外拠点地から、動画観察とボタン操作、または音声操作で遠隔地のロボットを動かす技術を持っています。これらを組み合わせて、研究室から数千キロ離れたサーバーを経由して目の前の発電機を遠隔を実現しました。本研究の応用として、エンジンで発電した電気で動くハイブリッド農業機械の長期間遠隔操作への適用を考えています。 

本企画は、（一社）北陸地域づくり協会の研究助成事業により実施しています。

　エンジン発電機の遠隔起動・停止の実験を実施しました。問題なく遠隔操作でエンジン発電機を起動・停止することができました。この装置を用いると１回の保守で約２カ月間遠隔観察・操作装置の動作を実現することができます。さらにサブタンクを増設して１回の保守で5.3カ月間の長期遠隔観察・操作が可能な装置を開発中です。

　上述の遠隔観察・操作技術は、新潟県長岡市が主催とする地域継続型シンクタンク「NaDeC BASE」を通して、「長岡技術科学大学・長岡技術科学大学卒業の佐世保高専教員」から提供されたものです。既知・公知の随分前から確立された技術で安定的な遠隔操作が可能です。興味のある企業、個人は「NaDeC BASE」に問い合わせをお願いします。

　ここに「NaDeC BASE」および「佐世保高専」・「長岡高専」・「長岡技術科学大学」への謝辞を表記します。

A. Abbas, J. Mosseri, J. Lex, J. Toor, B. Ravi, E. Khalil, and C. Whyne: “Machine learning using preoperative patient factors can predict duration of surgery and length of stay for total knee arthroplasty”, International Journal of Medical Informatics, Vol. 158, 104670, 2022.

Construction Department of Ebetsu city: Ebetsu city snow countermeasures basic plan, pp. 1-28 (2007) (in Japanese)

D. Guo, N. Pepin, K. Yang, J. Sun, and D. Li.; Local changes in snow depth dominate the evolving pattern of eleva-tion-dependent warming on the Tibetan Plateau, Science Bulletin, (2021) Vol. 66, pp. 1146-1150.

D. Yan, N. Ma, and Y. Zhang.; Development of a fine-resolution snow depth product based on the snow cover probability for the Tibetan Plateau, Journal of Hydrology, (2022) Vol. 604, 127027, pp. 1-16.

F. Ramirez, R. Salinas, and R. Carnicer: “Tracking fiducial markers with discriminative correlation filters”, Image and Vision Computing, Vol. 107, 104094, 2021.

H. Balanji, A. Turgut, and L. Tunc: “A novel vision-based calibration framework for industrial robotic manipulators”, Robotics and Computer-Integrated Manufacturing, Vol. 73, 102243, 2022.

H. Sano: “Development of snow cover detection sensor using image processing method”, Annual report of ti-ikigijutsu, Industrial Technology Center of Fukui prefecture, Vol. 16, No. 2, pp. 1-10, 2003 (in Japanese)

H. Sarmadi, R. Salinas, M. Berbís, A. Luna, and R. Carnicer: “Joint scene and object tracking for cost-Effective augmented reality guided patient positioning in radiation therapy”, Computer Methods and Programs in Biomedicine, Vol. 209, 106296, 2021.

H. Shimoata: “Risk factors and prevention of dementia”, Annual report of Institute of Health and Nutrition Nagoya University of Arts and Sciences, Vol. 7, pp. 1-14, 2015 (in Japanese)

H. Takenaka, and M. Soga.; Development of a support system for reviewing and learning historical events by active simu-lation using AR markers, Procedia Computer Science, (2019) Vol. 159, pp. 2355-2363.

J. Donager, T. T. Sankey, A. J. S. Meador, J. B. Sankey, and A. Springer.; Integrating airborne and mobile lidar data with UAV photogrammetry for rapid assessment of changing forest snow depth and cover, Science of Remote Sensing, (2021) Vol. 4, 100029, pp. 1-12.

J. Liu, R. Chen, Y. Ding, C. Han, and S. Ma.; Snow process monitoring using time-lapse structure-from-motion photogram-metry with a single camera, Cold Regions Science and Technology, (2021) Vol. 190, 103355, pp. 1-12.

J. Mayer, K. Boretzky, C. Douma, E. Hoemann, and A. Zilges: “Classical and machine learning methods for event reconstruction in NeuLAND”, Nuclear Inst. and Methods in Physics Research, Section A, Vol. 1013, 165666, 2021.

J. Revuelto, E. A. Gonzalez, I. V. Gayan, E. Lacroix, E. Izagirre, G. R. López, and J. I. L. Moreno.; Intercomparison of UAV platforms for mapping snow depth distribution in complex alpine terrain, Cold Regions Science and Technology, (2021) Vol. 190, 10334, pp. 1-12.

J. W. Yang, L. M. Jiang, J. Lemmetyinen, J. M. Pan, K. Loujus, and M. Takala.; Improving snow depth estimation by coupling HUT-optimized effective snow grain size parameters with the random forest approach, Remote Sensing of Environment, (2021) Vol. 264, 112630, pp. 1-19.

K. Maier, A. Nascetti, W. Pelt, and G. Rosqvist.; Direct photogrammetry with multispectral imagery for UAV-based snow depth estimation, ISPRS Journal of Photogrammetry and Remote Sensing, (2022) Vol. 186, pp. 1-18.

M. Ishiguro, S. Matsui, M. Nakagawa, T. Tajiri, S. Kaneko, and Y. Yoshii: “Compression and extrusion processes for snow disposal using a rectangular cross-section die container”, JSDE, Vol. 53, Issue 1, pp. 69-84, 2018.

M. Ishiguro, K. Dan, K. Nakasora, Y. Morino, Y. Yoshii, and T. Chaki: “Increase of snow compaction density by repeated artificial snow consolidation formation”, JIIAE, Vol. 8, No. 3, pp. 104-111, 2020.

M. Ishiguro, Y. Yoshii, and T. Chaki.; Impulsive repeated snow compaction for snow removal assist, ISATE2022, S2R5-P2, (2022) pp. 1-6.

M. Ishiguro, T. Futayama, Y. Yoshii, and T. Chaki.; Simple Remote Place Snowpack Depth Evaluation Procedure using Open Source Software, (2022) JIIAE, Vol. 10, pp. 77-83.

M. Ito, and M. Miura.; Evaluation of stationary colour AR markers for camera-based student response analyser, Procedia Computer Science, (2016) Vol. 96, pp. 904-911.

M. Kopp, Y. Tuo, and M. Disse.; Fully automated snow depth measurements from time-lapse images applying a convolutional neural network, Science of the Total Environment, (2009) Vol. 697, 134213, pp. 1-10.

M. Naji, S. Filali, K. Aarika, E. Benlahmar, R. Abdelouhahid, and O. Debauche: “Machine learning algorithms for breast cancer prediction and diagnosis”, Procedia Computer Science, Vol. 191, pp. 487-492, 2021.

M. Neges, C. Koch, M. König, and M. Abramovici.; Combining visual natural markers and IMU for improved AR based indoor navigation, Advanced Engineering Informatics, (2017) Vol. 31, pp. 18-31.

M. Sokolowska, M. Mazurek, M. Majer, and M. Podpora: “Classification of user attitudes in Twitter – beginners guide to selected Machine Learning libraries”, IFAC-PaperOnLine, Vol. 52, Issue 27, pp. 394-399, 2019.

M. Tateno.; Fundamental research on automatic hot water spreading type snow melting equipment for roofs and gardens, Graduation thesis of National Institute of Technology, Toyama College, (2021) pp. 1-14. (in Japanese).

M. Zaremehrjardy, S. Razavi, and M. Faramarzi.; Assessment of the cascade of uncertainty in future snow depth projections across watersheds of mountainous, foothill, and plain area in northern latitudes, Journal of Hydrology, (2021) Vol. 598, 125735, pp. 1-17.

P. Boonbrahm, C. Kaewrat, and S. Boonbrahm.; Effective collaborative design of large virtural 3D model using multiple AR markers, Procedia Manufacturing, (2020) Vol. 42, pp. 387-392.

Q. Wu.; Season-dependent effect of snow depth on soil microbial biomass and enzyme activity in a temperate forest in Northeast China, Catena, (2020) Vol. 195, 104760, pp. 1-11.

R. G. Mihalyi, K. Pathak, N. Vaskevicius, T. Fromm, and A. Birk.; Robust 3D object modeling with a low-cost RGBD-sensor and AR-markers for applications with untrained end-users, Robotics and Autonomous Systems, (2015) Vol. 66, pp. 1-17.

R. Waller and L. Visagie: “Pose estimation for cubesat docking”, IFAC-PapersOnLine, Vol. 54, Issue 21, pp. 216-221, 2021

S. Matsumura: New social challenges from 2006 heavy snowfall, Proceedings of NIED Snow and Ice Research 2006, pp. 7-12 (2006) (in Japanese)

S. Miyamoto: “Snow-melting system and de-icing system on road surface using natural thermal energy sources”, J. of Snow Eng. of Japan, Vol. 17, No. 1, pp. 35-53, 2001 (in Japanese)

T. Asada: “Prevalence of dementia in Japan”, Clin. Neurol, Vol. 52, No. 11, pp. 962-964, 2012 (in Japanese)

T. Futayama.; A fundamental research of remote place snowpack depth evaluation using sound cognization and image processing, Graduation thesis of National Institute of Technology, Toyama College, (2022) pp. 1-8. (in Japanese).

T. Takeda, K. Kondo, H. Hirai, and C. Murata: “Psychosocial factors as predictors for dementia among community-dwelling older people”, Asian Journal of Occupational Therapy, Vol. 26, No. 1, pp. 55-65, 2007 (in Japanese)

Toyama Prefecture Regional Promotion Division.; Fact-finding survey on the living conditions of villages in hilly and mountainous area in Toyama Prefecture, (2020) pp. 1-2. (in Japanese).

X. Ge, J. Zhu, D. Lu, D. Wu, F. Yu, and X. Wei.; Effect of canopy composition on snow depth and be-low-the-snow-temperature regimes in the temperate secondary forest ecosystem, Northeast China, Agricultural and Forest Meteorology, (2022) Vol. 313, 108744, pp. 1-16.

Y. Kang, and S. Han.; An alternative method for smartphone input using AR markers, Journal of Computational Design and Engineering, (2014) Vol. 1, pp. 153-160.

Y. Zhong, Z. Wang, A. Yalamanchili, A. Yadav, B. Srivatsa, S. Saripalli, and S. Bukkapatnam: “Image-based flight control of unmanned aerial vehicles for material handling in custom manufacturing”, Journal of Manufacturing Systems, Vol. 56, pp. 615-621, 2020

Z. Li, P. Chen, N. Zheng, and H. Liu.; Accuracy analysis of GNSS-IR snow depth inversion algorithms, Advances in Space Research, (2021) Vol. 67, pp. 1317-1332.

Z. J. Suriano, D. A. Robinson, and D. J. Leathers.; Changing snow depth in the Great Lakes basin, Anthropocene, (2019) Vol. 26, 100208, pp. 1-11.