jphacks/c_2209

らくらくトリセツ

ご年配の方に何度も同じスマホ操作を教えた経験はありませんか？一度の画面録画からトリセツを自動で作成します!

(↓↓↓クリックして紹介動画を再生できます↓↓↓)

(↓↓↓実際に使ってみたい方はこちら↓↓↓)

[Webアプリ] https://jphacks.github.io/C_2209/

(過去のバージョン) PC版[Pythonが必要です]

https://github.com/jphacks/C_2209/tree/master/app

製品概要

背景(製品開発のきっかけ、課題等）

自分のおばあちゃんのスマホ操作がなかなか覚えられないことがきっかけです。そして、チームメンバーにも同様な背景がありました。

何度も操作を教えたり、一人で操作ができない人を支援したいと思い、このアプリを作ろうと決めました。

製品説明（具体的な製品の説明）

ご年配の方に何度も同じスマホ操作を教えた経験はありませんか？この課題に対して、スマホが苦手な方向けに画面遷移をパワポにマッピングして印刷することを考えました。一度の画面録画から、トリセツを自動で作成します!

特長

1. 画面録画を取るだけ！

入力がとても簡単です。教える時についでに録画しておきましょう！

2. 画像選択を行う独自アルゴリズム！

いらない遷移アニメーション部分のカットが自動で行われます。画面の類似度の計算と速度のトレードオフを考えて実装しました。

3. らくらく修正・印刷！

パワポ上で操作のイラストを挿入することができます。ozozのチームの自慢のデザイナーのデザインです✨

解決出来ること

社会課題となっているスマホ格差を解消します。

最近では、マイナポイントの登録や全国旅行支援やLINEでのメッセージのやり取りにスマホは必須になっています。うちのおばあちゃんは、「スマホができる人はいいねぇ。。。私には難しすぎるから」といつもため息をついていることを見ています。

スマホ操作が覚えられないのを解決し、教える人の負担を減らし、教わる人は自分でできるという自信を持つことができます！

今後の展望

• Webアプリ化
  • 現在はMacアプリですがスマホで完結することを目指します
• パワポに代わる編集機能の実装
  • パワポでの編集に頼っている部分を内製化します
  • これによりWeb上で完結するアプリになります
• 音声認識から操作説明スクリプトの生成
  • 画面遷移のパワポに説明を挿入する手間を省きます

注力したこと（こだわり等）

• 従来手法

  • 画面を操作しながら教える
  • スマホの本を与える

• 優位な点　おばあちゃん側のメリットと指導者側のメリットを分けてプレゼン資料を作る

  • オリジナルな資料が作れる
  • 画面録画するだけ
  • シンプルなデザイン
  • 操作の名前をわかりやすく
  • 紙に書き込める
  • いつでも見返せる

• こだわり

  • 高齢者に寄り添うスライドデザイン
  • ユーザからの意見の反映
  • 使いやすいUI
  • 親しみやすいデザイン
  • 画像の自動選択機能
  • 手動で追加できる編集画面
  • パワポの自動配置

開発技術

活用した技術

API・データ

• スマホの画面録画データ Line ver
• スマホの画面録画データ Slack ver
• スマホの画面録画データ Camera ver

フレームワーク・ライブラリ・モジュール

• プログラミング言語
  • Python
• ライブラリ
  • tkinter
  • python-pptx
  • opencv-python
  • pillow
  • tempfile
  • matplotlib
• デザインツール
  • figma
• ソフトウェア
  • microsoft powerpoint

デバイス

• PC (Pythonのコードが動く環境・パワポが使える環境)

独自技術

ハッカソンで開発した独自機能・技術

• 独自で開発したものの内容をこちらに記載してください
• 特に力を入れた部分をファイルリンク、またはcommit_idを記載してください。

画面の自動選択・類似度の計算(以下のコードのfunc5の部分)

https://github.com/jphacks/C_2209/blob/master/app/myapp.py

製品に取り入れた研究内容（データ・ソフトウェアなど）（※アカデミック部門の場合のみ提出必須）

• なし