seraaaayeo/sellydev

Autonomous-driving delivery robot project : Selly

🌱 About Me

✨ Interests

• Machine Learning & Deep Learning
• Computer Vision & Image Processing

📫 Contacts

sellydev's Issues

[회의록]2020.04.20_31차 회의록..같은 개발일지

현재까지의 진행사항

하드웨어

• 바퀴 굴리다가 불나서 타 버린 전선..

• 바퀴 2개는 동시에 굴리기 성공
  *단, 몸체를 위에 올렸을 경우에 모터 힘이 약해서 안 굴러갈 것 같음ㅠㅠ

소프트웨어

• zed 카메라로 학생회관부터 센터까지의 영상 촬영 후 저장

• branches 의 selly_vision 참고

• VSLAM issue 참고

To do

• 구체적인 목표 설정

[규칙]브랜치 규칙 : 작업, 이름생성, merge 규칙

작업 시 아래 과정을 반드시 숙지한다.

1. 브랜치를 생성하여 작업한다.
2. 마스터 가지는 개인이 임의로 손대지 않는다.
3. 개인이 작업한 브랜치는 팀원들이 이해할 수 있도록 주석을 달아 원격 저장소에 push 한다.
4. 브랜치를 push할 때 해당 소스 파일에 대한 md 파일을 함께 작성한다.
5. md 파일에는 소스 파일에 대한 설명이나 작동 방법 등이 포함된다.
6. 따라서 readme는 각 소스 파일의 설명을 포함하지 않는다.

---

브랜치 이름은 다음과 같이 약속한다.

1. 기능 추가 : feat/이름
   (ex.쿠폰 생성 기능만 작업한 경우 : feat/coupon/make)
   (ex.쿠폰 생성 기능을 포함하여 전반적 쿠폰 관련 기능을 작업한 경우 : feat/coupon)
2. 테스트 : test/test한 기능 이름
   (ex.쿠폰 생성 테스트 : test/coupon/make)
3. 코드 최적화 : 최적화한 기능의 브랜치 네임을 동일하게 사용.
4. 여러 기능의 코드 최적화 : opt/주요기능이름

---

브랜치 merge 전 아래 과정을 반드시 진행한다.

1. 개인이 작업한 브랜치를 원격 저장소에 push한 후 Pull requests를 작성한다. 이 때 해당 Pull rerquest가 몇 번 이슈에 따른 요청인지 명시한다.
2. 다른 팀원들이 Pull request를 확인하고, 코드에 대한 리뷰를 작성한다.
3. 팀원들이 수정을 요청하면 해당 작업자가 로컬에서 수정 후 다시 push하고, 수정 완료를 댓글로 공지한다.
4. 팀원들이 모두 merge에 동의하면 master branch에 merge한다.

[회의록]2020.02.01_3차회의

##[2020.02.01]회의록

##사용할 센서

• 카메라 : zed 카메라(스테레오 카메라, depth 정보/3d 정보 추출 가능.)
• 라이다 센서
• GPS
• 바퀴 회전수

##프로젝트 진행 방향
기존 방법만 사용하는 것이 아니라 새로운 방법으로 자율 주행 알고리즘 만들기.
->알고리즘 : 위치 추정 / 최적화된 경로 설정

##장애물 회피

1. Zed 카메라의 깊이 정보 사용
2. 가까운 물체는 깊이 정보가 얕아서 하얗게 나오는 점 이용.
3. 일정 거리 설정 후 이내에 들어온 객체[(이미지 처리 해야 할 듯)가 있을 경우 라이다 센서를 이용하여 거리 추정
4. 거리가 임의의 값 이내로 들어오면 의사 결정(회피(바퀴 제어각 제어) 혹은 정지)

##학기 중 정기 모임 시간

• 창의학기가 수업(전공)이니 만큼 수업처럼 정기 모임 시간을 가질 예정.
• 정해진 시간을 할당하고 각자 맡은 일을 자유롭게 하되 의견 교류 & 토론 & 문제점 전달 등을 빠르게 하기 위함
• 고정 장소 섭외 가능한지 알아볼 것.(모니터, 하드웨어 등 두고 다니게)
• 정기 모임 시간은 수강신청 이후 정할 것.
• 회의 시간도 마찬가지. 회의 시간에는 전체 작업 발표(?), 방향성 점검

##월별 계획

• 2월

1. 소형 키트에 센서 연결하여 센서 제어
2. 방향, 속도 제어 test
3. 로봇 설계도 그리기(기능, 디자인 부분 고려)

• 3월

1. 로봇 하드웨어 완성 : 샐리 베타버전 제작
2. 센서 사용 test, 센서 data 수집 및 활용 방법 연구
   (ex. Zed 카메라의 depth 정보를 이용하는 방법. Depth를 어떻게 나눠서 가까운 객체들에 LIDAR를 이용한 거리 정보를 얻을 것인가.)
3. 샐리에 추가할 자율주행 알고리즘 구상

• 4월

1. 위치 추정 & 지도 작성
2. 경로 설정 방법 설정. 경로를 따라 주행하는 방법 연구.
3. 장애물 거리에 따른 의사 결정 연구.

• 5월

1. 의사 결정에 따라 로봇 제어(필요하면 경로 재설정)
2. 서비스 구현(기능 구현)

• 6월

1. Test!!!!!!!!!!!!!!!!!!!!
2. 서비스 구현 중 웹페이지 업데이트(발표 때 보여줘야 하니까 예쁘게)
3. 발표 자료 준비

##2월 주차별 계획

1주차

• 조사 : SLAM, zed 카메라 3d data 활용 방법, 바퀴 회전 수 구하는 센서 사용
• 키트 조립 + 라이다 설치
• 젯슨 SD카드 백업
  2주차
• 키트에 라이다 센서 연결한 거 제어, test
  2주차 중반~3주차
• 방향 제어 등등 하드웨어 test
  4주차
• 로봇 하드웨어 설계
• 나머지 센서 주문(카메라, GPS) : 사용 가능 예산 정리, 예산 끌어올 수 있는 방법?

##1주차 task 할당

• 연우 : SLAM 조사(+ROS에서 사용하는 방법 공부)
• 준혁 : 바퀴 회전수 센서 조사, 센서 사용 방법 공부
• 다솔 : 젯슨 SD 카드 백업, 젯슨 연습, 3D data 활용 방법 연구

[창의학기제]일정 및 주차별 보고서 가이드

창의학기제 일정

• 종강 : 6/19 (금)
• 중간 간담회 : 5/7 (목)
• 보고서 제출 : 6/25 (목) 17:00 까지
• 최종 발표 : 06/29 (월) ~ 6/30 (화)

창의학기제 주차별 보고서 작성 가이드

여기에 작성한 주차별 학습 목표 가지고 주차별 보고서 작성합시다!!! 적어도 10개 써야함!!

1. 프로젝트 진행 방향 설계(월별 목표, 개발 프로세스 결정, 모임 시간 결정), 자율주행 프레임워크 분석 및 공부

2. ‘Selly' 워크플로우 설계 : 사용할 센서 및 센서 활용법 결정, 적용할 알고리즘 토론, 하드웨어 및 소프트웨어 구상 및 설계

3. 센서 제어를 위한 연습용 로봇 설계 및 라이다 센서, 아두이노 센서 제어 테스트. 연습용 로봇으로 주행 컨트롤 테스트

4. 구글 오픈 소프트웨어 Catographer를 사용한 SLAM 구현

5. 하드웨어 제작 및 센서 부착, 간단한 모터 주행 테스트

6. image segmentation기반 인도 구분 모델 구축

7. visual SLAM 기반의 알고리즘을 사용하여 localization 및 mapping을 통한 지도 구축

8. depth vision 보정 알고리즘 적용

9. image segmentation + depth 기반 주행 경로 결정 알고리즘 설계

10. 네트워크 안정화 + 모델 경량화

11. 내비게이션을 위한 GPS 보정 알고리즘 제안 및 경로 설정

12. 설계한 알고리즘을 바탕으로 최적의 경로를 찾기 위한 navigation 테스트

13. 물체 회피 테스트

14. 서비스 구현

15. 최종 테스트 보완, 유지보수

[Task]필요한 것

소프트웨어 개발에서 활용해야할 것들

딥러닝 퍼포먼스 개선 tensorflow -> tensorrt 변환
https://docs.nvidia.com/deeplearning/sdk/tensorrt-sample-support-guide/index.html#mnist_sample

인도 보행 data 어떤식으로 사용할지
http://www.aihub.or.kr/aidata/136

[회의록]2020.02.26_6차회의

GPU 사용 방법

• 코랩 사용? -> 업로드 엄청 느림!
• 코랩 프로 사용! -> 약 10USD
• 캐글 사용? -> 네트워크 불안정!
• 게이밍 노트북 대여! -> 램 16, 지포스 1660 기준 1주일에 77,000 2주일에 12만원 (http://www.wscopy.co.kr/shop/item.php?it_id=1576137039)
• 피씨방?

인도보행 영상 학습시키기

• 모델 재구성(?) -> 텐서플로우
• NVDIA 에서 제공하는 딥러닝 모델 SSD mobile lab v2 -> Tensorflow -> Tensorrt
• 이미지 크기 1/4 -> 480 X 270
• 하드웨어 하단 프레임 제작
  • 배송오면 바퀴 조립하기
  • 바퀴 모양보고 프레임 구조 다시 짜기
  • 하단 프레임의 밑판 재질 -> 아크릴? 금속? 알루미늄?
  • 샤프트 고정하는 방법(현재 최대난관)
  • 도면 그려서 제작 견적 내기.

2월 4주차 Task 할당

• 다솔 : 배송오면 조립하고 하드웨어 설계, 도면 그리기, 3D 데이터셋 구조 뜯어보기(?), 네트워크에서 ROS Rviz 보기
• 연우, 준혁 : SSD 모바일랩이랑 다른 모델 각각 하나씩 텐서플로우 코드로 바꾸기

TODO

• SLAM을 이용한 경로 설정(navigating)
• 물체 회피 알고리즘??
  • 인도 보행 영상 데이터를 학습시켜서 라이다랑 결합할 수 있는 방법은 없을까?
  • ZED 카메라의 아웃풋 중 하나인 뎁스 이미지 사용해서 라이다랑 결합?
• GPU 문제
• GPS 대체
  • 서비스 단계에서 GPS를 쓰긴 해야 될 듯. 아니면 SLAM맵과 지도를 결합할 수 있는 방법은 없나?
• 인도보행
  • 학습데이터 용량이 큼(300-400G -나눠서 학습->나눠서 넣어놓을 저장소 & 학습 환경조성)
  • 객체인식 이론 공부
• 젯슨나노에서 예상되는 추론 속도 체크하는 방법
• 하드웨어 설계(교수님 면담 후)

[회의록]2020.03.27_21차 회의

object detection 방향성 변경

-인도 데이터셋만으로 인도 segmenting을 진행하여 주행가능한 포지션을 찾는다면..?

slam 진행

- visual slam 진행전에 카토그래퍼 수행중..!!!!!!

Problem

• 하드웨어

▶ 모터드라이버의 문제... 바퀴에 비해 모터 힘이 약함 →채널 2개 지원하는 모터드라이버 있음..→ 4륜 구동말고 2륜 구동으로 바꿔야할까??!

▶ jetson에 할당되는 배터리 필요..!!!

• 소프트웨어

▶ 카토그래퍼 수행 중 문제 발생
▶ 이미지 데이터 받아오는 속도 느림
▶ ros 통신 문제

[SLAM]cartographer map 만들기 시연 동영상

젯슨 나노 sd카드 백업 문제

젯슨 나노의 micro sd카드를 내 노트북 내장 sd카드 슬롯에 꽂으면 드라이브를 사용하기 위해서는 포맷해야 한다는 경고창이 뜸(드라이브가 d에서 m정도까지 9개 정도인것 같은데 9개 드라이브 전부 포맷 경고창 뜸)
찾아보니 sd카드를 구입 후 처음 사용할 경우 포맷하고 써야 한다는데.. sd카드 슬롯 문제일까 싶어서 시험삼아 다른 micro sd 카드를 연결해봤는데 그건 제대로 됨...
SD카드 리더기를 사서 연결 해봐야 될 것 같당
해결 방법 찾는 중

[ROS]ROS 패키지 경로 issue

경로 통합 완료 아래 글 참고x

tensorflow 구동을 위해 비공식적으로 ROS python3버전을 사용해서 기본 ROS경로가 달라 패키지를
찾지 못하는 문제가 발생

---ROS python3 기존 경로(defualt 값)---
source ~/ros_catkin_ws/install/setup.bash
export ROS_PACKAGE_PATH="/home/hyeok/ros_catkin_ws/"

---ROS의 lib를 사용해야할때---
ex) rviz, rosserial, usb_cam등등 ROS python3의 경로에는 패키지가 설치되지 않음
source /opt/ros/melodic/setup.bash

--ROS jetbot_ros 카메라를 사용할 때 --
source ~/workspace/catkin_ws/devel/setup.bash

--예시
$ roscore
$ rosrun selly camera.py
$ rosrun selly motor.py
아두이노와 연결하기 위한 rosserial을 사용하기위해 경로를 수정
$ source /opt/ros/melodic/setup.bash
$ rosrun rosserial_python serial_node.py __port:=/dev/ttyUSB0
젯봇 카메라 열기
$ source ~/workspace/catkin_ws/devel/setup.bash
$ rosrun jetbot_ros jetbot_camera

패키지 경로에 맞게 source를 통해 경로 재설정이 중요함~~~이상~~~~

[ROS]ROS networking 방법

원격 데스크톱 문제가 발생해서 원격 데스크톱으로 jetson 확인 불가능!!!

• 원격 데스크톱 문제로 display확인을 위해 ros networking을 진행하였습니다.
• jetson nano를 master로 설정했으므로, 젯슨과 네트워킹할 다른 장비(개인 노트북 등)의 ROS_MASTER_URI를 젯슨 IP로 설정하면 됨.
• 이 때, 모든 장비가 같은 네트워크를 사용해야 함. 지금은 핫스팟으로 네트워크 공유 중.
• 이 방법으로 젯슨에서 런치하고 개인 장비에서 디스플레이 확인이 가능해짐.

주의점

• 개인 장비는 대부분 window 기반이므로 환경변수에서 설정해줘야 함.
• 젯슨 나노의 IP 변경이 있을 경우 bashrc파일을 수정한 후에는 꼭!!!!!1 source ~/.bashrc 해줘야 함.

세팅 방법

• 젯슨
  • bashrc 파일에서 ip 수정
  • 아니면 export 명령어로도 가능.
• 개인 장비
  • 환경변수 - 시스템변수 - 새로만들기
  • 설정 후 재부팅

[프로젝트 관심있습니다]

블로그 글 보고 들어왔습니다

연락할 방법이 없어서 이슈에다 달았습니다 ㅠ 죄송합니다

현재 자율주행 쪽으로 대학원 진학 계획 중인 학부생입니다
CV 쪽으로 관련 활동 했고
2020인공지능온라인경진대회 최종 6위로 마무리하며 배달로봇 관련 사업화도 생각해봤었습니다

프로젝트 같이 의논해보고싶은데

괜찮으시다면 이메일 주소 남겨주시면 감사하겠습니다

[segmentation]데이터 셋 로드방법에 따른 성능 차이

기존의 방법 : opencv를 이용해 이미지 셋을 로드하고 전처리하여 학습 및 평가
-이미지를 1000~2000장씩 로드하여 20epoch씩 학습
결과: accuracy 94% loss 0.16

최근 방법 : tensorflow dataset api를 사용하여 이미지를 로드하고 학습 및 평가
-이미지를 배치 사이즈 만큼 로드해서 전체 데이터셋으로 20epoch씩 학습
결과: accuracy 약 90% loss 0.34

기존의 학습 모델을 최근 방법으로 평가했을때 accuracy 94% -> 77%로 감소

그러나 cv로 동영상을 불러와 테스트해보면 기존의 방법이 성능이 더 좋음

의심 가는 원인 -> opencv로 이미지를 불러온 값과 tensorflow api를 사용해서 불러온 픽셀 값이 다름
따라서 동영상 테스트를 할때 opencv를 통해 동영상을 불러오면 기존의 tensorflow로 불러온 값과 달라 정확도가 감소하는 거같음

해결 방법 -> opencv로 동영상 불러와 프레임을 가져올때 tensorflow가 이미지를 불러오는 값처럼 바꿔줘야 제대로 동작할듯함 (미해결)

[ROS]하드웨어 무선 통신 방법

• ROS는 네트워크를 통해 서로에게 데이터를 전송하므로 네트워크 환경이 구축되어있어야함.

현재 무선 랜을 꽃아서 wifi를 통해 원격 제어 및 관리함 (집에 공유기에서 포트를 개방시켜둠)
외부로 나가게되면 wifi사용 및 포트포워딩이 자유롭지않아 원격 제어 관련 이슈가 예상됨

1차원적인 방법으로 핫스팟을 통해 ROS 구동 가능 (확인한 사항)
원격 접속 주소는 아래에서 확인가능

• 영상을 관찰하려면 원격 viewer를 사용해야함.

--윈도우10에 ROS설치해서 master간 통신을 통해 윈도우에서 topic조회
장점 : 3d뷰어의 경우 cpu점유율이 높은데 젯슨에 부하를 따로 주지않음
단점 : 약 fps2.5

--putty를 통한 xming사용
장점 : 없음
단점 : fps 매우 느림

--원격 데스크 톱 공유를 통한 화면 접속 fps 나쁘지않음
장점 : 빠른 속도
단점 : 뷰어가 젯슨에서 로딩되서 cpu과부하가 걸릴 수 있음

ros 버전 오류 해결 / motor 속도 제어

노트북으로 원격 제어해서 모터 속도 방향키로 제어 성공 & ros 버전 오류 해결했어요

[Task]Senario

[VSLAM]Stuck at "Initailization succeeded with E"

Problem

• initialization succeeded with E에서 멈춰서 아무 작업도 일어나지 않음
• no mapping & frame stuck
  

solve

• xdspacelab/openvslam#200
• ros-melodic-libg2o 제거
• 형성된 map
  

[Task]자율 주행 frame work

[SLAM]cartographer 사용하기

topic remap

<remap from="/zed2/zed_node/odom" to="/odom" />

• 경로 : workspace/catkin_ws/src/zed-ros-wrapper/zed-wrapper/launch/zed2.launch
• 이유 : zed 카메라에서 publish하는 토픽은 zed2/zed_node/odom인 반면 cartographer에서 subscribe하는 토픽은 odom이기 때문에 odometry 정보 사용을 위해서 반드시 remap을 해줘야 함.

cartographer odometry 사용 설정

options = {
  ...
  tracking_frame = "base_link",
  published_frame = "base_link",
  odom_frame = "odom",
  ..
  use_odometry = true,
 ...
}

• 경로 : workspace/catkin_ws/src/x2_cartographer/carto_mapper/config/x2.lua
• use_odomery true 설정하기
• tf 변환 이슈 해결을 못해서 우선 뭐를 base_link인지 base_frame인지로 바꿔뒀는데 뭐였는지 기억이 안 남........
• 2D SLAM에선 IMU data는 써도 안 써도 상관 없다하니 쓰지 않았음.

[회의록]2020.02.08_4차회의

추가!!

[VSLAM]visual SLAM test result & problem

Given Dataset

• openVSLAM에서 제공하는 데이터셋은 전부 실내(주로 복도, 통로)
• 오른쪽 사진처럼 key frame(혹은 key point, feature point 등등으로 부르는 그거)이 많이 잡힘.
• key frame이 많이 잡히는 실내에서는 맵이 잘 그려진다고 판단 가능.

Test Dataset

• path : 쪽문 들어와서 군자관 뒤부터 이당관 근처까지
• prob : 나는 직진하고 있는데 얘는 자꾸 회전해
• Key frame : 도로 등 평면plane에서는 key frame이 잡히지 않음.
• 따라서 나무, 주차된 자동차 등의 key frame을 이용하여 map을 그리는데, 아마 이거가 충분하지 않거나 부정확해서 발생하는 문제인 듯.

• path : 카딕 나와서 엘베까지
• 얘는 사람이 너무 많고 왔다갔다 하면서 key frame 위치 변환이 심해서 이런듯?

• path : 충무관 9층 엘베에서 내린 직후부터 연구실 앞까지
• 보다시피 위치 추정을 그나마 잘 함.
• 갈림길에서 왼쪽으로 꺾을 때 얜 회전을 하긴 했지만

Selly_vision

• 기본 config 파일

• camera calibration 값을 포함한 config file, camera model : perspective

Result

• 복도가 아니면 정확도가 많이 떨어지는 것 같습니다
• 특히, mapping에 key frame이 사용되는 만큼 움직이는 물체와 평면 구간에도 영향을 많이 받습니다.
• visual SLAM이 key frame으로 추정하는 건데 키프레임이 없어서 mapping이 안 되는 듯
• 해상도가 낮아서일 가능성도 있음. 다시 촬영해서 테스트가 필요해 보임.
• Give me your opinion

연습로봇 작동방법_2/15기준

VS code

ros 실행

• roscore

아두이노 연결 USB포트번호는 유동적

• rosrun rosserial_python serial_node.py _port:=/dev/ttyUSB0
  포트번호 중복 현상 때문에 라이다가 안 켜지거나 하면 포트번호 1로 바꾸기

라이다 실행

• rosrun ydlidar ydlidar_node

카토그래퍼 실행

• roslaunch carto_mapper mapper.launch

카메라 실행

• rosrun selly camera.py

자율 주행 실행

• rosrun selly auto_controller.py

수동 조종

• rosrun selly motor.py

원격 데스크탑

• 터미널에서 rviz입력(디스플레이 실행)

• rviz에서 토픽 추가 : LaserScan(라이다토픽), image(카메라토픽), map(카토그래퍼)

• LaserScan토픽 디스플레이 설정 : Fixed Frame이 <Laser_frame>, size가 <0.03>

[SLAM]cartographer 관련 tf변환 이슈

SLAM 기본 구조

issue

• 정확한 위치 추정을 위해 로봇의 구조에 따른 센서의 위치를 지정하여 tf 변환
  • odom -> base_footprint -> base_link -> base_scan
  • base_footprint : 아마 지표면 위치 정보인것으로 예상.
  • base_link : base_footprint로부터 로봇 하단 프레임의 위치
  • base_scan : base_link로부터 떨어진 센서의 위치
• 이 위치 정보를 지정한 후 상대 변환(tf) 해줘야 하는데 헷갈려서 일단 base_link 정보만 가지고 tf 시켜서 mapping하였음.
• 문제는 base_footprint를 지워버려서 간간히 tf 변환이 실패하는 경우가 생김.
  
  위처럼 laserscan error가 뜨고, 이 때 laserscan하는 값이 튕김

[Task]아두이노 제어.py

환경감지 모듈

* 핵심 기술 : object detection & tracking

• 수집한 센서 정보를 통해 기초 객체 인식

• 센서 정보로부터 특징을 추출하여 다음 단계에서 사용할 수 있도록 함.

위치 추적 모듈

* 핵심 기술 : 특이점의 변화 학습시키기 (논의 후 결정)

• 분석한 센서 정보와 초기에 입력된 지도 데이터베이스를 비교하여 현재 위치 예상 및 위치 db 업데이트.

SLAM 모듈

• 앞선 모듈의 정확도와 안정성을 높이기 위해 추가해야 함.

[3/10]Location estimation & 3D structure recognition & remote control 전체적인 방향성

[회의록]2020.02.15_5차회의(Task 추가)

TODO

• SLAM을 이용한 경로 설정(navigating)
• 물체 회피 알고리즘??
  A. 인도 보행 영상 데이터를 학습시켜서 라이다랑 결합할 수 있는 방법은 없을까?
   ZED 카메라의 아웃풋 중 하나인 뎁스 이미지 사용해서 라이다랑 결합?
• GPU 문제
  A. 서비스 단계에서 GPS를 쓰긴 해야 될 듯. 아니면 SLAM맵과 지도를 결합할 수 있는 방법은 없나?
• 인도보행
  A. 학습데이터 용량이 큼(300-400G -나눠서 학습->나눠서 넣어놓을 저장소 & 학습 환경조성)
  B. 객체인식 이론 공부
• 젯슨나노에서 예상되는 추론 속도 체크하는 방법
• 하드웨어 설계(교수님 면담 후)
  A. 사륜구동 자동차의 제자리 회전 참고
  B. 모터 스펙 등 사용할 모듈 포함
  C. 몸통 구조

3주차 Task 할당

1. 연우
   A. 카토그래퍼
   B. 카토맵 런쳐 안쓰고 라이더 써서 맵 만들기
2. 다솔
   A. 하드웨어 설계도 대충 그리기(교수님 면담 전까지)
   B. 3D 프린팅 견적 요청하기
   C. SLAM 공부. 슬램으로 네비게이팅 하는 법.
3. 준혁
   A. 인도 보행영상 데이터 받아오기
4. 전체
   A. 경로 설정을 어떻게 해? 알아보기

하드웨어 하단부 프레임 제작 관련

• 2/18(화) : 제작 업체 서치, 연락 돌리기. 업체 목록 정리해서 저녁까지 카톡방에 올리기
• 2/19(수) : 올린 자료들로 제작을 맡길것인지 토론 및 업체 추리기.
• 2/21(금)(미확정) : 청계천에서 발품 팔아보기. 추린 업체 가보기. 프레임 맡기기
• 제작을 안 맡길 경우 : 수요일에 부품 주문. 주말 전에 오면 제작.
• [issue] 인터넷으로만 찾아보는 것이 충분한가? 발품을 팔아보는것이 좋지 않나?

SLAM을 위한 로봇 하드웨어(Gmapping 제약사항)

Gmapping

-SLAM 중 ROS 패키지로 공개되어 있음

[ 제약사항 ]

-몇 가지 하드웨어 제약을 가지고 있음

• 이동 명령

두 축의 구동 모터로 이루어진 형태로 주로 좌/우축 바퀴가 따로 구동 가능한 차동 구동형 모바일 로봇(differential drive mobile robot) 또는, 옴니 휠 3개 이상의 구동축을 가지고 있는 전 방향 이동 로봇 (omni-wheel robot)과 같이 x, y, theta 속도 명령어로 받아 동작 가능해야 한다.

• 주행기록계 (Odometry)

오도메트리 정보를 얻을 수 있어야 한다. 즉, 자신이 이동한 거리, 회전량을 추측 항법(dead reckoning, 데드레커닝)으로 계산 가능하거나, 이에 준하는 이동량을 구하기 위하여 IMU 센서 등의 관성 정보를 이용하여 위치 보상, 혹은, 단독으로 IMU 센서로 선속도(linear velocity)와 각속도(angular velocity)를 측정하여 로봇 스스로 자신의 위치를 계측/추청 가능해야 한다.

• 계측 센서

SLAM과 내비게이션을 위하여 로봇은 X-Y 평면상의 장애물을 계측 가능한 LRF(Laser Range Finder), LiDAR 및 Kinect, Xtion 과 같은 Depth camera 의 경우에는 3차원 정보를 X-Y 평면상의 정보로 변환하여 사용 가능하다. 즉, 2차 평면 계측 가능 센서를 탑재하고 있어야 한다.

(일단 기타 카메라를 이용한 비쥬얼 SLAM 등은 고려하지 않음)

• 로봇 형태

직사각형 및 원형의 로봇만을 대상으로 한다. 한 쪽 축으로 길게 나온 변형의 로봇, 방문 사이로 지나가지 못할 정도로 너무 큰 로봇, 2족 휴머노이드 로봇, 다관절 로봇, 비행 로봇은 제외

*수정예정임

[회의록]2020.04.07_25차 회의록

현재까지의 진행사항

GPU 문제

• 준혁님의 데스크탑 구매로 해결

인도보행 segmenting

• pspunet 모델로 학습한 결과 성능이 나쁘지 않음(아직 서버컴으로 학습 진행중) .
  추후 ICNet 모델로도 학습 돌려 볼 예정

SLAM

• 카토그래퍼 시연 영상

하드웨어

• 예산 문제..때문에 비교적 단단한 우드락을 구매하여 로봇프레임 제작

일주일에 거쳐 열심히 드라이버질하고

톱질도 했으나...

2륜 구동으로 바꿀 예정이라,, 프레임을 다시 제작 해야할듯하다ㅜㅜ

• jetson 배터리 문제 → 교수님의 도움으로 보조배터리 구매 해결
  

논의 안건

• road segmenting만으로 물체회피를 진행할 수 있을지..?
  *zed 2로 얻은 카메라로 object detection 해서 segmenting 보완방법
  *cloud point로 얻은 정보로 안전버블 영역 설정하기
  ->overfitting 문제와 data load 지연 문제 해결해야함

• 일단 채널 2개짜리 모터드라이버 기다리는 중. 이번주 안으로 2륜 구동으로 다시 하드웨어 제작 할 예정!

To do

• 주행 알고리즘 공부

• 안전 버블 영역을 어떤 기준으로 사용할지, 어떻게 설정할지 고민 필요!

• VSLAM 진행

[SLAM]cartographer 사용을 위한 ros topic 변환

issue

• cartographer에서 subscribe하는 오도메트리 ros topic : odom
• zed 카메라에서 publish하는 오도메트리 ros topic : zed2/zed_node/odom

solve

• ros topic remap tag
• https://roboticsbackend.com/ros-topic-remap-example/
• zed 카메라 관련 topic을 publishing하는 zed launch 파일에서 zed2/zed_node/odom topic을 odom으로 remap
  
• subscribe하는 topic을 remap하는 방법도 있지만 published topic을 바꿔야 cartographer 동작 과정에서 꼬이지 않을 것 같아서 이렇게 함.
• 참고 : subscribed topic을 바꾸려면 cartographer node에서 remap 해줘야 함(mapper launch파일).

[규칙]이슈 규칙

1. 모든 이슈는 목적에 따라 적절한 레이블을 붙인다. 기본 레이블은 issue이다.

2. 다음 내용에 관한 이슈는 머릿말을 붙인다.

• [회의록]
• [자료]
• [테스트]
• [규칙]

3. 회의 관련 이슈는 제목을 날짜_주제 로 짓는다.

• [회의록]20200201_2차 회의
• [자료]20200130_2차 회의 준비 자료_자율주행 framework
• [자료]20200128_2차 회의 사전 준비

4. 코드에 관한 이슈는 아래 예시와 같이 머릿말을 붙인다.

• [jetson/hardware]
• [jetson/software]
• [ros]

5. 풀 리퀘스트 규칙을 따른다.(브랜치 규칙 이슈 참고)

6. 해결된 이슈는 close한다. bug/problem/question 관련 레이블이 붙은 이슈는 solve 레이블을 추가한 후 close한다.

[Task]데이터를 어떤 형태로 수집하는지 파악 먼저 !!!

수집한 데이터를 어디까지 활용할 수 있는지 먼저 파악하는게 우선

알고리즘 탐색 전에 우리가 사용할 수 있는 데이터가 어떤 타입에 데이터인지 먼저 정리하고 시작해야 할 것 같습니다. 또한 ROS에서 사용가능한지 확인하는 절차도 필요합니다. 우리가 ZED카메라를 사용하기로 결정했으니 ZED카메라를 기준으로 생각해봅시다.

예를들어 ZED카메라로 수집되는 데이터중 2d 이미지인 일반 영상과 depth영상을 opencv를 사용하여 이미지 인식, CNN, 특징점 검출등 사용할 수 있지만

이런 3D 이미지는 우리가 python 자체에서 취할 수 없으므로 어떻게 사용할 지 알아봐야합니다. (아마 ROS gui에서 처리할 듯 싶은데)

만약 3D이미지를 잘 활용한다면 2D이미지는 굳이 필요하지 않을 수도 있고, 결국 2D 이미지의 알고리즘을 조사하는 자원이 낭비되니까 미리 아키텍쳐를 잡고 시작해야될 것 같습니다.

ZED 카메라에는 추가적으로 자이로 센서나 가속도계등이 다른 센서도 포함하니까 사용하려는 하드웨어의 장점을 최대한 살려서 불필요한 자원낭비를 줄였으면 좋겠네요~!

zed 카메라 python api 사용 github
https://github.com/stereolabs/zed-python-api
zed 카메라 docs
https://www.stereolabs.com/docs/getting-started/

[하드웨어]모터드라이버 문제

Problem

• 모터 드라이버 구조가 직렬인가? 모터를 하나만 연결했을 때랑 두 개 연결했을 때의 파워가 다름. 하나만 연결하면 빠르고 강함
• 모터 드라이버에 전원을 인가하고 모터를 꽂으면 구동 되는데 모터를 꽂아둔 채로 전원을 인가하면 모터 구동이 안 됨.
  -> 파워가 약함. 덜컥덜컥
  -> 현재 업로드된 코드는 전원이 들어오기만 하면 모터가 최대 속도로 굴러가는 코드.
  -> 코드 변경해서 업로드 해 볼 것!
• 코드 문제일까? 회로 연결 문제일까? 뭐가 문제일까

특징점 검출 알고리즘 비교

• Harris Corner Detection 과 FAST 알고리즘

<문제점>

영상의 크기 변경될 경우, 코너는 더이상 코너가 아니게 됨.
ex) 작은 영상에서의 코너 → 큰 영상에서의 에지로 바뀌어버림
∴ 크기가 다른 두 객체 영상에서 단순한 코너 점을 이용하여 서로 같은 위치를 찾는 것에는 한계가 존재.

• SIFT 알고리즘

<문제점>

하나의 특징점에 대한 정보는 128차원의 실수 벡터임
∴ 이는 꽤 많은 메모리를 사용 & 불필요한 특징점까지 잡음

---

• SURF,KAZE 알고리즘

-SIFT의 속도와 성능을 개선한 알고리즘 이지만.. 이것들은 스케일 스페이스를 구성하는 등의 복잡한 연산을 수행해야 하기 때문에 실시간 응용에서 사용하기 어려움

---

• ORB 알고리즘

-논문에서는 SURF 와 SIFT 보다 매우 빠르고, SURF 보다 정확한,낮은 컴퓨팅 파워 환경에서 돌리기 좋은 알고리즘이라 소개함
간단하게 설명하자면 FAST 알고리즘을 통해 특징점을 찾고 (단, FAST 알고리즘의 단점을 보완하기 위해 영상 크기를 점진적으로 축소한 피라미드 영상을 구축하여 특징점을 추출함) 각 특징점에서 주된 방향 성분을 계산하고, 방향을 고려한 BFIEF 알고리즘으로 이진 기술자를 계산함

따라서 특징점 검출을 사용할시 ORB 알고리즘이 가장 적합하다고 생각되어 ORB 알고리즘을 이용해 영상의 특징점 검출하겠습니다

[Segmenting] road segmenting 시연 동영상

*pspnet 구조

-pspnet + unet 모델 사용

[SLAM] Catographer 참고 사이트

YDLIDAR ros + catographer

• https://msadowski.github.io/ydlidar-x2-review-ros-cartographer/

• https://github.com/msadowski/x2_cartographer

google에서 오픈소스 제공하는 catographer SLAM

• https://google-cartographer-ros.readthedocs.io/en/latest/

• https://github.com/googlecartographer/cartographer_ros

[ROS]라이더 센서와 아두이노 USB 포트 중복 현상

jetson에서 usb포트를 인식할 때 먼저 연결된 usb를 0번포트로 지정하는 경향이있음
serial 연결할때 포트번호를 변경해서 인식 시키면됨
rosrun rosserial_python serial_node.py _port:=/dev/ttyUSB0
->rosrun rosserial_python serial_node.py _port:=/dev/ttyUSB1 _baud:=57600
변경.