I의 생각 일지

3DGS 가 무엇인가??? 3DGS (3D Gaussian Splatting) 이란 여러 사진으로부터 3차원 물체, 공간을 재구성하고 촬영되지 않은 각도에서도 사실적인 이미지를 실시간에 가깝게 렌더링하는 기술이다. 2023년 Kerbl 등이 발표한 「3D Gaussian Splatting for Real-Time Radiance Field Rendering」 논문을 통해 주목받았으며 SIGGRAPH 2023 및 ACM Transactions on Graphics에 발표됐다. (현재 논문 인용수는 11000회 정도 된다!...) 여러 장의 사진을 촬영하면 내가 촬영하지 않은 각도에서도 마치 실제 그 공간에 있는 것처럼 3d 형상, 지도가 만들어지는 것을 확인 할 수 있다. 그렇다면 이 기술은 무엇인가..

우리의 오감은 시간이라는 흐름 속에서 연속적인 경험을 겪는다.  과거를 떠올리고, 현재를 경험하며, 미래를 대비한다.  그러나 과거와 현재. 이 두 상태에 에너지를 집중하는 것이 옳은 것일까.  온갖 풍파를 겪은 지인의 삶을 들고,  '덧 없는 삶' 이라는 단어가 떠오르게 되어 이에 대해 써보려 한다.  사주팔자  우리는 '사주팔자' 처럼 곧 일어날 미래에 대해 예측하기도 한다.  잠재의식의 대가, 조셉 머피의 말을 빌리자면, 이는 잠재의식 들여다보아 현재의식을 예측하는 것이며. 100% 일어날 확실한 미래는 아니지만, 현재 상태에서 끌어당겨질 가장 가능성 높은 미래라고 볼 수 있다.  (사주팔자가 모두에게 들어맞지 않으며, 또한 100% 확실하게 예측하지 않는 다는 것을 사주팔자를 공부하신 분들이라면 ..

Zhang, Y., Xiang, T., Hospedales, T.M., & Lu, H. (2017). Deep Mutual Learning. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 4320-4328. 위의 논문에 대한 간단한 리뷰 및 코드 실습입니다  Knowledge Distillation Survey 논문 (Gou, J., Yu, B., Maybank, S.J., & Tao, D. (2020). Knowledge Distillation: A Survey. International Journal of Computer Vision, 129, 1789 - 1819.) 을 리뷰하던 중, DML 논문이 다른 KD 기법에 비해 ..

1. 장갑차량의 360도 Surround View 기술이란  전차, 장갑차량에서 탑승자가 외부 상황을 "편리하고 편안하게" 확인 가능한 HMD (Heam Mount Display) 기술로, 외부 상황을 쉽게 확인하지 못하는 장갑차량의 단점을 보완하기 위해 고안된 기술이다.  이러한 아이디어는 사실 굉장히 오래된 역사를 지니고 있으며, 최초 아이디어 출처는 정확히 모르지만, 지금까지 찾아본  관련된 레포트, 논문 중에서는 1987년, Robert L. Brook 가 HMD와 360도 Surround view 기술을 탱크에 접목하자는 아티클이 가장 오래되었다. 이 논문은 미육군 연구 센터, U.S.Army Center for Night Vision and Electro-Optics Ground Systems..

전에 작성했던 글, [우크라이나 전쟁에서 얻는 국방 아이디어] 의 연장선으로, 자연어를 활용하여 로봇을 제어하고 이를 통해 전장 상황 인식에서 우위를 점할 수 있는 법에 대해 고민해 보았다. 그리고 이러한 아이디어를 직접 구현해보고자 하는 싶은 욕구에 이런저런 논문과 오픈소스 github을 둘러보니 ROS-LLM이라는 논문과 Github 링크에서 turtlesim을 제어할 수 있는 코드를 발견하였고 이를 기반으로 코드를 수정하여 Gazebo에서 LLM과 자연어를 활용하여 간단한 Mobile robot 주행이 가능케 하였다. LLM은 ChatGPT 3.5 를 활용하였고, SLAM (SImultaneous Localization and Mapping) 은 적용하지 않았다.  주행 테스트 실험 영상   초기에..

메타버스란 쉽게 말해 디지털로 확장된 새로운 현실을 의미한다. 기술적으로 분류하자 AR(Augmented Reality), VR(Virtual Reality), XR(Expanded Reality) 가 있고, 이를 아울러 메타버스라고 칭한다. 우리는 인터넷이라는 가상의 공간에서 다른 사람, 사물과 상호작용할 수 있는 시대에 살고 있으며, 인터넷 속 사물과 사람들의 상호작용이 현실에도 영향을 미친다. 이러한 가상 공간의 확장은 우리가 삶을 살며 가상세계에 소비하는 시간을 증가시켰으며, 심지어 이에 관련된 새로운 직업과 비즈니스 모델도 창출하였다. 또한 많은 기업들이 메타버스 유저의 증가와 함께 이에 대해 관심을 기울이며 자신들의 제품을 광고, 홍보하는 역할로도 사용하고 있다.    과거 인터넷 시장의 초기..

이번 편에서는 다양한 자연어 명령을 입력해보고서 ROS-LLM 패키지의 코드와 process를 분석하고자 한다.   8 자 모양으로 움직여.  아쉽게도 turtlebot은 8자 모양으로 움직이지 않고, 그냥 원을 만들며 빙글빙글 돈다.  move forward 느릿느릿하게 앞으로 나아간다.   reset the turtle reset하지 않고 그냥 제자리에 있는다.  move to the center of the map  갑자기 급발진하며 벽에 부딪쳤다.   Go back to where turtle came from   그래도 왔던 곳으로 되돌아가는 경향을 보이기도 하지만 안되는 경우도 있음.   move forward for 1~5 seconds  이러한 명령어를 주고서 move backward라고 ..

LLM을 활용한 Robot 제어 논문을 찾아보던 중, ROS-LLM 이라는   github link : https://github.com/Auromix/ROS-LLM/tree/ros2-humble  GitHub - Auromix/ROS-LLM: ROS-LLM is a framework designed for embodied intelligence applications in ROS. It allows natural languROS-LLM is a framework designed for embodied intelligence applications in ROS. It allows natural language interactions and leverages Large Language Models (LLM..

Distilling step-by-step VLM 모델을 미세 조정함. 이 과정에서는 생성된 프로그램의 지식과 추론 단계를 end-to-end 모델로 증류함.   Loss function : 레이블 예측 손실과 추론 예측 손실을 포함.   실험  Dataset : 실험에 사용된 데이터셋은 VQA이미지 설명, 이미지 캡션 작업이 포함. 평가 : 다양한 지표 사용. F1, BLEU 점수 BLEU 점수 : Bilingual Evaluation Understudy 점수, 생성된 텍스트의 품질을 평가하는 지표. 생성한 텍스트와 참조 텍스트간의 유사도를 측정. 주로 n-그램 일치를 통해 계산.    VPD를 사용한 성능 비교  VPD 를 적용한 모델의 성능을 기존의 베이스라인 모델과 비교  베이스 라인 모델 : 기..

본 글은 DEVCOM (Army Research Laboratory) 에서 발간한 논문을 리뷰한 글입니다.  Introduction  Human-guided 로봇 탐색은 위험하거나 접근하기 힘든 장소에서의 정보수집이 유용함. 이 논문에서는 안전 프로토콜 위반을 감지하는 로봇의 역할을 설명.  안전 프로토콜 위반 : Segmentation level , Scene level, Event level 에서 탐구.  본 연구의 목표 : 특정 도메인 (ex ) laboratory space safety protocol) 에 대한 배경 지식 수집 후, 환경의 snapshot 에 대해 시스템에 질문하여 이상이 있는지 평가.  연구의 주요 기여 이상 분류 체계 설계 :  VQA 알고리즘의 질문 설계를 위한 이상 분류 ..