편집: 컴퓨터 비전 워크샵

　　작은 비서 추가: dddvision, 참고: 3D 목표 감지, 당신을 무리로 끌어들입니다. 문말 업종 세분화군 스캔 아래 큐알（QR）코드, 3D 시각지식별 가입, 별에 수많은 3D 시각실전 문제, 각 모듈의 학습 자료: 거의 20 개 동영상 과정 (행성 멤버 무료 학습), 최신 최고회 논문, 컴퓨터 시각 서적, 양질의 3D 시각 알고리즘 소스 코드 등. 입문 3D 시각, 프로젝트, 과학 연구, 코드 스캔을 환영합니다!

　　논문 저자: Zhongrui Yu | 편집: 컴퓨터 시각 공방

　　위챗 추가: dddvision, 참고: 3D 가우스, 당신을 무리로 끌어들입니다. Sgd: street view synthesis with Gaussian splatt ing and diffusion prior

　　논문 주소: https://arxiv.org/pdf/2403.20079.pdf

　　1. 안내

　　이 문장 은 가우스 산란 과 확산 선험적 인 거리 장면 의 새로운 시각 합성 방법 을 제기했다. 차량이 캡처한 이미지 시야각이 제한된 문제를 해결하기 위해 문장 확산 모델을 미세 조정하여 가우스 산란 모델의 시야각 인식 능력을 높였습니다. 특히 인접한 프레임 이미지와 라이더 점 구름 깊이 정보를 조건으로 문장 사용하여 확산 모델을 미세 조정합니다. 가우시안 분산 모델을 훈련시킬 때 무작위로 샘플링된 의사 뷰 이미지를 문장 렌더링하고 미세 조정된 확산 모델을 통해 이러한 각도의 안내 이미지를 생성합니다. 실험은 이 방법이 KITTI 와 KITTI-360 데이터 세트에서 좋은 결과를 얻었으며 훈련 시각에서 벗어나는 새로운 시각에서 고품질의 렌더링 효과를 유지할 수 있다는 것을 증명했다. 전반적으로 이 문장 은 가우스 산란 과 확산 선험적 인 결합 을 통해 자동 운전 시뮬레이션 중 새로운 시각 제어 능력 을 높였다.

　　2. 주요 기여

　　3, 방법 개요

　　우리의 방법은 다음 그림에 요약되어 있습니다. (a) 확산 모델 [27] 미세 조정에는 두 가지 훈련 단계가 있습니다. 먼저 텍스트 프롬프트의 CLIP 텍스트 피쳐에 연결된 참조 이미지의 패치 CLIP 이미지 기능을 주입하여 U-Net 을 미세 조정합니다. 둘째, 대상 이미지의 깊이를 제어 신호로 사용하여 ControlNet 을 훈련시킵니다. (b).(a) 의 미세 조정 확산 모델은 의사 뷰의 정규화를 제공하여 종이 항공기 다운로드 방법을 제공하여 3DGS 교육을 안내합니다. 간단히 하기 위해 VAE 인코더와 디코더는 그림에서 생략되었습니다.

　　주요 내용:

　　Diffusion telegram 의 공식 홈페이지를 미세 조정하는 다운로드 주소는 어디에 있습니까세계 랭킹 1 위오피스타 공식 웹 사이트 포털 방법을 찾는 방법? Model: 먼저 자동 운전 데이터 세트에서 Diffusion Model 을 미세 조정하고 인접한 프레임을 조건으로 사용하며 LiDAR 점 구름에서 제공하는 깊이 정보를 결합합니다. 미세 조정은 두 단계로 구성됩니다. 첫 번째 단계는 CLIP 이미지 인코더를 통해 인접한 프레임에 대한 의미 정보를 도입하고 두 번째 단계는 ControlNet 을 통해 깊이 정보를 도입하여 이미지 생성을 제어합니다.

　　3D Gaussian Splatting 및 Diffusion Prior 결합: 미세 조정된 Diffusion Model 과 3D Gaussian Splatting 을 결합하여 관찰되지 않은 시야각의 합성을 안내합니다. 3DGS 훈련 과정에서 훈련 시야각 외에도 의사 시야각을 무작위로 샘플링합니다. Diffusion Model 을 사용하여 3DGS 렌더링의 의사 시야각 이미지를 안내하여 관찰되지 않은 세계에 대한 인식을 높입니다.

　　Diffusion Model 이 제공하는 사전 지식과 결합하여 자동 운전 장면에서 3DGS 의 새로운 시각 합성 기능을 향상시키기 위해 문장 제안 SGD 방법을 자세히 설명합니다.

　　4, 손실 함수

　　관련된 손실 함수는 주로 다음과 같습니다.

　　재구축 손실 Lrecon: RGB 손실, SSIM 손실 및 깊이 손실을 포함하여 3D 가우스 모델을 최적화하는 매개변수인 φ o 를 사용하여 렌더링된 이미지와 실제 이미지 간의 차이를 계산합니다.

　　의사 뷰 손실 Lpseudo: RGB 손실, SSIM 손실 및 깊이 손실을 포함하여 3D 가우스 모델을 최적화하는 매개변수 φ P 는 렌더링된 의사 뷰와 확산 모델을 통해 생성된 안내 이미지 간의 차이를 계산합니다.

　　종합 손실 L: 복합 재구성 손실 및 의사 뷰 손실, 하이퍼매개변수 λpseudo 를 통한 가중치 부여, 결국 3D 가우스 모델의 매개변수 φ 최적화

　　확산 모델 손실: 2 단계 손실 함수를 포함합니다. 첫 번째 단계는 U-Net 손실 함수 L(θ) 을 통해 확산 모델의 매개변수 θ를 최적화하고, 두 번째 단계는 제어 네트 손실 함수 L (θ θ) 을 통해 제어 네트의 매개변수 세타를 최적화합니다.

　　U-Net 손실 함수 L(θ): 확산 모델의 U-Net 부분을 최적화하고 임의 노이즈와 U-Net 출력의 노이즈 간 차이를 계산하는 데 사용됩니다.

　　ControlNet 손실 함수 L (θ): 확산 모델의 ControlNet 부분을 최적화하고 임의 노이즈와 ControlNet 출력의 노이즈 간 차이를 계산하는 데 사용됩니다.

　　따라서 문서에 포함된 주요 손실 함수에는 재구성 손실, 유사 뷰 손실, 확산 모델 손실 등이 포함되며, 이러한 손실 함수의 조합을 통해 3D 가우스 모델 및 확산 모델의 매개변수를 효과적으로 최적화할 수 있습니다.

　　5, 실험 결과

　　저자가 실시한 실험과 실험 결과를 주로 묘사했다. 이 섹션에는 다음과 같은 주요 내용이 포함되어 있습니다.

　　실험 세부 사항: 저자는 확산 모델 및 3D 가우스 모델에 대한 교육 세부 사항을 포함하여 실험에 사용된 모델 및 하이퍼매개변수 설정에 대해 자세히 설명합니다.

　　실험 설정: 저자는 실험에 사용된 두 개의 자동운전 데이터 세트 (KITTI 와 KITTI-360) 를 설명하고, KITTI-360 데이터 세트에만 확산 모델을 미세 조정했지만 KITTI 데이터 세트는 미세 조정에 참여하지 않았다고 지적했다.

　　경쟁 모델 선택: 작성자는 3DGS, Zip-NeRF, MARS 를 포함한 3 개의 경쟁 모델을 선택하여 비교했습니다. 공정한 비교를 위해 저자는 3DGS 를 재현하고 그 매개변수를 조정했다.

　　실험 결과: 저자는 테스트 뷰와 새로운 뷰에 대한 양적 및 질적 비교 결과를 보여 줍니다. 그 결과, 희소한 입력의 경우 작성자가 다른 경쟁 방법보다 우수한 렌더링 품질과 실시간 렌더링 기능을 유지한 것으로 나타났습니다.

　　절제 실험: 저자는 확산 모델의 미세 조정과 3DGS 훈련 과정을 포함하여 두 가지 주요 과정의 절제 실험을 실시하여 각 모듈의 유효성을 검증했습니다.

　　일반적으로 이 섹션에서는 실험 결과를 통해 작성자 방법의 유효성을 검증하고 다른 방법과의 비교 결과를 제공합니다.

　　6, 요약

　　결론적으로, 자동 주행 장면에서 자유 시점 렌더링 기능을 향상시킬 수 있는 방법을 제시했습니다. 몇 가지 제한 사항에도 불구하고 Dell 의 접근 방식은 새로운 각도에서 고품질의 렌더링을 유지할 수 있고 렌더링 효율성이 상당히 높다는 것을 보여 주었습니다. 이를 통해 Dell 의 접근 방식은 자동 운전 시뮬레이션에서 보다 넓은 관점을 제공하여 잠재적으로 위험한 극단적인 상황을 시뮬레이션하여 자동 운전 시스템의 전반적인 안전과 신뢰성을 향상시킬 수 있습니다.

　　이 글은 학술 공유만 할 뿐, 만약 침해가 있으면 삭제 문건에 연락해 주십시오.

　　컴퓨터 비전 워크샵 커뮤니케이션 그룹

　　현재 우리는 2D 컴퓨터 시각, 대형 모형, 산업 3D 시각, SLAM, 자동 운전, 3D 재구성, 드론 등을 포함한 3D 시각 방향 여러 커뮤니티를 구축했습니다. 세분화 그룹은 다음과 같습니다.

　　2D 컴퓨터 비전: 이미지 분류/분할, 대상/탐지, 의료 영상, 간, OCR, 2D 결함 감지, 원격 감지 측량, 초고해상도, 얼굴 감지, 행동 인식, 모델 정량화 가지 치기, 마이그레이션 학습, 인체 자세 추정 등

　　대형 모델: NLP, CV, ASR, 대항대 대형 모델 생성, 학습 강화, 대화대 모델 등

　　산업 3D 시각: 카메라 보정, 스테레오 일치, 3D 점 구름, 구조광, 로봇 팔 캡처, 결함 감지, 6D 자세 추정, 위상 편각술, Halcon, 사진 측정, 배열 카메라, 포토메트릭 입체 시각 등

　　SLAM: 비주얼 슬램, 레이저 슬램, 의미 슬램, 필터 알고리즘, 다중 센서 융합, 다중 센서 교정, 동적 슬램, mot 슬램, nerf 슬램, 로봇 탐색 등

　　자동 주행: 깊이 추정, Transformer, 밀리미터 파 | 라이더 | 비디오 카메라 센서, 다중 센서 보정, 다중 센서 융합, 자동 운전 합성 그룹 등, 3D 목표 탐지, 경로 계획, 궤적 예측, 3D 점 구름 분할, 모델 배포, 차선 감지, B

　　3d 재구성: 3DGS, NeRF, 다중 뷰 형상, OpenMVS, MVSNet, colmap, 텍스처 맵 등

　　Uav: quadrotor 모델링, UAV 비행 제어 등

　　이 외에도 구직, 하드웨어 선택, 시각 제품 착지, 최신 논문, 3D 시각 최신 제품, 3D 시각 업계 뉴스 등 교류군이 있다.

　　소보 추가: dddvision, 참고: 연구 방향+학교/회사+별명 (예: 3D 점 구름+청화+딸기) 으로 여러분을 끌어들입니다.

　　3D 시각 학습 지식 행성

　　3DGS, NeRF, 구조광, 위상 편각술, 로봇 그립, 점 구름 실전, Open3D, 결함 감지, BEV 인식, Occupancy, Transformer, 모델 배포, 3D 목표 감지, 깊이 추정 LeGo-LAOM, 멀티 모드 융합 SLAM, LOAM-SLAM, 실내 및 실외 SLAM, VINS-Fusion, ORB-SLAM3, MVSNet 3d 재구성, colmap, 선면 구조광