The document outlines different frameworks for 3DoF+ and 6DoF virtual reality systems. It discusses using single or multiple 360 degree images, 180 degree images, or spherical lightfield cameras as input. It also describes evaluating virtual views rendered from these inputs by comparing to single or multiple reference 360 degree or 180 degree views. The goal is to support increasingly immersive experiences from 3DoF+ to 6DoF by using different camera configurations and reference views for evaluation.
This document proposes test materials for evaluating 3DoF+ and 6DoF technologies. It describes 4 computer generated scenes of increasing complexity: Space 360, House 360, People 360, and Blocks 360. For each scene, images and depth maps are captured from multiple viewpoints to allow rendering from different angles. The materials are made freely available for research and standardization purposes but remain the property of the universities, with required acknowledgement for publications. Additional views can be rendered upon request.
This document presents a method for omnidirectional view synthesis using a novel Omnidirectional Video plus Depth (OVD) format. A test model of an entrance hall was created to evaluate the method. The view is synthesized by transforming 3D coordinates using depth data and reprojecting onto the sphere. Results show the synthesized views match the reference with PSNR decreasing with increased virtual viewpoint translation. This new method allows free viewpoint navigation for omnidirectional content.
This document describes an omnidirectional lightfield test image called "Poznan_Lab_360". It was captured using a rotation acquisition platform with three full HD cameras that implements either a stereo omnidirectional acquisition model with two rotating slit cameras or an omnidirectional lightfield model with a rotating wide-angle camera. The test image contains 3600 views captured at 0.1 degree angular resolution and 1080x1920 resolution.
This document outlines an evaluation framework for 3DoF+ virtual reality systems. It discusses different configurations for the input (single/multiple 360° cameras or 180° cameras) and evaluation methods based on those inputs. Evaluation involves comparing a rendered virtual view from the input views to one or more reference views to assess virtual view quality. Reference views can be partial 180° views or full 360° views, and evaluation is done by comparing at the location of the reference views.
The document outlines different frameworks for 3DoF+ and 6DoF virtual reality systems. It discusses using single or multiple 360 degree images, 180 degree images, or spherical lightfield cameras as input. It also describes evaluating virtual views rendered from these inputs by comparing to single or multiple reference 360 degree or 180 degree views. The goal is to support increasingly immersive experiences from 3DoF+ to 6DoF by using different camera configurations and reference views for evaluation.
This document proposes test materials for evaluating 3DoF+ and 6DoF technologies. It describes 4 computer generated scenes of increasing complexity: Space 360, House 360, People 360, and Blocks 360. For each scene, images and depth maps are captured from multiple viewpoints to allow rendering from different angles. The materials are made freely available for research and standardization purposes but remain the property of the universities, with required acknowledgement for publications. Additional views can be rendered upon request.
This document presents a method for omnidirectional view synthesis using a novel Omnidirectional Video plus Depth (OVD) format. A test model of an entrance hall was created to evaluate the method. The view is synthesized by transforming 3D coordinates using depth data and reprojecting onto the sphere. Results show the synthesized views match the reference with PSNR decreasing with increased virtual viewpoint translation. This new method allows free viewpoint navigation for omnidirectional content.
This document describes an omnidirectional lightfield test image called "Poznan_Lab_360". It was captured using a rotation acquisition platform with three full HD cameras that implements either a stereo omnidirectional acquisition model with two rotating slit cameras or an omnidirectional lightfield model with a rotating wide-angle camera. The test image contains 3600 views captured at 0.1 degree angular resolution and 1080x1920 resolution.
This document outlines an evaluation framework for 3DoF+ virtual reality systems. It discusses different configurations for the input (single/multiple 360° cameras or 180° cameras) and evaluation methods based on those inputs. Evaluation involves comparing a rendered virtual view from the input views to one or more reference views to assess virtual view quality. Reference views can be partial 180° views or full 360° views, and evaluation is done by comparing at the location of the reference views.
The document discusses camera calibration techniques. It aims to determine intrinsic camera parameters like focal length and optical center, and extrinsic parameters like the camera's position and orientation in 3D space. Zhang's algorithm is described, which allows estimating these parameters using a planar calibration target. It formulates the camera projection model and shows how to estimate the homography H relating the target's 3D points to 2D image points. H is defined up to a scale factor, so the absolute scale of the scene cannot be determined from this calibration alone. Constraints are also described to impose orthonormality of the rotation vectors.
Techniki kalibracji systemów wielowidokowych wprowadzenie teoretyczneKrzysztof Wegner
The document discusses techniques for calibrating multi-view systems including Zhang's algorithm. Zhang's algorithm allows estimation of intrinsic camera parameters like the A matrix as well as extrinsic parameters like the rotation matrix R and translation vector t. It works by using a planar template with Z=0 to simplify the calibration equations. The document also mentions factorization of the fundamental matrix and invariants of perspective transformations as part of multi-view calibration techniques. It concludes by discussing view synthesis and blending in multi-view rendering systems.
Optimization algorithms for solving computer vision problemsKrzysztof Wegner
The document discusses optimization algorithms for solving computer vision problems. It describes how computer vision problems can be formulated as energy minimization problems over pixel labels. Specific examples of segmentation and depth estimation are provided. Graph cuts is presented as an efficient algorithm for minimizing energies that can be expressed as sums of unary and pairwise terms. The algorithm works by finding the minimum s-t cut in a graph constructed from the energy terms.
Szybka estymacja map głębi na procesorach graficznychKrzysztof Wegner
Praca przedstawia charakterystykę metod użytych do szybkiej estymacji głębi na procesorach graficznych oraz szybkość obliczeń poszczególnych etapów algorytmu jak i całego algorytmu w celu porównania rezultatu uzyskanego na różnych urządzeniach. W celu przeprowadzenia zróżnicowanych badań użyto metody krzyżowej opartej na dynamicznie konstruowanym oknie oraz metody iteracyjnej opartej na oknie z odpowiednio przypisanymi wagami charakteryzującymi podobieństwo obrazu. Zaimplementowane metody uruchomiono na trzech ogólnodostępnych centralnych jednostkach obliczeniowych, procesorach graficznych, a także zintegrowanych w procesorze GPU.
SYSTEM REJESTRACJI WIELOWIDOKOWYCH SEKWENCJI WIZYJNYCH ZE SWOBODNYM USTAWIENI...Krzysztof Wegner
Praca magisterska porusza zagadnienia związane z nowym typem usług telewizyjnych tzw. telewizją swobodnego punktu widzenia (FTV – Free viewpoint Television). Na całym świecie trwają intensywne badania nad systemami rejestracji wielowidokowych sekwencji wizyjnych, będącymi podstawą przy tworzeniu systemów FTV. Istniejące systemy rejestracji wielowidokowych sekwencji wizyjnych posiadają wiele wad ograniczających rozwój telewizji FTV. Celem pracy było zaprojektowanie taniego i prostego w obsłudze wielokamerowego systemu rejestracji sekwencji wizyjnych, będącego alternatywą dla systemów obecnie stosowanych.
System zbudowany został w oparciu o tanie i powszechnie dostępne elementy. W projekcie wykorzystano kamery internetowe podłączane na USB. Opracowano moduł kamerowy zbudowany z kamery i mikrokomputera wyposażonego w kartę pamięci. Opracowano także dedykowane oprogramowanie: zarządcy - instalowane w module zarządzającym, służące do zarządzania modułami kamerowymi oraz modułu kamerowego, instalowane w mikrokomputerze, służące do obsługi kamer i przetwarzania obrazu. Opracowany system charakteryzuje się prostą budową i łatwością obsługi. Umożliwia dowolną modyfikację liczby kamer oraz precyzyjną synchronizację za pomocą przebadanych dwóch techniki synchronizacji: z użyciem modułu zarządzającego lub z wykorzystaniem zsynchronizowanych zegarów modułów kamerowych.
The document describes a multi-view video acquisition system developed at Poznań University of Technology. The system allows for the easy capture of synchronized multi-view video using independent and wireless camera modules. Each module can record up to 100 minutes of uncompressed HD video and operates remotely for up to 4 hours. The system has been used to capture test sequences from various scenes around Poznań to allow viewers to watch from arbitrary viewpoints after processing.
This document describes disoccluded region coding, a tool from Poznan University of Technology's 3D video codec. The tool transmits only disoccluded regions from side views rather than full views, as not all samples from left and right views are needed to synthesize virtual views - only the center view and disoccluded regions are necessary. An evaluation found the tool provided bitrate reductions of 45-57% compared to MVC 13 for objective PSNR and 52-67% for subjective mean opinion scores on test sequences. Current work is adapting the tool for circular camera arrangements.
The document discusses camera calibration techniques. It aims to determine intrinsic camera parameters like focal length and optical center, and extrinsic parameters like the camera's position and orientation in 3D space. Zhang's algorithm is described, which allows estimating these parameters using a planar calibration target. It formulates the camera projection model and shows how to estimate the homography H relating the target's 3D points to 2D image points. H is defined up to a scale factor, so the absolute scale of the scene cannot be determined from this calibration alone. Constraints are also described to impose orthonormality of the rotation vectors.
Techniki kalibracji systemów wielowidokowych wprowadzenie teoretyczneKrzysztof Wegner
The document discusses techniques for calibrating multi-view systems including Zhang's algorithm. Zhang's algorithm allows estimation of intrinsic camera parameters like the A matrix as well as extrinsic parameters like the rotation matrix R and translation vector t. It works by using a planar template with Z=0 to simplify the calibration equations. The document also mentions factorization of the fundamental matrix and invariants of perspective transformations as part of multi-view calibration techniques. It concludes by discussing view synthesis and blending in multi-view rendering systems.
Optimization algorithms for solving computer vision problemsKrzysztof Wegner
The document discusses optimization algorithms for solving computer vision problems. It describes how computer vision problems can be formulated as energy minimization problems over pixel labels. Specific examples of segmentation and depth estimation are provided. Graph cuts is presented as an efficient algorithm for minimizing energies that can be expressed as sums of unary and pairwise terms. The algorithm works by finding the minimum s-t cut in a graph constructed from the energy terms.
Szybka estymacja map głębi na procesorach graficznychKrzysztof Wegner
Praca przedstawia charakterystykę metod użytych do szybkiej estymacji głębi na procesorach graficznych oraz szybkość obliczeń poszczególnych etapów algorytmu jak i całego algorytmu w celu porównania rezultatu uzyskanego na różnych urządzeniach. W celu przeprowadzenia zróżnicowanych badań użyto metody krzyżowej opartej na dynamicznie konstruowanym oknie oraz metody iteracyjnej opartej na oknie z odpowiednio przypisanymi wagami charakteryzującymi podobieństwo obrazu. Zaimplementowane metody uruchomiono na trzech ogólnodostępnych centralnych jednostkach obliczeniowych, procesorach graficznych, a także zintegrowanych w procesorze GPU.
SYSTEM REJESTRACJI WIELOWIDOKOWYCH SEKWENCJI WIZYJNYCH ZE SWOBODNYM USTAWIENI...Krzysztof Wegner
Praca magisterska porusza zagadnienia związane z nowym typem usług telewizyjnych tzw. telewizją swobodnego punktu widzenia (FTV – Free viewpoint Television). Na całym świecie trwają intensywne badania nad systemami rejestracji wielowidokowych sekwencji wizyjnych, będącymi podstawą przy tworzeniu systemów FTV. Istniejące systemy rejestracji wielowidokowych sekwencji wizyjnych posiadają wiele wad ograniczających rozwój telewizji FTV. Celem pracy było zaprojektowanie taniego i prostego w obsłudze wielokamerowego systemu rejestracji sekwencji wizyjnych, będącego alternatywą dla systemów obecnie stosowanych.
System zbudowany został w oparciu o tanie i powszechnie dostępne elementy. W projekcie wykorzystano kamery internetowe podłączane na USB. Opracowano moduł kamerowy zbudowany z kamery i mikrokomputera wyposażonego w kartę pamięci. Opracowano także dedykowane oprogramowanie: zarządcy - instalowane w module zarządzającym, służące do zarządzania modułami kamerowymi oraz modułu kamerowego, instalowane w mikrokomputerze, służące do obsługi kamer i przetwarzania obrazu. Opracowany system charakteryzuje się prostą budową i łatwością obsługi. Umożliwia dowolną modyfikację liczby kamer oraz precyzyjną synchronizację za pomocą przebadanych dwóch techniki synchronizacji: z użyciem modułu zarządzającego lub z wykorzystaniem zsynchronizowanych zegarów modułów kamerowych.
The document describes a multi-view video acquisition system developed at Poznań University of Technology. The system allows for the easy capture of synchronized multi-view video using independent and wireless camera modules. Each module can record up to 100 minutes of uncompressed HD video and operates remotely for up to 4 hours. The system has been used to capture test sequences from various scenes around Poznań to allow viewers to watch from arbitrary viewpoints after processing.
This document describes disoccluded region coding, a tool from Poznan University of Technology's 3D video codec. The tool transmits only disoccluded regions from side views rather than full views, as not all samples from left and right views are needed to synthesize virtual views - only the center view and disoccluded regions are necessary. An evaluation found the tool provided bitrate reductions of 45-57% compared to MVC 13 for objective PSNR and 52-67% for subjective mean opinion scores on test sequences. Current work is adapting the tool for circular camera arrangements.
17. 17
Zachęcamy do współpracy
Firmy
Wspólne projekty, wdrożenia
Pracowników naukowych
Wspólne projekty
Studentów
Praktyki
Pierwsze doświadczenia zawodowe