1. Коллекции изображений Many slides adapted from Alexei Efros and Jean-François Lalonde CSEDays-2010

3. 10 в степени Slide by Antonio Torralba Число картинок на диске : 10 4 Число картинок, виденных за 10 лет : 10 8 (3 images/second * 60 * 60 * 16 * 365 * 10 = 630720000) Число картинок, виденных всем человечеством : 1 0 20 106,456,367,669 humans 1 * 60 years * 3 images/second * 60 * 60 * 16 * 365 = 1 from http://www.prb.org/Articles/2002/HowManyPeopleHaveEverLivedonEarth.aspx Число картинок во вселенной : 10 243 10 81 atoms * 10 81 * 10 81 = Число всех картинок 32x32 : 10 7373 256 32*32*3 ~ 10 7373

4. Доступные данные 10 0 10 5 10 10 10 20 Number of pictures 10 15 Time Slide by Antonio Torralba Lena a dataset in one picture 1972 Human Click Limit (all humanity taking one picture/second during 100 years) 1996 40.000 COREL 2007 2 billion 2020?

5. Все фотографии уникальны и интересны… Slide by Antonio Torralba

6. Ха! Slide by Antonio Torralba

7. Методы обучения Число изображений 1 10 10 2 10 3 10 4 10 5 ∞ 10 6 Source by Antonio Torralba Задача экстраполяции Обобщение Transfer learning Обычные данные Задача интерполяции Сопоставление Поиск разницы

8. Hays & Efros, SIGGRAPH‘07

10. Что мы можем сказать о изображении ?

11. Семантика сцены

16. Дескриптор изображения

17. Дескриптор изображения Gist scene descriptor (Oliva and Torralba 2001)

18. Дескриптор изображения + Gist scene descriptor (Oliva and Torralba 2001)

20. … 200 изображений

22. Graph cut + Poisson blending

26. … 200 ближайших

36. … 200 ближайших

37. … 200 ближайших

40. Почему это работает ?

42. 10 ближайших из 20,000 изображений

43. 10 ближайших из 2 х миллионов изображений

44. Общая идея Небо , Вода , Холм , Пляж , Солнце , Полдень «Метод грубой силы»

45. Photo Clip Art Jean-François Lalonde, Derek Hoiem, Alexei Efros, Carsten Rother, John Winn, Antonio Criminisi « Photo Clip Art » , SIGGRAPH 2007 .

50. Идея системы Этап I: Аннотация (разметка) базы примеров Этап II: Вставка объекта Name: person Subgroup: person, standing Height: 1.5m Local context: in shadow Illumination: sunny, bright day, no cloud Segmentation quality: excellent, >40 points Upsampling blur: low

52. Организация данных 16 вручную выбранных категорий Подкатегории (кластеризация)

53. Аннотация всех объектов

55. Рост человека 1.7 +/- 0.085 m (National Center for Health Statistics) Высота автомобиля 1.5 +/- 0.19 m (automatically learned) Параметры камеры

56. Оценка высоты объектов 1.0 m Car 0.5 m Man Woman Parking meter Fire hydrant 1.5 m Object Estimated average height (m) Car 1.51 Man 1.80 Woman 1.67 Parking meter 1.36 Fire hydrant 0.87

57. Одной камеры не хватает…

59. Оценка освещения Database image P(pixel|class) CIE L*a*b* histograms Automatic Photo Popup Hoiem et al. , SIGGRAPH ‘05

60. Поиск по освещенности

61. Локальный контекст

64. Текущая схема Этап I: Разметка базы Этап II: Вставка картинки Object properties (used for sorting the database) 3-D height Segmentation Blur Label Illumination context Cluster Local context Camera

68. Смешение Объект Результат смешения

69. Тени [Kersten et al. , ‘96]

70. Перенос тени + = Изображение Оценка тени Уточнение тени Перенос объекта Перенос тени Результат

71. Все вместе Этап II: Вставка объекта Этап I: Аннотация базы Object properties (used for sorting the database) Segmentation Blending Shadow transfer Segmentation Blur Label Cluster 3-D height Illumination context Local context Camera

72. Авария

73. Мост

74. Картина

75. Улица

79. Найдем теперь такую:

80. Что мы нашли:

81. Отображение результатов на карте 200 результатов, кластеризуем и покажем центры и распределение картинок

82. im2gps

93. Категории данных

95. Скорость = 112 м / км

96. Уклон Ранжирование изображений по уклону (от макс к мин)

98. Ранжирование по плотности населения

100. Пустыни

101. Города и здания

102. Снег и лед

103. Саванна

104. Вода