Методы определения и управления себестоимостью ИТ-услуг
Microsoft FAST Enterprise Search Technologies Overview
2. Поиск создает ценность на любой стадии
возникновения добавленной стоимости
Поиск – единственная технология, дающая
доступ к любой информации
Поиск должен быть частью информационной
инфраструктуры любого предприятия
7. Клиентские решения для бизнесов чьи доходы зависят от поиска
Решения для сотрудников компаний для увеличения продуктивности
8. FAST Search FAST Search
for SharePoint Internet Sites for SharePoint
SharePoint Server
for Internet Sites SharePoint Server
FAST Search FAST Search
For Internet Business for Internal Applications
19. Если вы интернет-магазин
1. Название сайта (которое будет фигурировать на сайте)
2. URL магазина
3. Ссылку на YML файл магазина
В YML файле должны обязательно передаваться цены,
наличие и стоимости доставки, а так же регион в которые
доставляет магазин.
http://www.samsung.com/ru/promo/buy/index.html
20. Ситуация
• Samsung.com поддерживает услуги компании на
родных языках для 60 сайтов
• Поисковые требования отличаются в каждой стране.
Например, поиск «сотовый телефон» в Ю.Корее
должен на первом месте показать продукты Omnia, а
в США – BlackJack
• Положительный опыт использования FAST для
поиска в интранет
Решение
• Samsung создала ТЗ, провела тендер и выбрала
FAST for Internet как лучший выбор
• Автоматическое завершение слов при вводе
запросов, визуальные результаты, оптимизация
показа других результатов могут быть настроены для
каждой и стран
ROI
• Рост производительности поиска по сайтам ―Одной из удивительных особенностей
сайта является визуальный поиск. Как
• Рост CTR на 20% только пользователи вводят слова для
• Визуальный поиск в реальном времени для поиска, в реальном времени выводятся
эффективного мерчендайзинга изображения продуктов‖
-- Jang Woo-suk, Engineer, Samsung SDS
21. Уровни контроля релевантности Кто контролирует Механизм контроля
Порядок
Приложение сортировки,
Пользователь
навигация, оценка
релевантности
Бизнес Продвижение
Business Rules
менеджер позиции запросов
и документов
InPerspective™ Администратор ―Rank Profile‖
Core Algorithmic Model Разработчик Алгоритмический
«вес»
22. Свежесть
Законченность
Авторство
Статистика
Качество
Расстояние
28. История кликов
• Определяет сортировку результатов поиска по
релевантности
Подсказки похожих запросов
• Создаются из анализа логов
Пользовательские метки (tags)
• Используются для уточнения запросов и навигации
Системные метаданные (определения)
• Автоматически создаются из индексированного контента
для уточнения запросов
30. Четыре способа управлять контекстом из коробки!
Позиция Позиция
Ключевые Лучшие &
документа в сайта в
слова & Визуальные
списке списке
Синонимы лучшие
результатов результатов
Для любых определенных групп пользователей
31. Представление результатов в контексте
Ключевые
слова и
синонимы
Разные модели
релевантности
Визуально
лучшие
Лучшие
результаты и
продвижение Позиция
сата документа
Контекст
пользователя:
Фильтры в
контексте менеджер по
пользователя
продаже
финансовых услуг,
Осло, Норвегия
32. Определение
релевантности
на основе
ролей
Функциональное
представление
результатов
Навигация в
соответствии с
требованиями
бизнеса
Руководитель отдела Консультант по
продаж ERP внедрению ERP
33. About Statoil Multinational Energy Company
• «Статойл» является интегрированной нефтегазовой
компанией с 29,000 сотрудниками и работающая в 40
странах
• Общий доход в 2009: 80 миллиардов долл. США.
Крупнейшая компания Норвегии.
Задача
• Новый интранет поиск с ролевой поддержкой
пользователей на огромных массивах информации и
числе запросов
• Обеспечение безопасности, обмена и управления
информацией
• Миграция данных и обслуживание, интеграция с
унаследованными технологиями
Результаты с FAST ESP
Решение 20TB данных, с ростом на 10TB в год
• Совместная работа и информационный обмен через
Надежный доступ к огромным объемам
организационные и географические границы
данных, 24/7, для разных ролей
• Аудируемый, простой, правильный и безопасный доступ к
пользователей
информации с поддержкой ее жизненного цикла, с
учетом юридических требований и ролей Комплексный контроль: объем,
пользователей пропускная способность, техническое
• Содействие эффективному управлению изменениями для обслуживание…
широкого признания новой информационной
инфраструктуры End user requirements: I love IT!
35. Продажи:
Всесторонний анализ
данных по клиентам
«Как обеспечить поддержку
Услуги: уникальных поисковых
База знаний потребностей разных
подразделений компании?»
Маркетинг:
конкурентная
аналитика
Исследования
и разработки:
инновационный портал
Поддержка:
консультант центра
обработки вызовов
Операции:
портал систем
и логистики
Юридический, кадровый, финансовый или ИТ-отдел…
36. ДИТ перегружен … и не может начинать (Объявление проектов, 10 бизнес-спонсоров
текущими проектами новые которые может пляшут от радости
поддержать ДИТ)
Я занят
на 10
проектах!
Что случится с Проектом №11 и всеми остальными?
И что они
теперь будут
делать?
37. Спонсор проекта 11 … и начинает Через некоторое Но, т.к. разработка
(… 12, 13, 14) использовать время приложение велась без контроля ДИТ,
решает задачу решение становится важным есть проблемы с
самостоятельно и ДИТ должен безопасностью,
его поддерживать интерфесами,
интеграцией,
Люди в ДИТ отчетностью,
полюбят мою масшабируемостью,
программу! управляемостью, …
«Партизанская» разработка
Как мне Директор по
Зоопарк платформ избежать этих
проблем?
разработке
Хаотичные затраты
Несоответствие стандартам
Риски для бизнеса
39. Базы Поисковые
данных системы
• Записи • Документы
• Точность • Похожесть
• Транзакции • Рэнкинг
• SQL (сложно) • Просто
• Медленно • Быстро
• Производительность? • Релевантно?
41. Поисковое приложение (Search-based Application – SBA) это приложение , в
котором технологии поиска используется в качестве основной инфраструктуры
для доступа к информации и отчетности.
Поисковые приложения используют семантические технологии в сочетании с
нормализацией и классификацией неструктурированых, частично
структурированных и / или структурированных данных из различных
источников, а также с использованием технологии естественного языка для
доступа к агрегированной информации.
Wikipedia
43. Дмитрий Николаев
Консультант по управлению капиталом
(Wealth Management Advisor)
Задача: своевременное и
качественное консультирование
существующих и потенциальных
клиентов
Получает оповещение о росте рисков для некоторых холдингов на рынке
недвижимости
Получено через портал, LOB/CRM приложение, почту, etc.
В банке есть группа, занимающаяся мониторингом рынков, а также эксперты, разрабатывающие
отчеты по портфелям ценных бумаг
Использует поисковые возможности портала знаний для понимания своих
возможностей. Например, клиенты и лиды для общения, материалы для
отправки, к кому из экспертов обратиться за помощью
Информация из разных источников в структурированном, и неструктурированном виде
Много требований и аспектов, которые необходимо соблюсти в интересах каждого клиента
Временные ограничения
45. Ранжирование по
задачам
Сводные данные
по клиенту
Поиск людей и
экспертизы
Визуальная
навигация
Непосредственное
выполнение действий
из результатов поиска
Федеративный
Бизнес-отчеты сторонний
контент
46. Индексация различных источников
OOB шлюзы к SharePoint (отчеты, документы), exchange public folders,
общие файлы;
BDC с настройкой в SPD (без кодирования) для портфеля
клиента/компаний в холдингах
Обработка контента: создание метаданных
Имена в холдингах, термины, компании, люди
Синонимы (real estate ~ REIT)
Готовые (OOB) веб части
Federation, People Search, Search actions
Пользовательские веб-части для визуальной навигации
Группировка результатов – OOB
Пользовательские профили релевантности
SharePoint процессы для действий с результатами
47. OOB = из коробки
OOB веб части (9)
OOB Федерация и поиск Intelligent Web Crawler
Расширенные веб-части людей
(4) OOB шлюзы к SharePoint;
Пользовательские веб- файлам; CMS системам
части (2)
Контент
Обра-
ботка
контента
Центр поиска Профили
пользователей
OOB присутствие & чат Настраивается для этого Шлюз к LOB –
приложения приложениям
Пользовательские конфигурируемый через
процессы SharPoint Метаданные для проектов, SharePoint Designer
Drag & Drop PPT людей, терминов,
конструктор таксономий,…
48. Средство Средство Средство Средство
сопоставления поиска дубликатов извлечения Средство преобразования
свойств сущностей лемматизации форматов
…
Средство анализа Нормализатор Средство Средство
веб-трафика даты и времени разбиения слов определения
языка
Преобразование Добавление или Глобальное
контента расширение этапов использование
обеспечивает для проведения поиска с функциями
нормализацию и очистку дубликатов, выполнения лингвистической
информации перевода или других обработки для 45 языков
бизнес-функций и возможностями
обработки распознавания контента
на более чем 80 языках
49. Последовательность шагов по преобразованию содержимого
Разделение контента на элементарные блоки для выделения смысла
Понимает кодировки файлов, форматы данных и обычные языки
Поддерживает 400+ форматов файлов и 80+ языков, включая русский
Обработка контента для улучшения поиска
Нормализация содержимого для применения модели релевантности
Идентификация структурированных и неструктурированных метаданных
Назначение метаданных к свойствам SharePoint Crawler
Format
Entity Extraction
Lemmatization
Language
Document
Tokenization
Mapand Link
Crawled
Date WebTime Преобразуетсоответствие для языка документа,
Применяет языкметаданные, стандартныйвв текст. для
Анализирует различные форматы файлов
Определяетспецифичные выбранномправилаПонимает на и
Отображает все и кодировку которые были содержимом
Конвертируетгиперссылки между термином формат
Находит корень словавремя в документа. Обеспечивает
Создает уникальное представление языке. для
даты и на в тексте документа,найдены
извлекает
Conversion
Encoding and
Vector
Properties
Normalization
Analysis предопределенной категорией идеомдля языка. Люди,
грамматикулокальных понятий, Поддерживаются
применениеи контекст,форматов. базуи фраз.определяет
тексты ссылок, слов, специфичную
идентификации которые термины иНапример,на следующих
различных стадиях на поисковую и правил
обработки правильныхучитываются при определении
включающее значимые словарей частоту их
Detection Организации и Местонахождения, года. похожих бег бежит
Например установит соответствие может быть расширено
Дополнительно это 14 марта 2010 между бежать,
стадиях.
упоминания. Используется для поиска
что 14.03.2010 документа специфические разделители
релевантности применяет
Вами.
к единственной лемме.
документов.
для телефонных номеров, чисел, стоимостей и т.д.
50. Добавление логики при обработке контента
Вы можете описать свою
логику, которая будет
получать данные
(характеристики документа)
из конвейера и после
обработки возвращать
результаты в поисковый
индекс
Специализированная индексация Выполнение в «песочнице»
Pipeline Extensibility – специальная стадия. Вашему Исполняемый код и временные файлы
приложению передаются характеристики в ограничиваются по time-out.
качестве исходных данных, а результаты его Стадия вызывается непосредственно перед
работы возвращаются в поисковый индекс Определением соответствия между
индексируемыми полями и полями индекса
51. Решения партнеров
Способ добавления
логики в процесс
индексации …
Например, семантико-
синтаксический поиск с
расширением от ABBYY
52. Поисковые вопросы на естественном русском языке
Мониторинг компании, персоналий и их
деятельности, извлечение знаний, взаимосвязей,
сбор фактов и сведений
Кластеризация, классификация и фильтрация, в
том числе определение «похожих» документов по
смыслу
Аннотирование и реферирование документов, в
том числе оперативное построение аналитических
отчетов на основе различных данных
53. Снятие
• «пила»<глагол> или
морфологической «пила»<существительное> и т.п.
омонимии
• «банка» <сосуд> или «банка»
Поиск по смыслу <финансовая организация>
Поиск с учетом • подстановка объекта местоимением
анафор
Выделение в
• "Покупка" [Object:*] - вернет, то что
результатах поиска покупают
аргументов
54. Богатые
Быстрая
возможности
кастомизация
платформы
Управляемые Развивающаяся
приложения экосистема
55. «In the e-discovery market, everything revolves around search, and we depend on FAST as a critical
component of our Online Review Application».
“Applied Discovery has some unique processing requirements, so the ability to create custom operators in
CTS is invaluable.”
Bill Pieser, CTO, Applied Discovery
57. Безопасный Корректное
Безопасность
поисковый представление
документов
механизм результатов поиска
Многие источники поддерживают настройки
безопасности на уровне документа: ACLs
управляют правами доступа
FAST Smart Connectors + Security Access Module
синхронизируют эти права в индексе
Пользователь видит только результаты, к
которым у него есть доступ на чтение и выше
Включая списки результатов и навигаторы
58. Интранет Большинство FAST
безопасность FAST Content Connectors
ESP для контроля Интеграция с IIS/Active поддерживают
доступа на уровне Directory безопасность на
пользователей и уровне документов с
документов SAM
Интеграция с
Подключаемый механизм внешней
модуль с интерфейсом авторизации при
для других источников индексирование
авторизации контента и при
обработка запросов
59. Интерфейс
поиска
Обычная проверка подлинности пользователя
FAST Security Access Module (SAM)
Пользователи /
User группы
API
Monitor
Directory-ACL
Directory Server сопоставление
API
ACL
(например,AD)
Monitor
Добавить ACL Фильтрация
к документу доступа
Извлечение
(1)
данных Индекс
Документы - Шлюзы Обработка документов (2)
- API
Хранилища FAST ESP: обработка и индексация контента Q/R обработка
контента
(1) Добавить фильтр доступа к запросу
(2) Факультативная проверка
61. Из коробки Разработка поисковых
приложений
• Поиск по интранет и
• eCommerce и медиа-сайты
интернет сайтам
• Маркетинг и инновации –
• Управление знаниями R&D, анализ поведения
• Ролевой контекст клиентов, отзывы по
продуктам, мониторинг
конкурентов
• Соответствие требованиям,
управление рисками
• Продажи и поддержка
• Мониторинг, наблюдение и
реагирование
• Интеграция и отчетность в
реальном времени
• …
62. Обнаружение и типизация информационных источников
внутри организации
Разработка глоссария и таксономии корпоративных знаний
Внедрение FAST Enterprise Search for SharePoint / Internet Sites
Интеграция поисковых технологий с корпоративными
приложениями
Обучение пользователей
63. Решаемые задачи:
Классификация
контента для модели
доступа сотрудников к
информации
Корпоративный
тезаурус (словарь
терминов и
отношений)
Корпоративная
библиотека знаний
Учебные материалы
Базы знаний для
поддержки клиентов…
http://devbusiness.ru/index.html
66. Бизнес анализ
• SQL Server BI, SharePoint
(web & BI), Silverlight,
Google Analytics, Omniture
Новые
модальности для Анализ контента и
взаимодействия с поведения
пользователем пользователей
• SharePoint, FAST Search
• Speech Server, Silverlight,
FAST Search, CCF, Tag
Социальные сети и
мобильные Динамическая
устройства навигация
• FAST Search, Windows • FAST Search
Phone, SharePoint
Подсказки и
Источник: Microsoft
рекомендации IDC: ―Next-Generation Site Search: Redefining
• FAST Search Relevance for a Personalized Era‖, 12/2010
67. >1000 глобальных компаний используют FAST
для критических бизнес-задач
+316% рост 150% роста трафика Модель СМИ
нового поколения Огромный рост трафика
Контекстный поиск
Социальные вычисления
>$1.5B MSFT+SAP+FAST
>$25B online
Только FAST...
Web2.0 сделан на поиске
One-Stop
Разгрузка баз данных портал знаний
70. «Магический квадрант»
Gartner для технологий
доступа к информации,
2009 г.
Схема «магический квадрант» (Magic Quadrant) защищена авторским правом в сентябре 2009
года компанией Gartner, Inc. и повторно используется с ее разрешения. «Магический
квадрант» — это графическое представление рынка за определенный период времени. По
определению компании Gartner, он отражает ее аналитические результаты оценки
определенных поставщиков по критериям данного рынка. Компания Gartner не рекламирует
отдельных поставщиков, продукты или услуги, изображенные на схеме «магический
квадрант», и не рекомендует пользователям технологий выбирать только поставщиков,
расположенных в квадранте «Лидеры». «Магический квадрант» предназначен исключительно
для исследований и не является конкретным руководством к действию. Компания Gartner не
предоставляет никаких гарантий, явных или подразумеваемых, в отношении данного
исследования, в том числе гарантий пригодности для продажи или соответствия
определенным целям. Схема «магический квадрант» опубликована компанией Gartner как
часть более крупной исследовательской работы и должна оцениваться в контексте всего
отчета. Отчет компании Gartner доступен по запросу в корпорацию Майкрософт.
ИСТОЧНИК: Компания Gartner, Inc., «Магический квадрант для технологий доступа к информации»
71. Поиск помогает вашим клиентам найти то
что им нужно
Поиск помогает вашим сотрудникам
быть более продуктивными
Поисковые приложения повышают
релевантность на основе персонализации
72. Поиск создает ценность на любой стадии
возникновения добавленной стоимости
Поиск – единственная технология, дающая
доступ к любой информации
Поиск должен быть частью информационной
инфраструктуры любого предприятия
73. Лидирующая технология: релевантность,
персонализация, поисковые приложения
Адапатируемая и масштабируемая
платформа для управления информацией
Единый безопасный механизм доступа к
информации, включая интеграцию, поиск и BI
75. 2009 Developer Award Outstanding Achievement in
for Enterprise Search Website Development
2008 Property Portal Award 2008 Creating Business
Value With Technology
Innovation
2008 Hispanic Retail 2007 Top 75 Electronics
Excellence Award Distributors, Rank #1
ArrowElectronics
77. ANZ Banking Group
Среди 50 топ банков мира
• Является одной из крупнейших компаний в
Австралии и Новой Зеландии, которая входит в
число 50 крупнейших банков в мире.
• Всемирная штаб-квартира находится в
Мельбурне, где она впервые открыла свое
отделение, как Bank of Australasia в 1830х.
Задача
• Прошлая поисковая система не давала точные
результаты поиска.
• Клиенты не могли легко найти информацию о
продуктах и услугах
• Ограниченные возможности масштабирования Результаты с FAST ESP
Повышение удовлетворенности
Решение пользователей результами поиска
• Способность адаптироваться и тонкой
Улучшенные результаты поиска для
настройки результатов поиска
внутреннего использования
• Быстрое внедрение контента
78. «With our 2010 products scheduled for release in
a few months, we’ve just started to plan for our
next wave of products. As a part of that planning
process, we have decided that in order to deliver
more innovation per release in the future, the
2010 products will be the last to include a search
core that runs on Linux and UNIX.»
Bjørn Olstad
CTO, FAST
Distinguished Engineer, Microsoft
80