O documento apresenta uma agenda para uma conferência sobre busca de documentos e otimização de índices em bancos de dados SQL Server. A primeira parte discute linguagem natural, semântica e aprendizado de máquina para busca de documentos. A segunda parte fala sobre armazenamento de dados, tipos de índices e técnicas para "lipoaspiração" ou otimização de índices para melhorar o desempenho.

1. 2
Busca de Documentos
Fabricio Catae (Microsoft)
Blog: http://blogs.msdn.com/fcatae/
Twitter: @fcatae
Lipoaspiração no seu banco de dados
FabianoNeves Amorim
MCITP BI, DBD, ADM / MCTS / MCP
Blog: http://blogs.solidq.com/fabianosqlserver
Twitter: @mcflyamorin

2. MaríliaTechDay
|2011
Agenda
Parte I – Busca de Documentos
Linguagem
Semântica
Aprendizado
Busca com índices SQL
Parte II – Lipoaspiração de Índices
Armazenamento de Dados
Diferentes Índices
Tipos de Dados

3. MaríliaTechDay
|2011
Milhares de anos atrás...

4. MaríliaTechDay
|2011
A vida era perigosa...

5. MaríliaTechDay
|2011
Como sobreviver?

6. MaríliaTechDay
|2011
Desenvolvimento

7. MaríliaTechDay
|2011
Evolução

8. MaríliaTechDay
|2011
Mundo Conectado
“Conhecimento é poder”

9. MaríliaTechDay
|2011
Quantidade de Informação
Kilobyte
Megabyte
Gigabyte
Petabyte
Exabyte
300 Exabytes ~ 300000000000000000000 bytes
Ref.
http://uscnews.usc.edu/science_technology/how_much_information_is_there_i
n_the_world.html

10. MaríliaTechDay
|2011
Linguagem Formal
Linguagem de programação
Compilador
Parser
Máquinas de estado
Syntax Error

11. MaríliaTechDay
|2011
Linguagem Natural
“Linguagem do dia a dia”
Temos um mecanismo de “parser” robusto, que
determina o significado apropriado de acordo
com o texto presente
Em alguns casos, a simples presença de uma
palavra é suficiente para determinar o contexto
no qual a informação está inserida.

12. MaríliaTechDay
|2011
Exxmplo
Nós, sers humns, soms capzs de
ler texts sem q haj tod a
infrmação presnt. Errs gramtcais
ou de sintx podm criar difculdad
na comprnsão do text, mas não
impdem su leitura.

13. MaríliaTechDay
|2011
“Parser Humano”
Linguagem?
Memória?
Visão?

14. MaríliaTechDay
|2011
Semântica
Significado das palavras
Embarcação Barco Navio

15. MaríliaTechDay
|2011
Diferença Semântica
Palavras polissêmicas = diferentes significados
Contexto é decisivo
1. Comi uma manga verde
2. Camisa de manga longa

16. MaríliaTechDay
|2011
Associação de Palavras
Complete a frase:
A vovó fez __ziig_________ .

17. MaríliaTechDay
|2011
Aquisição de Linguagem
Complete a frase:
A vovó fez ______________ .
CAFÉ

18. MaríliaTechDay
|2011
Aprendizado
A linguagem possui uma estrutura e pode ser
representada por regras (Chomsky)
Recentemente: As regras tem sido substituídas
por modelos dinâmicos, baseados em
Aprendizagem de Máquina e Métodos
Estatísticos.

19. MaríliaTechDay
|2011
Crianças: Paradoxo?
Há crianças de 3 anos que falam alemão muito
melhor do que eu...
Crianças não ficam em classes de aula
estudando as regras gramaticais
Como uma criança é capaz de adquirir uma
linguagem em tão pouco tempo?

20. MaríliaTechDay
|2011
Por que aprender uma língua?
(Computador)
Mecanismos de busca na Internet
Categorização de emails e filtros de Spam
Reconhecimento de plágios de trabalhos
Identificação de sentimentos positivos ou
negativos de uma crítica

21. MaríliaTechDay
|2011
Como Aprender?
(Computador)
Linguagem Natural
Segmentação
Etiquetamento
Reconhecimento de Entidade
Árvores Semânticas
Equações Lógicas
Futuro: Banco de Dados de Conhecimento

22. MaríliaTechDay
|2011
Segmentação
Segmentação de frases e palavras
Que fome! Quando é a hora do lanche da tarde?
Meu pai nasceu nos E.U.A. e cresceu em S. Paulo.
Tokenização (Simbolização)
S. Paulo
São Paulo

23. MaríliaTechDay
|2011
Etiquetamento
Classificação do Símbolo
A casa amarela precisa de reforma.
subst. subst.verbo prep.adj.art.

24. MaríliaTechDay
|2011
Reconhecimento de Entidades
Existem palavras que podem definir o contexto.
Entidades: Pessoa, Local, Nome, Referência
Exemplo:
xyz upd uj Barack Obama ud pla
jhghgga blablabla...

25. MaríliaTechDay
|2011
Árvore Semântica
Diagrama que descreve a
função gramatical de cada
palavra de uma sentença
Identificação:
Sujeito
Predicado
Objeto
Relação entre sentenças

26. MaríliaTechDay
|2011
Equações
Objeto e Ação
Cachorro = Mordeu(Homem)
Existe( Homem = Andava() )
Homem = João
Equação
∃c | c = M(h)
∃h | A(h) = 1
h = “João”
c = ?

27. MaríliaTechDay
|2011
No futuro, como seria...
Banco de Dados de Equação
c = M(h)
∃h | A(h) = 1
c = M(h)
∃h | A(h) = 1
c = M(h)
∃h | A(h) = 1

28. MaríliaTechDay
|2011
O que é uma BUSCA?

29. MaríliaTechDay
|2011
Busca x Consulta
Consulta Estruturada
Ruas (Cidade = Marília)
Empregos (Cargo = Meio-período, Salário > 5000)
Busca não-estruturada
“Quais são as ruas na cidade de Marília?”
“Quero emprego fácil e ganhando bem!”

30. MaríliaTechDay
|2011
Banco de Dados: SQL Server
Recurso de Full-Text
Índices Invertidos
Dicionários
Stop Words

31. MaríliaTechDay
|2011
Como montar site de busca?
<HTML>
Próximas
Páginas
ConteúdoLinks
Full Text

32. MaríliaTechDay
|2011
Índice Invertido (FullText)
Os documentos contém conjuntos de palavras
Documentos são identificados por números
Termos
Pizza = 1, 2, 3
Noite = 1
Feliz = 1, 2, 3

33. MaríliaTechDay
|2011
Índices SQL
Dados Armazenados podem ser indexados por
questão de performance
Index Não-Estruturado
Full-Text
Index Estruturado
Clustered
Non-Clustered

34. MaríliaTechDay
|2011
35© 2011 SolidQ
Parte II – Lipoaspiração de Índices
Sobre o que é esta sessão?
Features SQL Server 2008R2
Demo

35. MaríliaTechDay
|2011
Sobre o que é esta Sessão ?
Não gaste dinheiro! Está tudo ao seu alcance!
Maximizar uso de recursos
Não precisa alterar aplicação
Recursos SQL Server 2005, 2008 e 2008R2
+ =

36. MaríliaTechDay
|2011
Clustered Index
Não únicos
Gera Uniqueifier (4 bytes extra)
Msg 666, Level 16, State 2, Line 14
The maximum system-generated unique value for a duplicate group was exceeded
for index with partition ID 72057594038845440. Dropping and re-creating the index may resolve
this; otherwise, use another clustering key.
Mal desenhados
Leva sua chave para todos os índices non-clustered

37. MaríliaTechDay
|2011
Non-Clustered Index
Índices duplicados
Porque o SQL Server deixa eu duplicar um índice?
Non-Cluster igual ao Cluster não é índice repetido
Não utilizados
Como encontrar índices não usados? R: DMVs
Usar Include
Cuidado com ferramentas de modelagem
Nunca crie um índice só por criar
Please, ix_testes devem ser apagados após o teste 
Obs.: Esse aviso não é para você, é para seu colega que faz isso!

38. MaríliaTechDay
|2011
Filtered Index
Disponível a partir do SQL Server 2008
Bom para tabelas com dados históricos
Ex: CREATE INDEX ix_Filtrado ON Pedidos(ID_Cliente…)
WHERE Data_Pedido > ‘20100101’
CREATE INDEX ix_Filtrado ON Clientes(Nome…) WHERE
Cidade IS NOT NULL
http://connect.microsoft.com/SQLServer/feedback/details/454744/filtered-index-not-used-and-key-lookup-with-no-
output#details
http://connect.microsoft.com/SQLServer/feedback/details/643850/filtered-index-execution-plan-is-not-optimized

39. MaríliaTechDay
|2011
Hash Indexes
Utiliza CheckSum ou BINARY_CHECKSUM
Diminui consideravelmente o tamanho de um
índice
Cenários específicos: Código de Barras, Títulos,
Descricao…

40. MaríliaTechDay
|2011
Fillfactor e PadIndex
< Pergunta > (Perguntar para audiência)
Se eu definir o fillfactor em 30%, significa que terei 30% do
espaço reservado para futuras modificações.
Verdadeiro
Falso
Mundo perfeito = Analisar tabela por tabela
Mundo real, definir um valor padrão
Se tens um Rebuild dos índices diário, porque usar
fillfactor?
Não ignorar o “Pad_Index = ON”

41. MaríliaTechDay
|2011
Sparse Columns
Null ocupa espaço
Sparse tem espaço otimizado para valores “Null”
Valores não “Null” ocupam mais espaço com Sparse
Considere usar quando a porcentagem de valores null for pelo
menos entre 20-40%
Olhar tabela de ganho de espaço no Books Online
Usar Sparse em colunas com alta frequência de null
Exemplo de cenário onde usar sparse:
Tabela de Clientes coluna Data_Obito
Tabela de Clientes coluna Nome_Sogra

42. MaríliaTechDay
|2011
Data Types
Usar o datatype correto para o valor a ser armazenado
Não precisa ser pão duro
Exemplos:
DateTime para SmalldateTime
Datetime para Date
SmallDateTime para Date
BigInt para Integer
Integer para SmallInt
SmallInt para TinyInt
Char para VarChar
NVarchar para VarChar
Data Type Tamanho em Bytes
DateTime 8
SmallDateTime 4
Date 3
Time 5
BigInt 8
Integer 4
SmallInt 2
TinyInt 1
NChar(40) 80
Char(40) 40

43. MaríliaTechDay
|2011
Data Types
Demo Script para consultar melhor datatype…

44. MaríliaTechDay
|2011
VarDecimal
Disponível no SQL Server 2005 Service Pack 2
SAP
Disponível apenas na versão Enterprise
Reduz o espaço de colunas Decimal e Numeric
sp_estimated_rowsize_reduction_for_vardecimal
Substituido pelo Page e Row compression no SQL 2008

45. MaríliaTechDay
|2011
Page e Row Compression
Disponível apenas na versão Enterprise
Comprime os dados das páginas
Recurso extremamente poderoso
Aumenta uso de CPU
Exemplo de uso
ALTER INDEX XPK ON T1 REBUILD WITH
(DATA_COMPRESSION = PAGE)

46. MaríliaTechDay
|2011
Exemplos de tudo o que
vimos
Será que da para diminuir
uma tabela de 1.5 GB para
menos que 130 mb?

47. MaríliaTechDay
|2011
SolidQ Virtual Conference
http://tinyurl.com/SolidQConference
Palestrantes nacionais e internacionais:
Itzik Ben-Gan (Dispensa comentários)
Prof. Mark Tabladillo (PHD, MCT)
Eladio Rincon (MVP SQL Server)
Jesus Gil (MVP SQL Server)
Nilton Pinheiro (MVP SQL Server)
Diego Nogare (MVP SQL Server)
Fabiano Amorim
Felipe Ferreira

48. MaríliaTechDay
|2011
Dúvidas ou perguntas?
 fabiano_amorim@bol.com.br | @mcflyamorim
 http://blogs.solidq.com/fabianosqlserver/
 http://www.simple-talk.com/sql/performance/lipoaspiration-in-your-sql-
server-database/
 fabricio.catae@microsoft.com | @fcatae
 http://blogs.msdn.com/fcatae

49. MaríliaTechDay
|2011
Apoio:

50. MaríliaTechDay
|2011
Certificação Microsoft
Microsoft Certified Technology Specialist
Microsoft Certified IT Professional
Microsoft Certified Master
Microsoft Certified Architect
Certificação Microsoft (SQL Server)
http://www.microsoft.com/learning/pt/br/certification/cert-
sql-server.aspx