Quem nunca passou vergonha na hora de apresentar um software recém implementado e se surpreendeu com caracteres estranhos e misteriosos tomando o lugar da acentuação das palavras? Esse tipo de problema é extremamente comum e costuma acompanhar a maior parte dos desenvolvedores de software ao longo de suas vidas profissionais. Tentar resolver na base da tentativa e erro ou ainda recorrendo a outros tipos de ciências esotéricas pode não dar certo e ainda prolongar o sofrimento. Na maior parte das vezes é extremamente simples resolver esse tipo de mal entendido entre diferentes sistemas de codificação, no entanto, como várias partes do software e principalmente de seu ambiente são afetadas, pode ser traumático encontrar o local exato para efetuar os ajustes. Nesta palestra, vamos a fundo nas raízes do problema desde os primórdios do código morse e da tabela ASCII até o nascimento do padrão Unicode para explicar como funcionam os mecanismos de conversão de bytes dentro das entranhas do Java.

1. Rodrigo Branas – @rodrigobranas - http://www.agilecode.com.br
Desvendando os mistérios do Charset
Aprenda a evitar sofrimentos no furuto!

2. http://www.slideshare.net/rodrigobranas

3. @rodrigobranas
rodrigo.branas@gmail.com
http://www.agilecode.com.br
Formação Acadêmica
Ciências da Computação – UFSC
Gerenciamento de Projetos - FGV
Certificações
SCJA, SCJP, SCJD, SCWCD, SCBCD, PMP, MCP e CSM

4. Rodrigo Branas – rodrigo.branas@gmail.com
10 anos de experiência na plataforma Java
1000 horas em sala de aula
Mais de 50 palestras em eventos
Líder da área de desenvolvimento na Gennera
Autor da revista Java Magazine
Palestrante
Instrutor da Academia Java e Agile da Globalcode
Criador dos treinamentos de Clean Code, Selenium e
Maven da Agile Code
Trabalhou com as empresas: EDS, HP, GM, Citibank,
OnCast, Globalcode, V.Office, Dígitro, Softplan, Unimed,
Suntech, Vale do Rio Doce, Senai, NET.

8. Qual é a forma mais comum de
resolver esse tipo de problema?

9. Recorrendo a ciências esotéricas

10. Tentativa e erro... Nem sempre funciona

11. Começando pelo princípio...

12. A criação do Telégrafo - 1837

13. Meio revolucionário de comunicação

15. Transmissão de pulsos elétricos

16. Faz o que com os pulsos elétricos?

17. Samuel F. Morse

19. Esquecemos dos russos!

21. Código Morse - Cirílico

22. Era da computação

23. O negócio agora é em bytes

24. No início era carnaval!

25. Como fica a interoperabilidade?

26. 9 sistemas de codificação diferentes

27. Surgimento do ASCII
Luz no fim do túnel

28. ASCII

29. ASCII
American Standard Code for Information Interchange

30. ASCII
American Standard Code for Information Interchange
Publicado em 1963

31. ASCII
American Standard Code for Information Interchange
Publicado em 1963
7 bits ou 128 caracteres

32. Tabela ASCII

33. ASCII
American Standard Code for Information Interchange
Publicado em 1963
7 bits ou 128 caracteres
32 caracteres não imprimíveis (00 ~ 1F)

34. ASCII
American Standard Code for Information Interchange
Publicado em 1963
7 bits ou 128 caracteres
32 caracteres não imprimíveis (00 ~ 1F)
96 caracteres imprimíveis (20 ~ 7F)

35. ASCII
American Standard Code for Information Interchange
Publicado em 1963
7 bits ou 128 caracteres
32 caracteres não imprimíveis (00 ~ 1F)
96 caracteres imprimíveis (20 ~ 7F)
Foi o sistema de codificação mais utilizado até 2007
(quando foi ultrapassado pelo UTF-8)

36. ASCII
American Standard Code for Information Interchange
Publicado em 1963
7 bits ou 128 caracteres
32 caracteres não imprimíveis (00 ~ 1F)
96 caracteres imprimíveis (20 ~ 7F)
Foi o sistema de codificação mais utilizado até 2007
(quando foi ultrapassado pelo UTF-8)
Deu origem ao sistema de codificação US-ASCII

37. Tabela ASCII

38. Só 7 bits?

39. Como ficam os outros idiomas?

40. Exemplos de caracteres comuns não
suportados pelo ASCII:
Ñ (Espanhol)
É (Português)
ß (Alemão)
Å (Sueco)
ő (Hungaro)

42. E se a gente colocar mais 1 bit?

43. Norma ISO 8859

44. Norma ISO 8859
International Standard Organization

45. Norma ISO 8859
International Standard Organization
Conjunto de sistemas de codificação de 8 bits

46. Norma ISO 8859
International Standard Organization
Conjunto de sistemas de codificação de 8 bits
Regionalizado (16 tipos)

47. Norma ISO 8859
International Standard Organization
Conjunto de sistemas de codificação de 8 bits
Regionalizado (16 tipos)
96 novos caracteres! (Agora vai)

48. Norma ISO 8859
International Standard Organization
Conjunto de sistemas de codificação de 8 bits
Regionalizado (16 tipos)
96 novos caracteres! (Agora vai)
Nascimento do sistema de codificação ISO-8859-x

49. Norma ISO 8859
International Standard Organization
Conjunto de sistemas de codificação de 8 bits
Regionalizado (16 tipos)
96 novos caracteres! (Agora vai)
Nascimento do sistema de codificação ISO-8859-x
Compatível com o ASCII por motivos óbvios

50. Vamos ver os sabores!

51. ISO-8859-1
Latin-1 Western Europe
Um dos sitemas de codificação mais utilizados!
Dinamarquês, Holandês, Inglês, Finlandês, Francês,
Alemão, Italiano, Norueguês, Português, Romeno,
Espanhol, Catalão e Sueco.

52. ISO-8859-2
Latin-2 Central Europa
Menos utilizado!
Bósnio, Polonês, Croata, Tcheco, Eslovaco, Esloveno, Sér
vio e Húngaro.

53. ISO-8859-3
Latin-3 South Europe
Menos utilizado!
Turco, Maltês e Esperanto.

54. ISO-8859-4
Latin-4 North Europe
Menos utilizado!
Difícil até de pronunciar...

55. ISO-8859-5 Latin/Cyrillic
ISO-8859-6 Latin/Arabic
ISO-8859-7 Latin/Greek
ISO-8859-8 Latin/Hebrew
ISO-8859-9 Latin-5 Turkish
ISO-8859-10 Latin-6 Nordic
ISO-8859-11 Latin Thai
ISO-8859-12 Latin Devanagari
ISO-8859-13 Latin Baltic Rim
ISO-8859-14 Latin Celtic
ISO-8859-15 Latin-9 (Francês completo)
ISO-8859-16 Latin-10 South-Eastern European

56. Só 8 bits?

57. Como ficam os japoneses nessa
história?

59. Outros sistemas de codificação utilizados principalmente
pelos idiomas japonês, chinês e coreano:
Big5: Chinese, Japanese and Korean
Institute of Information of Taiwan
2 bytes
Shift JIS: Japanese
ASCII Corporation and Microsoft
Entre 1 e 2 bytes

60. Alguém tinha que acabar
com a bagunça!

61. Surgimento do Unicode
Luz no fim do túnel

62. Unicode
Universal Character Set

63. Unicode
Universal Character Set
Publicado em 1991

64. Unicode
Universal Character Set
Publicado em 1991
Acabar com as limitações dos sistemas de caracteres
(principalmente os pertencentes a norma ISO 8859)

65. Unicode
Universal Character Set
Publicado em 1991
Acabar com as limitações dos sistemas de caracteres
(principalmente os pertencentes a norma ISO 8859)
Capacidade para 1.114.112 caracteres

66. Unicode
Universal Character Set
Publicado em 1991
Acabar com as limitações dos sistemas de caracteres
(principalmente os pertencentes a norma ISO 8859)
Capacidade para 1.114.112 caracteres

67. Unicode
Universal Character Set
Publicado em 1991
Acabar com as limitações dos sistemas de caracteres
(principalmente os pertencentes a norma ISO 8859)
Capacidade para 1.114.112 caracteres
Primeiros 256 caracteres iguais aos do ISO-8859-1
(Compatibilidade reversa)

68. Unicode
Universal Character Set
Publicado em 1991
Acabar com as limitações dos sistemas de caracteres
(principalmente os pertencentes a norma ISO 8859)
Capacidade para 1.114.112 caracteres
Primeiros 256 caracteres iguais aos do ISO-8859-1
(Compatibilidade reversa)
Sendo assim, os 128 primeiros caracteres são iguais aos
da tabela ASCII

69. Version Date Scripts Caracteres
Histórico de versões 1.0 1991 24 7.161
1.0.1 1992 25 28.359
1.1 1993 24 34.233
2.0 1996 25 38.950
2.1 1998 25 38.952
3.0 1999 38 49.259
3.1 2001 41 94.205
3.2 2002 45 95.221
4.0 2003 52 96.447
4.1 2005 59 97.720
5.0 2006 64 99.089
5.1 2008 75 100.713
5.2 2009 90 107.361
6.0 2010 93 109.449
6.1 2012 100 110.181

70. Version Date Scripts Caracteres
Histórico de versões 1.0 1991 24 7.161
1.0.1 1992 25 28.359
1.1 1993 24 34.233
2.0 1996 25 38.950
2.1 1998 25 38.952
3.0 1999 38 49.259
3.1 2001 41 94.205
3.2 2002 45 95.221
4.0 2003 52 96.447
4.1 2005 59 97.720
5.0 2006 64 99.089
5.1 2008 75 100.713
5.2 2009 90 107.361
6.0 2010 93 109.449
6.1 2012 100 110.181

71. Version Date Scripts Caracteres
Histórico de versões 1.0 1991 24 7.161
1.0.1 1992 25 28.359
1.1 1993 24 34.233
2.0 1996 25 38.950
2.1 1998 25 38.952
3.0 1999 38 49.259
3.1 2001 41 94.205
3.2 2002 45 95.221
4.0 2003 52 96.447
4.1 2005 59 97.720
5.0 2006 64 99.089
5.1 2008 75 100.713
5.2 2009 90 107.361
6.0 2010 93 109.449
6.1 2012 100 110.181

72. Não dá pra representar o Unicode como
era feito com o ASCII e o ISO-8859-1?

73. O Unicode precisa ser codificado!

74. Imagine a palavra Maça

75. Imagine a palavra Maça
M -> 4D
a -> 61
ç -> E7
a -> 61

76. Imagine a palavra Maça
M -> 4D
a -> 61
ç -> E7
a -> 61
O primeiro encoding para Unicode foi o UCS-2
M a ç a
004D 0061 00E7 0061

77. Imagine a palavra Maça
M -> 4D
a -> 61
ç -> E7
a -> 61
O primeiro encoding para Unicode foi o UCS-2
M a ç a
004D 0061 00E7 0061

78. Novamente, assim não dá!

79. UTF-8

80. UTF-8
Unicode Transformation Format

81. UTF-8
Unicode Transformation Format
Esse negócio de utilizar 2 bytes não vai rolar!

82. UTF-8
Unicode Transformation Format
Esse negócio de utilizar 2 bytes não vai rolar!
Representação variável de 1 a 4 bytes.

83. UTF-8
Unicode Transformation Format
Esse negócio de utilizar 2 bytes não vai rolar!
Representação variável de 1 a 4 bytes.
No UTF-8 os caracteres abaixo de 128 são armazenados
em apenas 1 byte.

84. UTF-8
Unicode Transformation Format
Esse negócio de utilizar 2 bytes não vai rolar!
Representação variável de 1 a 4 bytes.
No UTF-8 os caracteres abaixo de 128 são armazenados
em apenas 1 byte.
Compatível com o ASCII.

85. UTF-8
Unicode Transformation Format
Esse negócio de utilizar 2 bytes não vai rolar!
Representação variável de 1 a 4 bytes.
No UTF-8 os caracteres abaixo de 128 são armazenados
em apenas 1 byte.
Compatível com o ASCII.
Formado por octetos (8-bit), por isso UTF-8.

86. UTF-8
Unicode Transformation Format

87. Imagine a palavra Maça
M -> 4D
a -> 61
ç -> E7
a -> 61
Codificando com UTF-8
M a ç a
4D 61 C3 A7 61

88. Imagine a palavra Maça
M -> 4D
a -> 61
ç -> E7
a -> 61
Codificando com UTF-8
M a ç a
4D 61 C3 A7 61

90. Classe String

92. Tipo char
2 bytes

93. Tipo char
2 bytes
Não sinalizado

94. Tipo char
2 bytes
Não sinalizado
Armazena valores de 0 até 65535

95. Tipo char
2 bytes
Não sinalizado
Armazena valores de 0 até 65535
Representa um code point do Unicode

96. Exibindo os caracteres e seus
respectivos code points

97. 1. public static void main(String args[]) {
2. String texto = “Java Magazine”;
3. for(char c : texto.toCharArray()) {
4. System.out.print(c);
5. System.out.print((int) c);
6. }
7. }
Console:

98. 1. public static void main(String args[]) {
2. String texto = “Java Magazine”;
3. for(char c : texto.toCharArray()) {
4. System.out.print(c);
5. System.out.print((int) c);
6. }
7. }
Console:
J74a97v118a97
32M77a97g103a97z122i105n110e101

99. 1. public static void main(String args[]) {
2. String texto = “Java Magazine”;
3. for(char c : texto.toCharArray()) {
4. System.out.print(c);
5. System.out.print((int) c);
6. }
7. }
Console:
J74a97v118a97
32M77a97g103a97z122i105n110e101

100. Inicializando o tipo char

101. 1. public static void main(String args[]) {
2. char a = ‘a’;
3. char b = 97;
4. char c = ‘u0061’;
5. char d = 0x61;
6. System.out.print(a);
7. System.out.print(b);
8. System.out.print(c);
9. System.out.print(d);
10. }
Console:

102. 1. public static void main(String args[]) {
2. char a = ‘a’;
3. char b = 97;
4. char c = ‘u0061’;
5. char d = 0x61;
6. System.out.print(a);
7. System.out.print(b);
8. System.out.print(c);
9. System.out.print(d);
10. }
Console:
aaaa

103. Codificando a classe String

104. Exemplo
Codificar a palavra “Maça” em ISO-
8859-1 e UTF-8

105. 1. public static void main(String args[]) {
2. String texto = “Maça”;
3. byte[] textoEmISO = texto.getBytes(“ISO-8859-1”);
4. for(byte b : textoEmISO) {
5. System.out.print(b + “ “);
6. }
7. }
Console:

106. 1. public static void main(String args[]) {
2. String texto = “Maça”;
3. byte[] textoEmISO = texto.getBytes(“ISO-8859-1”);
4. for(byte b : textoEmISO) {
5. System.out.print(b + “ “);
6. }
7. }
Console:

107. 1. public static void main(String args[]) {
2. String texto = “Maça”;
3. byte[] textoEmISO = texto.getBytes(“ISO-8859-1”);
4. for(byte b : textoEmISO) {
5. System.out.print(b + “ “);
6. }
7. }
Console:
77 97 -25 97

108. 1. public static void main(String args[]) {
2. String texto = “Maça”;
3. byte[] textoEmUTF = texto.getBytes(“UTF-8”);
4. for(byte b : textoEmUTF) {
5. System.out.print(b + “ “);
6. }
7. }
Console:

109. 1. public static void main(String args[]) {
2. String texto = “Maça”;
3. byte[] textoEmUTF = texto.getBytes(“UTF-8”);
4. for(byte b : textoEmUTF) {
5. System.out.print(b + “ “);
6. }
7. }
Console:

110. 1. public static void main(String args[]) {
2. String texto = “Maça”;
3. byte[] textoEmUTF = texto.getBytes(“UTF-8”);
4. for(byte b : textoEmUTF) {
5. System.out.print(b + “ “);
6. }
7. }
Console:
77 97 -61 -89 97

111. 1. public byte[] encodeUTF8(String value) {
2. byte[] utf8 = new byte[bytesNeeded];
3. // do the conversion from character code points to utf-8
4. for (int i = 0, bytes = 0; i < ch.length; i++) {
5. if (ch[i] < 0x80) {
6. utf8[bytes++] = (byte) ch[i];
7. } else if (ch[i] < 0x0800) {
8. utf8[bytes++] = (byte) (ch[i] >> 6 | 0xC0);
9. utf8[bytes++] = (byte) (ch[i] & 0x3F | 0x80);
10. } else if (ch[i] < 0x10000) {
11. utf8[bytes++] = (byte) (ch[i] >> 12 | 0xE0);
12. utf8[bytes++] = (byte) (ch[i] >> 6 & 0x3F | 0x80);
13. utf8[bytes++] = (byte) (ch[i] & 0x3F | 0x80);
14. } else {
15. utf8[bytes++] = (byte) (ch[i] >> 18 | 0xF0);
16. utf8[bytes++] = (byte) (ch[i] >> 12 & 0x3F | 0x80);
17. utf8[bytes++] = (byte) (ch[i] >> 6 & 0x3F | 0x80);
18. utf8[bytes++] = (byte) (ch[i] & 0x3F | 0x80);
19. }
20. }
21. return utf8;
22. }

112. Decodificando bytes

113. Exemplo
Decodificando os bytes da palavra
“Maça” codificada em UTF-8
97 77 -61 -89 77

114. 1. public static void main(String args[]) {
2. byte[] textoEmUTF = new byte[]{77,97,-61,-89,97};
3. String texto = new String(textoEmUTF, “ISO-8859-1”);
4. System.out.println(texto);
5. }
Console:

115. 1. public static void main(String args[]) {
2. byte[] textoEmUTF = new byte[]{77,97,-61,-89,97};
3. String texto = new String(textoEmUTF, “ISO-8859-1”);
4. System.out.println(texto);
5. }
Console:

116. 1. public static void main(String args[]) {
2. byte[] textoEmUTF = new byte[]{77,97,-61,-89,97};
3. String texto = new String(textoEmUTF, “ISO-8859-1”);
4. System.out.println(texto);
5. }
Console:
Maça

117. De onde vem os bytes?

118. InputStream e OutputStream

119. Exemplo
Lendo o conteúdo de um
arquivo texto

120. 1. public static void main(String args[]) {
2. InputStream input = new FileInputStream(“file.txt”);
3. byte[] conteudo = new byte[input.available()];
4. input.read(conteudo);
5. String texto = new String(conteudo, “ISO-8859-1”);
6. System.out.println(texto);
7. }

121. 1. public static void main(String args[]) {
2. InputStream input = new FileInputStream(“file.txt”);
3. byte[] conteudo = new byte[input.available()];
4. input.read(conteudo);
5. String texto = new String(conteudo, “ISO-8859-1”);
6. System.out.println(texto);
7. }

122. Como saber o sistema de
codificação correto?

123. Exemplo
Consultando uma página web por
meio do protocolo HTTP

124. 1. public static void main(String args[]) {
2. String url = “http://www.javamagazine.com.br”;
3. InputStream input = new URL(url).openStream();
4. byte[] conteudo = new byte[input.available()];
5. input.read(conteudo);
6. String html = new String(conteudo, “ISO-8859-1”);
7. System.out.println(html);
8. }
Console:
<html>
<head>
<title>DevMedia - Canal Java</title>
<link rel="canonical" href="http://www.devmedia.com.br/java/" />
<link rel="shortcut icon" href="/favicon.ico">
<meta http-equiv="refresh" content="300">
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
...

125. 1. public static void main(String args[]) {
2. String url = “http://www.javamagazine.com.br”;
3. InputStream input = new URL(url).openStream();
4. byte[] conteudo = new byte[input.available()];
5. input.read(conteudo);
6. String html = new String(conteudo, “ISO-8859-1”);
7. System.out.println(html);
8. }
Console:
<html>
<head>
<title>DevMedia - Canal Java</title>
<link rel="canonical" href="http://www.devmedia.com.br/java/" />
<link rel="shortcut icon" href="/favicon.ico">
<meta http-equiv="refresh" content="300">
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
...

126. Como descobrir o sistema de
codificação correto?

127. Problemas de Charset
na Web

131. HTTP Request
GET /javamagazine/ HTTP/1.1
Host: www.devmedia.com.br
User-Agent: Mozilla/5.0 Gecko/20100101 Firefox/14.0.1
Accept: text/html
Accept-Language: pt-br,pt;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate

132. HTTP Response
HTTP/1.1 200 OK
Content-Type: text/html;charset=ISO-8859-1;
Content-Encoding: gzip
Server: Microsoft-IIS/7.5
X-Powered-By: ASP.NET
Date: Wed, 15 Aug 2012 03:30:07 GMT

133. HTTP Response
HTTP/1.1 200 OK
Content-Type: text/html;charset=ISO-8859-1;
Content-Encoding: gzip
Server: Microsoft-IIS/7.5
X-Powered-By: ASP.NET
Date: Wed, 15 Aug 2012 03:30:07 GMT

134. Simulando problemas

135. 1. @WebServlet(“/javamagazine”)
2. public class EnsaioServlet extends HttpServlet {
3. protected void doGet(HttpServletRequest req, HttpServletResponse res) {
4. String texto = “Maça”;
5. OutputStream output = response.getOutputStream();
6. for(byte b : texto.getBytes(“ISO-8859-1”) {
7. output.write(b);
8. }
9. output.close();
10. }
11. }

136. HTTP Response
HTTP/1.1 200 OK
Server: Apache-Coyote/1.1
Content-Length: 4
Date: Sat, 18 Aug 2012 13:49:35 GMT

138. Cada browser assume um sistema de
codificação padrão

139. Definindo o charset no
HTTP Response

140. 1. @WebServlet(“/javamagazine”)
2. public class EnsaioServlet extends HttpServlet {
3. protected void doGet(HttpServletRequest req, HttpServletResponse res) {
4. String texto = “Maça”;
5. OutputStream output = response.getOutputStream();
6. for(byte b : texto.getBytes(“ISO-8859-1”) {
7. output.write(b);
8. }
9. output.close();
10. }
11. }

141. 1. @WebServlet(“/javamagazine”)
2. public class EnsaioServlet extends HttpServlet {
3. protected void doGet(HttpServletRequest req, HttpServletResponse res) {
4. String texto = “Maça”;
5.
6. OutputStream output = response.getOutputStream();
7. for(byte b : texto.getBytes(“ISO-8859-1”) {
8. output.write(b);
9. }
10. output.close();
11. }
12. }

142. 1. @WebServlet(“/javamagazine”)
2. public class EnsaioServlet extends HttpServlet {
3. protected void doGet(HttpServletRequest req, HttpServletResponse res) {
4. String texto = “Maça”;
5. res.setContentType(“text/html;charset=ISO-8859-1”);
6. OutputStream output = response.getOutputStream();
7. for(byte b : texto.getBytes(“ISO-8859-1”) {
8. output.write(b);
9. }
10. output.close();
11. }
12. }

143. Declarando a tag META
no documento HTML

144. <HTML>
<HEAD>
<META http-equiv =“Content-Type”
content=“text/html;charset=ISO-8859-1”>
</HEAD>
<BODY>
...
</BODY>
</HTML>

145. Ordem de prioridade dada pelos
browsers
1. Charset definido na propriedade Content-Type do
cabeçalho do HTTP Response
2. Declaração da tag META com o atributo “http-equiv” no
head do documento HTML
3. O atributo charset definido em elementos de importação
de recursos externos como Javascript.

146. Cuidado com a compilação dos
arquivos fonte

147. 1. public class TesteCompilacao {
2. public static void main(String[] args) {
3. String texto = “Maça”;
4. System.out.println(texto);
5. }
6. }

149. 1. public class TesteCompilacao {
2. public static void main(String[] args) {
3. String texto = “Maça”;
4. System.out.println(texto);
5. }
6. }
Console:
javac TesteCompilacao.java –encoding ISO-8859-1
java TesteCompilacao
Maça

150. Cuidado com sistemas de codificação
específicos como MacRoman e Cp1252!

151. Dicas para evitar problemas
de codificação
• Defina um padrão na equipe
• Evite sistemas de codificação específicos de um sistema
operacional
• Prefira o UTF-8
• Fique atento a compilação
• Sempre defina o Content-Type
• Declare a tag META http-equiv
• Externalize as String’s
• Evite resolver os problemas na base da tentativa e erro

152. Obrigado!
www.slideshare.net/rodrigobranas