Scala @ soundcloud [scaladores]

2. @flaviowbrasil
Aficionado por open
source
Expert em
escalabilidade
Mestre Jedi Scala
Prefere + uma sessão
de profiling do que
uma tarde na praia

3. @herval
Fundador de Startups
Dois Easter Eggs
publicados
Padawan Scala
Tem um cachorro com
nome de sorvete

4. A Nuvem de Som
12 horas de novo conteúdo/ minuto
350 milhões de usuários/mês
12 milhões de horas ouvidas/mês
1 usuário no espaço

5. Era uma vez uma startup...
Uma base de código
Um punhado de construtores

6. Um milhão de features
Base de código gigante

7. Move fast
and break
things

8. Quebrando os muros

9. Muitos vilarejos, muitos idiomas
Microserviços → "tudo é http"
Culturas de código
Infraestrutura
Monitoramento
"production ready"

10. A Torre de Babel
Mais pessoas → mais linguagens
N+1 linguagens
N = número de linguagens de programação existentes

11. Move fast
without breaking everything, bitte.

12. Java
Serviços de base
Bibliotecas compartilhadas
Monitoria
Autenticação/segurança
(cross-cutting concerns)
INFRAESTRUTURA BÁSICA

13. JVM-Kit

14. Estudo de caso
O novo Stream

15. Reescrever pra quê?
Novas features
Latência
Vazão
Microserviços

16. API
Timeline

17. API
Timeline
Roshi

18. API
Timeline
Roshi
Autentic.
Autoriz.
Geo loc.

19. API
Timeline
Roshi
Autentic.
Autoriz.
Geo loc.

20. API
Timeline
Roshi
Autentic.
Autoriz.
Geo loc.
Playlists
Tracks
Usuários

21. API
Timeline
Roshi
Autentic.
Autoriz.
Geo loc.
Playlists
Tracks
Usuários
Likes
Coment.
Promoted
Stats

22. API
Timeline
Roshi
Autentic.
Autoriz.
Geo loc.
Playlists
Tracks
Usuários
Likes
Coment.
Promoted
Stats
...

23. Buscar
API
Agregar
Timeline
Roshi
Autentic.
Autoriz.
Geo loc.
Playlists
Tracks
Usuários
Likes
Coment.
Promoted
Stats
...

24. Buscar
Latência

25. API
Timeline
Roshi
Autentic.
Autoriz.
Geo loc.
Playlists
Tracks
Usuários
Likes
Coment.
Promoted
Stats
...

26. Agregar
Complexidade

27. API
Timeline
Roshi
Autentic.
Autoriz.
Geo loc.
Playlists
Tracks
Usuários
Likes
Coment.
Promoted
Stats
...

28. Scala
yay!

29. Buscar
Paralelizar

31. Futuros

32. Futuros
Referência para um
valor que será
disponibilizado no
futuro.

33. Futuros
val response: Future[Int] = …
// Não compila
response + 1

34. Futuros
val response: Future[Int] = …
// Adiciona um callback
response.onSuccess { int =>
println(int)
}

35. Futuros
val response: Future[Int] = …
// Compõe um novo futuro
val count: Future[Int] =
response.map { int =>
int + 1
}

36. Futuros
for {
user <- authenticate(request)
} yield {
}

37. Futuros
for {
user <- authenticate(request)
geo <- geoLocationFor(request, user)
} yield {
}

38. Futuros
for {
user <- authenticate(request)
geo <- geoLocationFor(request, user)
timeline <- timelineFor(user, geo)
} yield {
}

39. Futuros
for {
user <- authenticate(request)
geo <- geoLocationFor(request, user)
timeline <- timelineFor(user, geo)
resources <-
fetchTracks(timeline)
.join(fetchPlaylists(timeline))
.join(fetchComments(timeline))
} yield {
}

40. Futuros
for {
user <- authenticate(request)
geo <- geoLocationFor(request, user)
timeline <- timelineFor(user, geo)
resources <-
fetchTracks(timeline)
.join(fetchPlaylists(timeline))
.join(fetchComments(timeline))
} yield {
new EnrichedTimeline(timeline, resources)
}

41. Futuros
def handle(request: Request): Future[EnrichedTimeline] =
for {
user <- authenticate(request)
geo <- geoLocationFor(request, user)
timeline <- timelineFor(user, geo)
resources <-
fetchTracks(timeline)
.join(fetchPlaylists(timeline))
.join(fetchComments(timeline))
} yield {
new EnrichedTimeline(timeline, resources)
}

42. Futuros
+ NIO
Escalabilidade

43. Máquinas

44. Máquinas
Processos

45. Máquinas
Processos
Threads

46. Máquinas
Processos
Threads
Futuros

47. Futuros
def handle(request: Request): Future[EnrichedTimeline] =
for {
user <- authenticate(request)
geo <- geoLocationFor(request, user)
timeline <- timelineFor(user, geo)
resources <-
fetchTracks(timeline)
.join(fetchPlaylists(timeline))
.join(fetchComments(timeline))
} yield {
new EnrichedTimeline(timeline, resources)
}

48. Agregar
Funcional

49. Collections

50. val timeline: Timeline = …

51. val timeline: Timeline = …
val actorsToFetch: List[User] =
timeline.items.map(_.actor)

52. val timeline: Timeline = …
val actorsToFetch: List[User] =
timeline.items.map(_.actor)
val itemsByActor: Map[User, List[Item]] =
timeline.items.groupBy(_.actor)

53. val timeline: Timeline = …
val actorsToFetch: List[User] =
timeline.items.map(_.actor)
val itemsByActor: Map[User, List[Item]] =
timeline.items.groupBy(_.actor)
val numberOfItemsByActor: Map[User, Int] =
itemsByActor.mapValues(_.size)

54. def createEnrichedTimeline(
timeline: Timeline,
users: Map[User, EnrichedUser]) = {
timeline.items.map { item =>
new EnrichedItem(
item, users.get(item.actor))
}
}

55. Options

56. Option[T]
None Some(value)

57. Options
def findUser(id: Int): Option[User]
// Nao compila
render.json(findUser(666).name)

58. def findUser(id: Int): Option[User]
// Compila
findUser(666).map {
case Some(user) => render.json(user.name)
case None => render.notFound
}
Options

59. Pattern
Matching

60. case class User(name: String, gender: Gender, email: Email)

61. case class User(name: String, gender: Gender, email: Email)
timelineActors.foreach {
}

62. case class User(name: String, gender: Gender, email: Email)
timelineActors.foreach {
case User(name, Female, Email(_, “soundcloud.com”) =>
println(“mulher trabalhando na soundcloud”)
}

63. case class User(name: String, gender: Gender, email: Email)
timelineActors.foreach {
case User(name, Female, Email(_, “soundcloud.com”) =>
println(“mulher trabalhando na soundcloud”)
case User(name, Male, Email(_, “soundcloud.com”) =>
println(“homem trabalhando na soundcloud”)
}

64. case class User(name: String, gender: Gender, email: Email)
timelineActors.foreach {
case User(name, Female, Email(_, “soundcloud.com”) =>
println(“mulher trabalhando na soundcloud”)
case User(name, Male, Email(_, “soundcloud.com”) =>
println(“homem trabalhando na soundcloud”)
case User(name, gender, Email(_, “qconrio.com.br”) =>
println(“organizador da qconrio”)
}

65. case class User(name: String, gender: Gender, email: Email)
timelineActors.foreach {
case User(name, Female, Email(_, “soundcloud.com”) =>
println(“mulher trabalhando na soundcloud”)
case User(name, Male, Email(_, “soundcloud.com”) =>
println(“homem trabalhando na soundcloud”)
case User(name, gender, Email(_, “qconrio.com.br”) =>
println(“organizador da qconrio”)
case _ =>
println(“pessoa desconhecida”)
}

66. Nem tudo são flores...

68. Código denso

70. Mas e o Stream...?

71. Mas e o Stream...?
API
Cassandra
MySQL

72. Mas e o Stream...?
API
Cassandra
MySQL
~400 ms

73. Mas e o Stream...?
API
MySQL
Tracks
SPelarvyilcisets
SPelarvyilcisets
Service
Timeline Redis
Service

74. Mas e o Stream...?
~150 ms
API
MySQL
Tracks
SPelarvyilcisets
SPelarvyilcisets
Service
Timeline Redis
Service

75. Mas só o Stream...?
Data team
Outros servicos em
Scala
Ferramental jvmkit

76. Mas só o Stream...?
Stranglers

77. Mas só o Stream...?
Stranglers

78. Mas só o Stream...?
Stranglers
Novo
stream

79. Mas só o Stream...?
Stranglers
Novo
stream
Cache

80. Em resumo...
Produtivo como Ruby, typesafe
como Java*
Move faster,
break fewer things

81. O presente

82. O futuro!
Padrões de código
Bibliotecas mais estáveis
Facilidade de inovação
"One Scala"

83. Perguntas?
by the way, we're hiring
http://bit.ly/qconrj2014