O documento discute a implementação de uma rede GDPS no Banco Nossa Caixa para fornecer alta disponibilidade e desempenho. A rede foi dividida em dois ambientes separados de teste e produção, cada um com dois sistemas de rede e aplicativos, um em cada site. Os sistemas de rede foram configurados como CMCs para gerenciar os recursos de rede de forma isolada dos sistemas de aplicativos e dados.

1. REDES APPN = Rapidez e alta disponibilidade = CMC =
Sobre o autor:
Antonio Marques Dias de Mattos, 52 anos, natural de Sabino-SP, Engenheiro Civil.
Com 26 anos de experiência em redes mainframe, nos últimos 7 anos no Banco Nossa Caixa.
Diversos cursos na área de TI, desde Analise de Sistemas (ADP SYSTEMS), SNA, TCPIP,
APPN, ASSEMBLER, GERENCIAMENTOS DE REDE e NCP.
O PAPER...
Falaremos sobre os 6 tópicos abaixo, sendo que o enfoque estará no caso de sucesso no
desempenho e a alta disponibilidade no modelo de rede desenhado para suportar a
implementação do GDPS (Geographically Dispersed Parallel Sysplex is the ultimate Disaster
Recovery and Continuous Availability solution for a System z multi-site enterprise).
 A comunicação Mainframe SNA E TCPIP
 Ambientes de rede CMC do projeto GDPS.
 Necessidades e benefícios dos CMCs no BNC.
 Agilidade nas implementações das redes externas APPN/EE (EBN) METRO e
PRODESP.
 Fluxo de dados SNA e IP no mainframe em %.
 Problemas de performance e disponibilidade na rede APPN, e soluções.

2.  A comunicação Mainframe SNA e TCPCIP – DEFINIÇÕES
CMC - Communications Manager Configuration - resume Sistemas Operacionais onde
ficarão realmente as funções de gerenciamento e controle dos recursos de rede. Nele ficarão
os NCPs, XCAs para conectividades, produtos de gerenciamento e performance de rede,
como Netview, NPM, Netmaster, Omegamon, etc.
O CMC visa disponibilizar os serviços de rede em sistemas operacionais de forma
isolada e são denominados ICN (Interchange Network, se tivermos NCP) E NN
(Network Node, se não tivermos NCP), e os demais sistemas de aplicativos e dados
ficariam em partições distintas, denominados End Node ou Datahost Migration.
XCA - External Communication Adapter – é onde são definidos os links SNA (Datalink
Switch) em cima de OSE, e os links EE (Enterprise Extender) / APPN, em cima de OSA, CTC,
XCF ou CIP. Aqui a grande comunicação Mainframe acontece. Todas as agências, todas as
conectividades com servidores, passam por aqui, pelos XCA, sendo que algumas ainda
permanecem em NCPs.
SNA - System Network Architecture - é uma arquitetura proprietária de rede da IBM, que foi
desenvolvida nos anos 70, em que foi criado um eficiente gerenciador de acesso de
comunicação chamado VTAM (Virtual Telecommunications Access Method, que tem suas duas
modalidades APPN e SUBÁREA), em conjunto com o NCP (Network Control Program), onde
são geradas as linhas de comunicações do mainframe, e o SDLC, o tipo de protocolo orientado
a bit, que interligava toda rede ao mainframe. Sobre o protocolo BSC 1, X25, que eram
orientados a byte, foi criado o NTO (Network Terminal Option), e NPSI, para que os mesmos
funcionassem nas CCUs.
APPN – Advanced Peer to Peer Networking – é uma estrutura de rede que se comunica
utilizando roteamento de alta performance (HPR), com algoritmos de buscas de rotas
dinâmicas mais eficientes, que a cada intervalo são renovados, buscando sempre ter a melhor
opção de rotas. Os pontos das redes podem ser End Node ou Network Node. Sendo que no
Network Node é o responsável pelo controle e o funcionamento da rede e onde se concentra as
informações de recursos dos End Nodes.
VTAM - Virtual Telecommunications Access Method - é uma interface de progama de
aplicação IBM (API) para comunicações entre devices (dispositivos de tp) e seus usuários.
VTAM Subárea - Todo mapeamento de rota é fixo, onde os paths eram definidos para
rotear a rede SNA.

3. TCP/IP, Transmition Control Protocol / Internet Protocol - produto de protocolo, que a IBM
teve aptar ao mainframe, nos anos 1980, para interligar Mainframe ao mundo distribuído ,
porém somente em 96, que teve uma reformulação do produto, e com o nome CS -
Communications Server - passou a trabalhar em conjunto com o VTAM.
O TCP/IP está dividido em 4 camadas, conforme figura,
Applications, onde temos os produtos, ftp, telnet, cics, ipsec, smtp, roteamento
OMPROUTE, etc.
Transport Layer, pode ser TCP, conexão orientada ponto a ponto, tem controle, ou
UDP, connectionless, não existe controle, porém é mais rápida.
Internetwork Layer, camada responsável pelo acesso à rede, e também pelo
roteamento das mensagens via as redes interligadas. Internet Protocol (IP).
XCF - Cross-system coupling facility - é um componente do z/OS que gerencia as
comunicações entre aplicações num sysplex.) , CTC(Canal to Canal), AHHC(APPN Host to
Host Channel), OSA, roteadores CIP.
OSA – Open Systems Adapter – Adaptador de rede do Mainframe. Os tipos de OSA são:
OSD(OSA DIRECT EXPRESS2 usa só IP nos devices TCPIP)-, OSE(OSA EXPRESS2 IP e
SNA, usados no TCPIP e XCA(SNA)) e OSN(IP USADO NO CCL).
Os produtos mantidos no mainframe para disponibilizar conectividade e serviços, são:
VTAM, TCPIP, OMPROUTE, FTPD, TN3270, SYSLOGD, SMTP, IKED, PAGENT, APPC,
ASCH, OSASF, NCP, SSP, NPM, Connect:Direct, Connect:Enterprise,
Connect:eXpress(Compatível com RVS), STN, XFB, CCL, CICs, MQseries, NETVIEW, S.A.,
GDPS, OMEGAMON.

4.  Ambientes de rede CMC implementado no projeto GDPS X ambiente
anterior.
No ambiente anterior ao implementado a rede e os aplicativos conviviam em dois sistemas, o
ONLINE e o BATCH, e tínhamos também os sistemas de DESENVOLVIMENTO e
HOMOLOGAÇÃO e DATAWAREHOUSE e SUPORTE.
No Banco Nossa Caixa foi criado um ambiente de teste, no qual foi implementado o novo
desenho de rede e aplicativos, e após todos os testes necessários fazemos a implementação
no ambiente de produção.
O ambiente atual está divido em TESTPLEX e PRODPLEX. Como o próprio nome já diz, o
sysplex TESTPLEX é segregado para ambiente de testes, e o sysplex PRODPLEX é somente
produção. Neles temos dois sistemas de rede, um para cada site, onde estão os NCPs, todas
linhas, os XCAs, todos as linhas Datalinkswitchs e as linhas EE/APPN, além das linhas
EBN(Redes Mainframe externas APPN).
Temos dois sistemas de aplicativos e dados, um para cada site.
Temos dois sistemas isolados chamados K1 e K2, com recursos necessários para o GDPS
(Um tipo de Netview com funções específicas para fazer a mudanças de sistemas em partições
backup). Temos a figura destas configurações que demonstram melhor está explanação.

5.  Necessidades e benefícios dos CMCs no Banco NossaCaixa.
Para a implementação do VTAMs e TCPIPs, para atender esta arquitetura devemos configurar
as VTAMLSTs, VTAMLIBs, TCPIPs, dos Sistemas com VTAMs ICN(ou NN) e EN.
Uma tabela comum no sistema contendo todas MODETABs de todos sistemas. Ela estará na
parametrização VTAM no ATCSTR, usado para o recursos TYPE= CDRSC, e todas dlogmodes
devem ter APPNCOS. DYNMODTB = MODNCNB.
EXITs necessárias para o funcionamento e segurança dos estabelecimento de sessões.
Uma exit de controle de sessões secundárias ISTEXCAA. Uma exit em assembler, fácil
de se manusear, a partir da exit já existente, onde não se permite que redes externas
façam ponte pelo CMC, inclusive nela barramos as conexões CPxCP.
Uma exit de controle de generic resources ISTEXCGR.
Uma exit de controle de serviços diretórios ISTEXCDM.
Nos C.M.C.s(ICN=Interchange Nodes= O VTAM cujo sistemas tem segregado atividades de
rede, deveremos ter os parâmetros na tabela de start
ATCSTRXX:
CONNTYPE=APPN,
GWSSCP=YES,
HOSTSA,
NODETYPE=NN,
MAXSUBA,
SACONNS=YES NCPs, XCAs,
Somente ativa nos I.C.N.s
Criar os XCA para o APPN/EE
Nos E.N.s(End Nodes) o VTAM cujos sistemas tem só aplicativos e dados, deveremos ter os
parâmetros, na tabela de start
ATCSTRXX:
CONNTYPE = LEN,
GWSSCP=NO,
NNSPREF=NCNB. BNCPCMC1,
NODETYPE=EN,
SACONNS=NO
Nas tabelas de start ATCSTRXX dos VTAMs de todos sistemas devemos ter a tabela
FLDTAB=ISTMSFLD e também devemos criar os majornodes
APPNTOSA,
SATOAPPN,
IBMTGPS e incluí-los nas tabelas de configurações ATCCONXX dos sistemas.

6. No VTAM dos CMCs criar majornode
XCAEE
VBUILD TYPE=XCA
POREE PORT MEDIUM=HPRIP,
LIVTIME=10,
IPTOS=(20,40,80,C0)
SAPADDR=4,
SRQRETRY=3,
SRQTIME=15
GREE GROUP DIAL=YES,
DYNPU=YES,
DYNPUPFX=EW,
CALL=INOUT,
AUTOGEN=(2000,L,P)
Um exemplo do grupo EE (Enterprise Extender)/APPN), aonde todas links APPN se
estabelecem.
* DIS GREE
IST075I NAME = GREE, TYPE = LINE GROUP
IST486I STATUS= ACTIV, DESIRED STATE= ACTIV
IST231I XCA MAJOR NODE = XCAEE
IST1680I LOCAL IP ADDRESS 18.155.137.1  IP DO SISTEMA CMC.
As necessidades dos TCPIPs / PROFILE do CMCs
As 4 definições importantes (DEVICE, LINK, PORT e START), e pronto o TPCIP
funcionando com o APPN.
DEVICE IUTSAMEH MPCPTP
LINK EEXLINK MPCPTP IUTSAMEH
12000 UDP NET / 12001 UDP NET / 12002 UDP NET / 12003 UDP NET / 12004 UDP
NET
START IUTSAMEH
Um display no APPN  D NET,EE
IST350I DISPLAY TYPE = EE
IST2000I ENTERPRISE EXTENDER GENERAL INFORMATION
IST924I -------------------------------------------------------------
IST2006I PORT PRIORITY = SIGNAL NETWORK HIGH MEDIUM LOW
IST2007I IPPORT NUMBER = 12000 12001 12002 12003 12004
IST2008I IPTOS VALUE = C0 C0 80 40 20
IST2018I TAL IST2018I TOTAL ACTIVE PREDEFINED EE CONNECTIONS = 993
Definindo uma conexão externa APPN( EBN) para substituir uma SNI, SWEE
SWEEMTRO VBUILD TYPE=SWNET,MAXGRP=6,MAXNO=6
LEEMTRO PU PUTYPE=2, X
ANS=CONT, X
CPNAME=CDRMVT, X
CONNTYPE=APPN, X
CPCP=YES, X
DWACT=YES, X
TGN=3, X
TGP=CHANNEL, X
NETID=METSP, X
HPR=YES
*
PATHMT PATH IPADDR=167.135.51.33,GRPNM=GREE X

7. EFETUANDO UM DISPLAY EM UMA CONECTIVIDADE...
D NET,ID=SWEEMTRO,E
IST075I NAME = SWEEMTRO , TYPE = SW SNA MAJ NODE
IST486I STATUS= ACTIV , DESIRED STATE= ACTIV
IST084I NETWORK RESOURCES:
IST089I LEEMTRO TYPE = PU_T2.1 , ACTIV
DISTRIBUIDOR de sessões SNA e TCP/IP nos CMCs.
No SNA o GENERIC RESOURCE, é que verifica qual está mais disponível e manda a
solicitação para o E.N. que tem o aplicativo com menos trabalho, e mais cpu, utilizando
o WLM.
No TCP/IP é o VIPADISTRIBUTOR, simples de implementar, você diz quais os E.N.
usarão determinados PORT, e através do WLM, ele distribui a solicitação para o
aplicativo de menos carga.
 Os benefícios das redes APPN com CMCs, são a alta disponibilidade real do sistema
de rede, a facilidade de gerenciamento da rede, e rapidez do APPN(utiliza FID2 e não
FID4), pois ao cair sistemas de aplicativos e rotas, as sessões permanecem,
resultando alta confiabilidade e disponibilidade nos sistemas de rede e aplicativos
em geral.
 A experiência de implementar duas redes externas APPN/EE(EBN).
Nossa tentativa de eliminar as CCUs, nos levou a incentivar nossos parceiros a terem o
configuração APPN em suas instalações, e após consultarmos todas empresas que
tinham SNI conosco, somente 3 empresas concordaram em migrar de SNI para
APPN(EBN), o METRO, a PRODESP e a CSU, porém elas não tinham experiência em
APPN, e nos colocamos a disposição de implementar em conjunto, o que foi feito.
Inicialmente preparamos todo material necessário, como alterar o VTAM, TCPIP, a
EXIT, e a criação dos majornodes necessários para a concretização da migração. Um
elemento de nossa equipe, fomos até o site do METRO, e assim conseguimos
implementar no ambiente de testes, está conectividade APPN, que depois passaram
para a produção, sem problemas. Lógico, que sempre existe alguma dificuldade na
parte de roteadores, e em conjunto com o Metro solucionamos os problemas. E isso
ajudou os a desativar a CCU, uma vez que utilizava somente para conectividade com a
Nossa Caixa.
A segunda foi a PRODESP, a qual, após enviadas as dicas para os analistas de rede
da mesma, eles conseguiram efetivar a conectividade APPN, e estavam prontos para
eliminar a CCU também.
A terceira, a CSU, estamos aguardando a disponibilidade deles para fazerem os testes,
uma vez que já foram enviadas as documentações e a EXIT de segurança.
 Fluxo de dados SNA e IP nos mainframes.
São 23 gigabytes transitados por hora pelos sistemas mainframe, em horário de pico,
deste fluxo de dados 57% dos bytes saem, e 43% dos bytes chegam a cada hora.
Desse total de bytes transitados 58% são IP (45% saem e 13% entram) e 42 % são
SNA (14% saem e 28% entram).
Os dois sistemas de rede ICN, trafegam um 28 % e outro 22%, e os dois sistemas de
aplicativos e dados E.N., trafegam um 38 % e outro 10 %... Tem mais Sistemas E.N.,
como DW e Desenvolvimento e Homologação que ficam com os restantes 12 %.
Temos transferências pelo Connect Direct, 1910 arquivos diários, 930 recepções com
8,8 terabytes em 7,2 horas. E transmissões de 980 arquivos com 34,2 terabytes em 6,9
horas. Run Tasks 1140 e Run Jobs 630.

8. Connect Express são 85 arquivos transferidos por dia num total de 150000 registros.
 Os problemas enfrentados na rede APPN.
QUEDAS E.N. – De repente as pu.2.1(Servidores) começam a cair a cada 15
segundos, na nova versão 1.7. Feito uma correção nos parâmetros do start do VTAM e
normalizou a rede.
CONEXÃO S.A. para o GDPS K1P E K2P – Quando em evento acontecia de cair uma
partição o S.A. do K2 não recebia a indisponibilidade do outro sistema. Alteramos
parâmetros nos VTAMs CMCs, K1 e K2.
PERDA DE ACESSO A REDE EXTERNA - De repente não acessávamos uma rede
externa.
O que acontece, algum ponto está prendendo a procura APPN. Para isso deve-se usar
basicamente alguns comandos para identificar o Node que está segurando. Tivemos
um problema na configuração dos 1000 E.N., o qual eles não estavam registrando suas
L.U.s no Diretório Central do NN.
É bom a cada intervalo efetuar um comando tipo logon applid(tsoxyz), e se a rede
demorar para responder, temos que identificar aonde está o problema e corrigi-lo.
FLOOD – Uma enchente de mensagens aparece no sistema devido a algum evento
não esperado, e isso pode até influenciar na performance do sistema, vindo até a
derrubá-lo. Neste caso adotamos o ISTMSFLD, uma tabela vinda nativa da IBM, porém
temos que colocá-la na tabela de configuração do VTAM. Sendo que o default das
mensagens para não se repetir é 30 segundos. Mudamos para 10 segundos algumas
mensagens, e as variáveis destas que eram Yes, passamos para No, para que a
mensagem não se repetisse no intervalo de 10 segundos, resolvendo o problema.
QUANDO UM E.N. NÃO ATIVA NUM CMC - Esse caso é típico em determinados
momentos em que nossos E.N. não ativam em nenhum dos C.M.Cs. Alguns comandos
de displays, são necessários, e seguidos de vary inact em alguns recursos, resolvem a
pendências, que são raríssimas.
Considerações finais.
A alta disponibilidade da rede hoje é sentida quando
temos IPL em sistemas de aplicativos e dados, a rede
permanece intacta.
Adeus IPLs nos sistemas de rede, pois os sistemas de
aplicativos não interferem mais na rede
Um SITE pode parar que o outro assume e dá conta do
recado.
Recomendamos o CMC a todos implementadores de rede
mainframe.