luizcarlosfaria/enterpriseapplicationlog

Enterprise Application Log with RabbitMQ, LogStash, ElasticSearch and Kibana

Luiz Carlos Faria

Você pode me conhecer pelo meu site, o , ou talvez seja (ou conheça) um aluno do ou .

Já sei, você assistiu alguma live no ou algum podcast no

Sim, eu também faço parte do Canal .NET e do DevShow Podcast.

Beleza, não tem problema se você não me conhece. Eu sou Luiz Carlos Faria, muito prazer.

Nasci em Campos dos Goytacazes, em 1983, comecei tentar desenvolver quando ainda era época do mIRC, eu queria criar alguns scripts. Depois eu comprei um livro de VB, depois fiz um curso de Delphi quando estava na 8ª série.

No ano seguinte ainda no ensino médio eu fiz um segundo curso de Delphi. Sim, diferente do primeiro curso, nesse existia uma parada muito irada no finalzinho da ementa do curso: se chamava "orientação a objetos".

Mas foi frustrante: No meio do curso eu fui expulso da turma!

O professor perguntou o que eu estava fazendo ali, pois eu era o típico pentelho motivado e empolgado que achava tudo legal, mas que já sabia a matéria e estava mais atrapalhando que ajudando:

Eu disse que queria aprender Orientação a Objetos, pois era a matéria avançada do final do curso.

E ele me enxotou daquela turma dizendo que não conseguiria abordar esse assunto naquela turma, que a galera estava atrasada e engatinhando ainda.

Foi alí que eu aprendi que tinha de estudar sozinho.

Assim de 1999 a 2001 eu estudei por conta.

Em 2002 eu já trabalhava profissionalmente, ainda como JR, na Petrobras.

Alí eu comecei a trabalhar com ASP 3, logo em 8 meses eu estava no time de arquitetura da regional. O nome do time era "Suporte ao Desenvolvimento". Naquela época "arquitetura" era algo mais presente lá fora, na gringa e nos grandes centros. O termo não havia se popularizado aqui no Brasil, mas Matrix Reload de 2003 coloca o termo The Architect em evidência, e assim começa a se popularizar na TI daqui do Brasil. Aliás, chegar ao time foi uma das minhas primeiras grandes conquistas: Lembra daquele pentelho motivado? pois é...

De lá pra cá eu fiz muita coisa legal e oficialmente tive meu primeiro cargo de arquiteto em 2007, embora tivesse exercido diversas vezes essa função antes. Em 2010 de fato consolido minha carreira como arquiteto de software e de lá pra cá, acumulo arquitetura de software e arquitetura de solução e trabalho para enriquecer os 2 skills.

Moro no Rio em 2005! Mas to sempre nos eventos online do .

Aliás, se você não tá sabendo, eu também tenho o meu próprio canal do youtube

Redes Sociais

Websites, Blogs, Cursos

Lives

Minha história

Te convido a conhecer um pouco do início da minha carreira, e de tudo o que eu venho fazendo desde de 2002.

Estatísticas

É isso, eu só não parei!

e se você quer uma dica para a vida:

Só não para!

enterpriseapplicationlog's Issues

Add X-Pack to Enterprise Log

https://www.elastic.co/products/x-pack
https://www.elastic.co/downloads/x-pack

How to connect my client (Local) to the AMPQ docker service

Fala Gago,

Seguinte, estou com meu ambiente rodando perfeito com docker compose.
Gostaria criar uma app local (utilizando o EasyNetQ) para enviar mensagens, mas nao estou conseguindo conectar.
Duvida: O que estou fazendo errado? Se minhas portas "15672:15672" e "5672:5672" ja estao mapeadas para meu pc local, porque nao consigo conectar?

Obrigado!

            using (var bus = RabbitHutch.CreateBus("host=localhost;port=5672;virtualHost=EnterpriseLog;username=logUser;password=LogPwd;"))
            {
                bus.Subscribe<TextMessage>("test", HandleTextMessage);

                Console.WriteLine("Listening for messages. Hit <return> to quit.");
                Console.ReadLine();
            }

MetricBeat - Error on field 'count': Missing field: count, Error: Key disk_reads not found

Boa tarde,

realizei o pul do projeto e estou tendo um problema com o metricbeat, depois de dar as permissões corretas no yml dele, consegui subir só que infeliziemnte estou recebendo a seguinte mensagem.

metricbeat | 2018-03-28T21:10:49.040Z ERROR schema/schema.go:41 Error on field 'count': Missing field: count, Error: Key disk_reads not found

Seria configuração?

Muito obrigado

Update the ELK stack versions

With the recent release of the ELK stack version 5 the docker images on the script could be updated as well.

Erro "No Living connections" ao acessar o Kibana

Boa tarde!

Ao acessar o Kibana recebo as seguintes mensagens:

---------------Kibana------------------------------------

ID	Status
ui settings	Elasticsearch plugin is red
plugin:[email protected]	Ready
plugin:[email protected]	Unable to connect to Elasticsearch at http://elasticsearch:9200.
plugin:[email protected]	Unable to connect to Elasticsearch at http://elasticsearch:9200.
plugin:[email protected]	Unable to connect to Elasticsearch at http://elasticsearch:9200.
plugin:[email protected]	Ready
plugin:[email protected]	Unable to connect to Elasticsearch at http://elasticsearch:9200.
plugin:[email protected]	Unable to connect to Elasticsearch at http://elasticsearch:9200.
plugin:[email protected]	No Living connections
plugin:[email protected]	Unable to connect to Elasticsearch at http://elasticsearch:9200.
plugin:[email protected]	Unable to connect to Elasticsearch at http://elasticsearch:9200.
plugin:[email protected]	Ready
plugin:[email protected]	Unable to connect to Elasticsearch at http://elasticsearch:9200.
plugin:[email protected]	Ready
plugin:[email protected]	Ready
plugin:[email protected]	Ready

----------------Docker:---------------------------------------

luis.augusto@EPBRRJWKS013 C:\Users\luis.augusto

docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
rabbitmq 3-management-alpine 21d4ff1bda19 4 weeks ago 85.5MB
docker.elastic.co/kibana/kibana 5.6.4 ec9ec2836846 3 months ago 675MB
docker.elastic.co/logstash/logstash 5.6.4 9ab56ee8be2c 3 months ago 635MB
docker.elastic.co/elasticsearch/elasticsearch 5.6.4 a9a9a2620d66 3 months ago 659MB

luis.augusto@EPBRRJWKS013 C:\Users\luis.augusto

docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS
NAMES
45eb480a033a docker.elastic.co/kibana/kibana:5.6.4 "/bin/sh -c /usr/loc…" 45 minutes ago Up 45 minutes 0.0.0.0:5601->5601/tcp
Kibana
8b2a6b561337 docker.elastic.co/logstash/logstash:5.6.4 "/usr/local/bin/dock…" 45 minutes ago Up 45 minutes 5044/tcp, 9600/tcp
LogStash
9f32ce79e552 rabbitmq:3-management-alpine "docker-entrypoint.s…" 45 minutes ago Up 45 minutes 4369/tcp, 5671/tcp, 0.0.0.0:5672->5672/tcp, 15671/tcp, 25672/tcp, 0.0.0.0:15672->15672/tcp RabbitMQ

Saberia informar o que pode ser? Obrigado.

Error on Creating Docker Services

I'm trying setup an EnterpriseLog, but when I run docker-compose up i get some errors

docker-compose up
Creating network "enterpriseapplicationlog_log" with driver "bridge"
Creating volume "enterpriseapplicationlog_mq_data" with default driver
Pulling elasticsearch (docker.elastic.co/elasticsearch/elasticsearch:5.3.1)...
5.3.1: Pulling from elasticsearch/elasticsearch
ec37562cf8fa: Pull complete
3f5b02e577c3: Pull complete
e4c7c0eb9289: Pull complete
e8008e68933d: Pull complete
1cfca4b45f64: Pull complete
77148a7a523b: Pull complete
c93eabd5eff3: Pull complete
d82d8a15579f: Pull complete
0f2b8d9540a0: Pull complete
5c9aa0d9a460: Pull complete
Digest: sha256:94ebca9d6316902596ceef6934161be39cca04885fcf07c8ab3feb04c02b4933
Status: Downloaded newer image for docker.elastic.co/elasticsearch/elasticsearch:5.3.1
Pulling kibana (docker.elastic.co/kibana/kibana:5.3.1)...
5.3.1: Pulling from kibana/kibana
dd5dd61c1a5a: Pull complete
16909a4b1f9f: Pull complete
29c53e794bb6: Pull complete
a9ed6f426f17: Pull complete
a3ed95caeb02: Pull complete
f3545d054f4a: Pull complete
3411b2e7dcef: Pull complete
697d9c974fd5: Pull complete
dd48b564831a: Pull complete
8cfa3486163f: Pull complete
b957c3f00ce3: Pull complete
cfff1f6ab196: Pull complete
accb4f5b19b9: Pull complete
34c8c265a4e1: Pull complete
de16797c180a: Pull complete
5c3cacf89d57: Pull complete
Digest: sha256:717a00a99505c6058f916966d69cbe32c7664c7c1803fa9c737a27b804c255d0
Status: Downloaded newer image for docker.elastic.co/kibana/kibana:5.3.1
Pulling rabbitmq (rabbitmq:3-management-alpine)...
3-management-alpine: Pulling from library/rabbitmq
88286f41530e: Pull complete
f37b1a2424b3: Pull complete
2799929042f7: Pull complete
1a0ac93c08db: Pull complete
84a4909e74e3: Pull complete
9ec0566f7968: Pull complete
b829637e8777: Pull complete
422751327de1: Pull complete
c3910da26c46: Pull complete
cb6c881d9908: Pull complete
Digest: sha256:a82f60bcde44591ead0f58014f184f1de95b21a0db252a0aaaa359d8caf8aaf1
Status: Downloaded newer image for rabbitmq:3-management-alpine
Pulling logstash (docker.elastic.co/logstash/logstash:5.3.1)...
5.3.1: Pulling from logstash/logstash
b6f892c0043b: Pull complete
55010f332b04: Pull complete
2955fb827c94: Pull complete
3deef3fcbd30: Pull complete
cf9722e506aa: Pull complete
0375e6c582e1: Pull complete
a77e2809deb6: Pull complete
6672e5dc5c52: Pull complete
8e372a214f1e: Pull complete
45beb88dd049: Pull complete
fd10419564ab: Pull complete
2f46d28c70e2: Pull complete
bab1cf65d47a: Pull complete
0f51d6574514: Pull complete
8d6dd4f70d6c: Pull complete
a63a46600b6e: Pull complete
Digest: sha256:2a76bb75a67d90df5c4805b1f94b6d9a5baacd960044682e514c734716ef4d64
Status: Downloaded newer image for docker.elastic.co/logstash/logstash:5.3.1
Creating RabbitMQ ...
Creating ElasticSearch ...
Creating RabbitMQ
Creating ElasticSearch ... error

ERROR: for ElasticSearch  Cannot start service elasticsearch: oci runtime error: container_linux.go:262: starting container process caused "process_linux.go:339: container init caused \"rootfs_linux.go:57: mounting \\\"/C/Users/jedi/Documents/SourceCodes/Jedi/estudos/EnterpriseApplicationLog/product.elasticsearch.yml\\\" to rootfs \\\"/var/lib/docker/overlay2/d419413038d3fbc7f8a786a70c0327057e2c778d9fa1b0d0cb0493c9bdb0bb9a/merged\\\" at \\\"/var/lib/docker/overlay2/d419413038d3fbc7f8a786a70c0327057e2c778d9fa1b0d0cb0493c9bdb0bb9a/merged/usr/share/elasticsearch/config/elasticsearch.yml\\\" caused \\\"not a directory\\\"\""
: Are you trying to mount a directory onto a file (or vice-versa)? Check if the specified host path exists and is the expected type

ERROR: for elasticsearch  Cannot start service elasticsearch: oci runtime error: container_linux.go:262: starting container process caused "process_linux.go:339: container init caused \"rootfs_linux.go:57: mounting \\\"/C/Users/jedi/Documents/SourceCodes/Jedi/estudos/EnterpriseApplicationLog/product.elasticsearch.yml\\\" to rootfs \\\"/var/lib/docker/overlay2/d419413038d3fbc7f8a786a70c0327057e2c778d9fa1b0d0cb0493c9bdb0bb9a/merged\\\" at \\\"/var/lib/docker/overlay2/d419413038d3fbc7f8a786a70c0327057e2c778d9fa1b0d0cb0493c9bdb0bb9a/merged/usr/share/elasticsearch/config/elasticsearch.yml\\\" caused \\\"not a directory\\\"\""
: Are you trying to mount a directory onto a file (or vice-versa)? Check if the specified host path exists and is the expected type
ERROR: Encountered errors while bringing up the project.

Here is my docker info

Containers: 2
 Running: 1
 Paused: 0
 Stopped: 1
Images: 6
Server Version: 17.06.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: cfb82a876ecc11b5ca0977d1733adbe58599088a
runc version: 2d41c047c83e09a6d61d464906feb2a2f3c52aa4
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.36-moby
Operating System: Alpine Linux v3.5
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 1.934GiB
Name: moby
ID: ATNP:NJHF:QE67:EKZL:HYBQ:M7EZ:BKZE:AXNH:DH2W:2CYR:HOMT:NQYQ
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 24
 Goroutines: 35
 System Time: 2017-07-22T19:30:13.4103053Z
 EventsListeners: 0
Registry: https://index.docker.io/v1/
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

Docker Version

Docker version 17.06.0-ce, build 02c1d87

And win version

Nome do sistema operacional:               Microsoft Windows 10 Pro
Versão do sistema operacional:             10.0.15063 N/A compilação 15063

Redirecionar logs do nginx

Seria possível redirecionar os logs do nginx para essa solução?