Cloud telescope: an ephemeral, distributed, cloud-native architecture for collecting internet background radiation

Abstract

Radiação de Fundo da Internet (Internet Background Radiation - IBR) é o termo usado para descrever o tráfego não-solicitado que chega à computadores diretamente conectados à Internet. A IBR é de baixa intensidade, mas incessante. Ela chega a dispositivos para os quais um ou mais endereços IP públicos foi atribuído. O conteúdo típico achado em amostras dessa radiação inclui erros de configuração de sistemas e serviços de rede, atividades de varredura benigna como a realizada por plataformas de censo, enumeração de computadores e portas abertas realizada por crimonosos, tráfego de retroespalhamento (backscatter), e propagação de malware e de botnets. Por mais de vinte anos, pesquisadores de cibersegurança dedicados à área de medição de tráfego usam as amostras de radiação de fundo para detectar, quantificar e qualificar o surgimento de ameaças em escala global, do Blaster ao Conficker, à ascenção de botnets que exploram a insegurança inerente aos dispositivos que perfazem a Internet das Coisas. O mecanismo padrão para coletar radiação de fundo é o Telescópio de Nuvem: um computador habilitado para capturar de forma promíscua qualquer evento de rede conforme estes chegam ao bloco de endereço IP atribuído a suas interfaces, gravando em formato PCAP para análise posterior. Os Telescópios de Rede são limitados a regiões específicas dos institutos que hospedam esse mecanismo. Essa limitação é física e também lógica, quando considera-se as regras de concessão de endereços IP. Esses fatores somados à escassez de endereços IPv4 exerce pressão para novos mecanismos de captura sejam pesquisados. Essa tese documenta o Cloud Telescope (Telescópio de Nuvem): uma arquitetura efêmera, distribuída e nativa de nuvem para coleta da Radiação de Fundo da Internet. O Telescópio de Nuvem é efêmero: pode ser operacionalizado por qualquer pesquisador que deseje lançar seu próprio experimento de captura. É distribuído por natureza, dado que tira proveito da capilaridade geográfica de um provdor de serviços de computação em nuvem. É também cloud-native: descrito na linguagem Terraform e está pronto para operacionalização na Amazon Web Services, onde captura radiação chegando simultaneamente à mais de 26 regiões e países do mundo. Este trabalho discute os resultados alcançados com três lançamentos do Telescópio de Nuvem. Um para validar as decisões de projeto e implementação, e que resultou em uma análise de 21 milhões de eventos. Um segundo para explorar o comportamento de um respondedor ativo, do tipo honeypot, que resultou em 10 bilhões de eventos maliciosos, muitos dos quais revelando padrões de propagação da botnet Mirai. O terceiro, de longo prazo, perfazendo cinco meses, foi usado para uma análise profunda da distribuição do tráfego, com agregações por camada de rede e de transporte como fundamento para determinar possíveis padrões de influência geopolítica como motivador para certos ataques. Essa tese resultou em quatro publicações intermediárias em conferências, uma extensiva publicação em journal, três datasets publicados, duas apresentações em conferêncas de mercado, e dezenas de trabalhos de conclusão de curso em Ciência da Computação e Cibersegurança em três instituições de ensino no Brasil e Noruega, além de duas dissertações de mestrado na Universidade Federal de Santa Catarina, em andamento.

Internet Background Radiation (IBR) is the term used to describe the unsolicited portion of traffic arriving to hosts directly connected to the Internet. IBR is low-traffic, but incessant. It arrives to any computer or host for which one or more public IP address has been assigned. Typical contents found in radiation samples include misconfiguration of systems and services, benign scanning activities as performed by Internet census platforms, malicious host and port enumeration scanning attempts performed by unknown actors, backscatter traffic, malware propagation and botnet spreading activity. The cyber security research community focused on internet measurements has been active for more than twenty years analysing radiation samples that can help detect, quantify and qualify the rise of Internet scale threats ranging from Blaster, to Conficker, to the rise of planetary scale botnets exploiting the insecurity inherent to billions of Internet of Things devices. The standard mechanism to collect Internet Background Radiation is the Network Telescope: a computer enabled to promiscuously record PCAP-formatted network events as openly arriving to the network address block assigned to its interfaces. Network Telescopes are inherently bound to a single geographical region of the world, both physically and in terms of logical IPv4 address allocation. This combined with the undesired homogeneity, limited IP address coverage and general IPv4 address scarcity, configure the motivation to evolve the mechanism used for collecting radiation samples. This thesis documents the Cloud Telescope: an ephemeral, distributed, cloud-native architecture for collecting Internet Background Radiation. The Cloud Telescope is ephemeral, and can be deployed by any researcher willing to run their own experiments. It is distributed by nature, as it takes advantage of the geographical capillarity of a cloud computing provider. The Cloud Telescope is also cloud-native, and exists as an automated Terraform Infrastructure-as-Code artefact ready to work on more than twenty-six regions and countries covered by Amazon Web Services. This work discusses the results achieved with three Cloud Telescope deployments. One to validate the design and implementation decisions, which resulted in 21 million events. A second to explore the custom honeypot-like behaviour as implemented by active responders, resulting in a dataset of 10 billion malicious events, much of which revealing Mirai botnet propagation patterns. The third, long-term capture, lasting five months, was used for a deep dive into traffic distribution, network-layer and transport-layer aggregations and as an attempt to reveal the geopolitical influence motivating malicious activity. This thesis resulted in four conference publications, one extensive journal paper publication, three published datasets, two industry conference speeches, dozens of computer science and cyber security undergraduate investigations and two master theses underway.