Pular para o conteúdo principal
Página traduzida

Esta página foi traduzida do inglês com assistência de IA. Se houver diferenças entre as duas, a versão em inglês é a referência.

Inventário global da AWS

Neste guia, vamos demonstrar como usar o StackQL - uma poderosa ferramenta de desenvolvimento que permite consultar e implantar infraestrutura e recursos na nuvem com sintaxe SQL - para gerar um inventário completo de todos os recursos, em todos os serviços, em todas as regiões de uma determinada conta da AWS.

Testado com backend SQL incorporado backend SQL postgres macos linux powershell

Como funciona​

O StackQL implementa um mecanismo SQL que pode processar várias consultas de forma assíncrona, por exemplo:

SELECT region, COUNT(*) as num_functions
FROM aws.lambda.functions
WHERE region IN (
'us-east-1','us-east-2','us-west-1','us-west-2',
'ap-south-1','ap-northeast-3','ap-northeast-2',
'ap-southeast-1','ap-southeast-2','ap-northeast-1',
'ca-central-1','eu-central-1','eu-west-1',
'eu-west-2','eu-west-3','eu-north-1','sa-east-1')
GROUP BY region;

A consulta acima corresponde, na verdade, a 17 consultas executadas em paralelo (uma consulta para cada região), e os resultados são agregados e apresentados como um relatório. Com o pystackql - um wrapper Python para o StackQL - podemos percorrer todos os recursos em todos os serviços para todas as regiões compatíveis com o serviço em questão. O resultado é um relatório de quantas instâncias de cada recurso estão implantadas em cada região, como mostra o exemplo abaixo:

Exemplo de inventário da AWS

Pré-requisitos​

  • pystackql, que pode ser instalado com pip install pystackql
  • Um usuário da AWS ou uma role (que pode ser assumida com sts assume-role) com a política ReadOnlyAccess, ou uma superior, anexada
  • As variáveis de ambiente AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY definidas (isso pode ser feito automaticamente com o AWS CloudShell)

O código​

O código a seguir executa estas ações:

  1. Define uma lista de todas as regiões da AWS (regions) e uma lista das regiões compatíveis com cada serviço (supported_regions); para obter mais informações sobre como derivar supported_regions, consulte AWS Service Support by Region at a Glance
  2. Baixa os providers do StackQL aws e awscc, caso ainda não estejam instalados.
  3. Percorre cada serviço (com SHOW SERVICES) e, para cada serviço, percorre cada recurso (com SHOW RESOURCES)
  4. Seleciona com SELECT todas as instâncias de cada recurso em todas as regiões de forma assíncrona, agrupa os dados por região e conta as instâncias de cada recurso em cada região

Aqui está...

from regions import supported_regions, regions
from resources import excluded_resources, resource_filters
import time
from pystackql import StackQL
import pandas as pd

stackql = StackQL(output='pandas', page_limit=-1, execution_concurrency_limit=-1)

def pull_stackql_providers():
providers_df = stackql.execute("SHOW PROVIDERS")
installed = providers_df['name'].values if not providers_df.empty else []
for provider in ('aws', 'awscc'):
if provider not in installed:
print(f"{provider} not installed. Installing {provider}")
res = stackql.executeStmt(f"REGISTRY PULL {provider}")
print(res['message'])

def get_s3_buckets():
# special case for s3 buckets - use the awscc provider's list view, which
# returns each bucket alongside its region in a single query across all regions
regions_in = ", ".join([f"'{region}'" for region in regions])
buckets_df = stackql.execute(f"""
SELECT region, bucket_name
FROM awscc.s3.buckets_list_only
WHERE region IN ({regions_in});
""")
# Group by region and count the total resources (buckets) in each region
grouped = buckets_df.groupby('region').size().reset_index(name='total_resources')
grouped['svc'] = 's3'
grouped['res'] = 'buckets'
output_df = grouped[['svc', 'res', 'region', 'total_resources']]
return output_df

def main():
start_time = time.time()
pull_stackql_providers()
results_df = pd.DataFrame(columns=['svc', 'res', 'region', 'total_resources'])
# get all enumerable aws services
services_df = stackql.execute("SHOW SERVICES IN aws")
for svcIx, svcRow in services_df.iterrows():
service = svcRow['name']
if service in supported_regions:
# check all enumerable aws resources in the service against supported regions
resources_df = stackql.execute(f"SHOW RESOURCES IN aws.{service}")
plural_resources = [resource for resource in resources_df['name'].tolist() if resource.endswith('s')]
if plural_resources:
for resource in plural_resources:
print(f"Checking {resource} in {service}...")
if service == 's3' and resource == 'buckets':
print(f"Checking location for s3 buckets...")
resource_df = get_s3_buckets()
else:
# should we skip this service?
if service in excluded_resources and resource in excluded_resources[service]:
continue
# check if the resource is global or regional
if 'global' in supported_regions[service]:
regions_in = ", ".join([f"'{region}'" for region in regions])
else:
regions_in = ", ".join([f"'{region}'" for region in supported_regions[service]])

# check if there are additional where clauses for this resource
where_clause = resource_filters.get(service, {}).get(resource, '')

resource_df = stackql.execute(f"""
SELECT '{service}' as svc, '{resource}' as res, region, COUNT(*) as total_resources
FROM aws.{service}.{resource}
WHERE region IN ({regions_in}){where_clause}
GROUP BY svc, res, region
""")

if not resource_df.empty:
# Append resource_df to the results_df
if not 'error' in resource_df.columns:
results_df = pd.concat([results_df, resource_df], ignore_index=True)
end_time = time.time()
elapsed_time = end_time - start_time
print(f"Elapsed time: {elapsed_time:.2f} seconds")
results_df.to_csv('all_aws_resources.csv', index=False)

if __name__ == "__main__":
main()