Lewati ke konten utama
Halaman terjemahan

Halaman ini diterjemahkan dari bahasa Inggris dengan bantuan AI. Jika keduanya berbeda, versi bahasa Inggris menjadi acuannya.

Inventaris global AWS

Dalam panduan ini, kita akan mendemonstrasikan penggunaan StackQL - alat pengembangan yang andal untuk mengkueri dan men-deploy infrastruktur dan sumber daya cloud menggunakan sintaksis SQL - untuk membuat inventaris lengkap dari semua sumber daya, di semua layanan, di semua region dalam akun AWS tertentu.

Diuji dengan backend SQL tersemat backend SQL postgres macos linux powershell

Cara kerja​

StackQL mengimplementasikan mesin SQL yang dapat memproses beberapa kueri secara asinkron, misalnya:

SELECT region, COUNT(*) as num_functions
FROM aws.lambda.functions
WHERE region IN (
'us-east-1','us-east-2','us-west-1','us-west-2',
'ap-south-1','ap-northeast-3','ap-northeast-2',
'ap-southeast-1','ap-southeast-2','ap-northeast-1',
'ca-central-1','eu-central-1','eu-west-1',
'eu-west-2','eu-west-3','eu-north-1','sa-east-1')
GROUP BY region;

Kueri di atas sebenarnya terdiri atas 17 kueri yang dijalankan secara paralel (satu kueri untuk setiap region); hasilnya diagregasi dan disajikan sebagai laporan. Dengan pystackql - wrapper Python untuk StackQL - kita dapat menelusuri semua sumber daya di semua layanan untuk semua region yang didukung oleh layanan yang bersangkutan. Hasilnya berupa laporan jumlah instance setiap sumber daya yang di-deploy di setiap region, seperti yang terlihat pada contoh di bawah ini:

Contoh inventaris AWS

Prasyarat​

  • pystackql, yang dapat diinstal menggunakan pip install pystackql
  • Pengguna AWS atau peran (dapat diambil menggunakan sts assume-role) yang dilampiri kebijakan ReadOnlyAccess atau yang lebih tinggi
  • Variabel lingkungan AWS_ACCESS_KEY_ID dan AWS_SECRET_ACCESS_KEY telah diatur (hal ini dapat dilakukan secara otomatis menggunakan AWS CloudShell)

Kode​

Kode berikut melakukan tindakan berikut:

  1. Mendefinisikan daftar semua region AWS (regions) dan daftar region yang didukung untuk setiap layanan (supported_regions); informasi lebih lanjut tentang cara menurunkan supported_regions dapat ditemukan di AWS Service Support by Region at a Glance
  2. Mengunduh provider StackQL aws dan awscc jika belum terinstal.
  3. Menelusuri setiap layanan (menggunakan SHOW SERVICES), lalu untuk setiap layanan menelusuri setiap sumber daya (menggunakan SHOW RESOURCES)
  4. Memilih semua instance setiap sumber daya di semua region secara asinkron (menggunakan SELECT), mengelompokkan data berdasarkan region, dan menghitung instance setiap sumber daya untuk setiap region

Berikut kodenya...

from regions import supported_regions, regions
from resources import excluded_resources, resource_filters
import time
from pystackql import StackQL
import pandas as pd

stackql = StackQL(output='pandas', page_limit=-1, execution_concurrency_limit=-1)

def pull_stackql_providers():
providers_df = stackql.execute("SHOW PROVIDERS")
installed = providers_df['name'].values if not providers_df.empty else []
for provider in ('aws', 'awscc'):
if provider not in installed:
print(f"{provider} not installed. Installing {provider}")
res = stackql.executeStmt(f"REGISTRY PULL {provider}")
print(res['message'])

def get_s3_buckets():
# special case for s3 buckets - use the awscc provider's list view, which
# returns each bucket alongside its region in a single query across all regions
regions_in = ", ".join([f"'{region}'" for region in regions])
buckets_df = stackql.execute(f"""
SELECT region, bucket_name
FROM awscc.s3.buckets_list_only
WHERE region IN ({regions_in});
""")
# Group by region and count the total resources (buckets) in each region
grouped = buckets_df.groupby('region').size().reset_index(name='total_resources')
grouped['svc'] = 's3'
grouped['res'] = 'buckets'
output_df = grouped[['svc', 'res', 'region', 'total_resources']]
return output_df

def main():
start_time = time.time()
pull_stackql_providers()
results_df = pd.DataFrame(columns=['svc', 'res', 'region', 'total_resources'])
# get all enumerable aws services
services_df = stackql.execute("SHOW SERVICES IN aws")
for svcIx, svcRow in services_df.iterrows():
service = svcRow['name']
if service in supported_regions:
# check all enumerable aws resources in the service against supported regions
resources_df = stackql.execute(f"SHOW RESOURCES IN aws.{service}")
plural_resources = [resource for resource in resources_df['name'].tolist() if resource.endswith('s')]
if plural_resources:
for resource in plural_resources:
print(f"Checking {resource} in {service}...")
if service == 's3' and resource == 'buckets':
print(f"Checking location for s3 buckets...")
resource_df = get_s3_buckets()
else:
# should we skip this service?
if service in excluded_resources and resource in excluded_resources[service]:
continue
# check if the resource is global or regional
if 'global' in supported_regions[service]:
regions_in = ", ".join([f"'{region}'" for region in regions])
else:
regions_in = ", ".join([f"'{region}'" for region in supported_regions[service]])

# check if there are additional where clauses for this resource
where_clause = resource_filters.get(service, {}).get(resource, '')

resource_df = stackql.execute(f"""
SELECT '{service}' as svc, '{resource}' as res, region, COUNT(*) as total_resources
FROM aws.{service}.{resource}
WHERE region IN ({regions_in}){where_clause}
GROUP BY svc, res, region
""")

if not resource_df.empty:
# Append resource_df to the results_df
if not 'error' in resource_df.columns:
results_df = pd.concat([results_df, resource_df], ignore_index=True)
end_time = time.time()
elapsed_time = end_time - start_time
print(f"Elapsed time: {elapsed_time:.2f} seconds")
results_df.to_csv('all_aws_resources.csv', index=False)

if __name__ == "__main__":
main()