إنتقل إلى المحتوى الرئيسي
صفحة مترجمة

تُرجمت هذه الصفحة من الإنجليزية بمساعدة الذكاء الاصطناعي. إذا اختلفت النسختان، فالمرجع هو النسخة الإنجليزية.

الجرد العالمي لموارد AWS

في هذا الدليل، سنوضح كيفية استخدام StackQL - وهي أداة تطوير قوية تتيح الاستعلام عن البنية التحتية والموارد السحابية ونشرها باستخدام بناء جملة SQL - لإنشاء جرد شامل يضم جميع الموارد، في جميع الخدمات، في جميع المناطق ضمن حساب AWS محدد.

تم الاختبار باستخدام واجهة SQL الخلفية المضمنة واجهة SQL الخلفية postgres macos linux powershell

آلية العمل​

يتضمن StackQL محرك SQL يمكنه معالجة استعلامات متعددة بشكل غير متزامن، على سبيل المثال:

SELECT region, COUNT(*) as num_functions
FROM aws.lambda.functions
WHERE region IN (
'us-east-1','us-east-2','us-west-1','us-west-2',
'ap-south-1','ap-northeast-3','ap-northeast-2',
'ap-southeast-1','ap-southeast-2','ap-northeast-1',
'ca-central-1','eu-central-1','eu-west-1',
'eu-west-2','eu-west-3','eu-north-1','sa-east-1')
GROUP BY region;

الاستعلام أعلاه هو في الواقع 17 استعلامًا تعمل بالتوازي (استعلام واحد لكل منطقة)؛ ثم يتم تجميع النتائج وعرضها في تقرير. باستخدام pystackql - وهو غلاف Python لـ StackQL - يمكننا المرور على جميع الموارد في جميع الخدمات عبر جميع المناطق التي تدعمها الخدمة المعنية. والنتيجة تقرير يبين عدد المثيلات المنشورة من كل مورد في كل منطقة، كما في المثال أدناه:

مثال على جرد موارد AWS

المتطلبات الأساسية​

  • المكتبة pystackql، ويمكن تثبيتها باستخدام الأمر pip install pystackql
  • مستخدم AWS أو دور (يمكن توليه باستخدام sts assume-role) مرفق به السياسة ReadOnlyAccess أو سياسة أوسع منها
  • تعيين متغيري البيئة AWS_ACCESS_KEY_ID وAWS_SECRET_ACCESS_KEY (يمكن إجراء ذلك تلقائيًا باستخدام AWS CloudShell)

التعليمات البرمجية​

تنفذ التعليمات البرمجية التالية الإجراءات التالية:

  1. تحدد قائمة بجميع مناطق AWS (regions) وقائمة بالمناطق المدعومة لكل خدمة (supported_regions)، ويمكنك العثور على مزيد من المعلومات حول استنتاج supported_regions في AWS Service Support by Region at a Glance
  2. تسحب موفري StackQL aws وawscc إذا لم يكونا مثبتين بالفعل.
  3. تمر على كل خدمة (باستخدام SHOW SERVICES)، ثم تمر في كل خدمة على كل مورد (باستخدام SHOW RESOURCES)
  4. تختار جميع مثيلات كل مورد عبر جميع المناطق بشكل غير متزامن (باستخدام SELECT)، وتجمع البيانات حسب المنطقة، وتحسب مثيلات كل مورد في كل منطقة

إليك التعليمات البرمجية...

from regions import supported_regions, regions
from resources import excluded_resources, resource_filters
import time
from pystackql import StackQL
import pandas as pd

stackql = StackQL(output='pandas', page_limit=-1, execution_concurrency_limit=-1)

def pull_stackql_providers():
providers_df = stackql.execute("SHOW PROVIDERS")
installed = providers_df['name'].values if not providers_df.empty else []
for provider in ('aws', 'awscc'):
if provider not in installed:
print(f"{provider} not installed. Installing {provider}")
res = stackql.executeStmt(f"REGISTRY PULL {provider}")
print(res['message'])

def get_s3_buckets():
# special case for s3 buckets - use the awscc provider's list view, which
# returns each bucket alongside its region in a single query across all regions
regions_in = ", ".join([f"'{region}'" for region in regions])
buckets_df = stackql.execute(f"""
SELECT region, bucket_name
FROM awscc.s3.buckets_list_only
WHERE region IN ({regions_in});
""")
# Group by region and count the total resources (buckets) in each region
grouped = buckets_df.groupby('region').size().reset_index(name='total_resources')
grouped['svc'] = 's3'
grouped['res'] = 'buckets'
output_df = grouped[['svc', 'res', 'region', 'total_resources']]
return output_df

def main():
start_time = time.time()
pull_stackql_providers()
results_df = pd.DataFrame(columns=['svc', 'res', 'region', 'total_resources'])
# get all enumerable aws services
services_df = stackql.execute("SHOW SERVICES IN aws")
for svcIx, svcRow in services_df.iterrows():
service = svcRow['name']
if service in supported_regions:
# check all enumerable aws resources in the service against supported regions
resources_df = stackql.execute(f"SHOW RESOURCES IN aws.{service}")
plural_resources = [resource for resource in resources_df['name'].tolist() if resource.endswith('s')]
if plural_resources:
for resource in plural_resources:
print(f"Checking {resource} in {service}...")
if service == 's3' and resource == 'buckets':
print(f"Checking location for s3 buckets...")
resource_df = get_s3_buckets()
else:
# should we skip this service?
if service in excluded_resources and resource in excluded_resources[service]:
continue
# check if the resource is global or regional
if 'global' in supported_regions[service]:
regions_in = ", ".join([f"'{region}'" for region in regions])
else:
regions_in = ", ".join([f"'{region}'" for region in supported_regions[service]])

# check if there are additional where clauses for this resource
where_clause = resource_filters.get(service, {}).get(resource, '')

resource_df = stackql.execute(f"""
SELECT '{service}' as svc, '{resource}' as res, region, COUNT(*) as total_resources
FROM aws.{service}.{resource}
WHERE region IN ({regions_in}){where_clause}
GROUP BY svc, res, region
""")

if not resource_df.empty:
# Append resource_df to the results_df
if not 'error' in resource_df.columns:
results_df = pd.concat([results_df, resource_df], ignore_index=True)
end_time = time.time()
elapsed_time = end_time - start_time
print(f"Elapsed time: {elapsed_time:.2f} seconds")
results_df.to_csv('all_aws_resources.csv', index=False)

if __name__ == "__main__":
main()