Lewati ke konten utama
Halaman terjemahan

Halaman ini diterjemahkan dari bahasa Inggris dengan bantuan AI. Jika keduanya berbeda, versi bahasa Inggris menjadi acuannya.

Observabilitas aktivitas Azure menggunakan StackQL

Dalam panduan ini, Anda akan mempelajari cara mengkueri dan membuat laporan log aktivitas Azure menggunakan StackQL, alat pengembang yang andal yang memungkinkan Anda mengkueri dan men-deploy infrastruktur serta sumber daya cloud menggunakan sintaksis SQL.

Diuji dengan backend SQL tersemat macos linux powershell

Kueri dasar​

Kueri dasar di bawah ini menggunakan sumber daya azure.monitor.activity_logs di provider azure; ganti nilai subscriptionId dengan milik Anda. Dalam kueri ini, kita akan menggunakan jsonnet dengan variabel eksternal untuk prapemrosesan kueri StackQL, lihat Menggunakan variabel untuk informasi selengkapnya. Dalam kasus ini, kita melakukannya sebagai blok kode jsonnet sebaris, tetapi variabel ini juga dapat diberikan sebagai file eksternal menggunakan argumen --iqldata atau -q pada perintah stackql exec atau stackql shell.

Fungsi JSON_EXTRACT dan SPLIT_PART digunakan untuk memanipulasi data respons.

<<<jsonnet
{
stackqlQuery: {
subscriptionId: '631d1c6d-2a65-43e7-93c2-688bfe4e1468',
filter: "eventTimestamp ge ''" + std.extVar('startdate') + "''",
}
}
>>>
--
-- StackQL query with jsonnet preprocessing to retrieve all recent Azure activity
--
SELECT
eventTimestamp as event_timestamp,
caller,
JSON_EXTRACT(claims, '$.ipaddr') as ip_address,
subscriptionId,
tenantId,
SPLIT_PART(JSON_EXTRACT(authorization, '$.scope'), '/', 5) as resource_group,
SPLIT_PART(resourceId, '/', -1) as resource_name,
level,
JSON_EXTRACT(authorization, '$.action') as action,
JSON_EXTRACT(category, '$.localizedValue') as category,
JSON_EXTRACT(operationName, '$.localizedValue') as operation,
JSON_EXTRACT(status, '$.localizedValue') as status
FROM azure.monitor.activity_logs
WHERE $filter = '{{ .stackqlQuery.filter }}'
AND subscription_id = '{{ .stackqlQuery.subscriptionId }}';

Menjalankan kueri secara interaktif​

Dari mesin yang terautentikasi ke Azure (termasuk Azure Portal Cloud Shell):

# to run on mac or linux
./stackql shell --var startdate=$(date -u -d '1 day ago' '+%Y-%m-%dT%H:%M:%SZ')

atau menggunakan PowerShell:

# to run using windows powershell
$startDate = (Get-Date).AddDays(-1).ToString("yyyy-MM-ddTHH:mm:ssZ")
stackql.exe shell --var startdate=$startDate

Anda akan melihat output berbentuk tabel dengan kolom: event_timestamp, caller, ip_address, subscriptionId, tenantId, resource_group, resource_name, level, action, category, operation, dan status.

Membuat laporan CSV​

Dengan menyimpan kueri StackQL ke file (activity_report.iql), Anda dapat menghasilkan laporan csv dari kueri aktivitas sebagai berikut (lihat --output csv untuk informasi selengkapnya tentang output stackql):

# to run on mac or linux
./stackql exec \
--output csv \
-i activity_report.iql \
-f activity_report.csv \
--var startdate=$(date -u -d '1 day ago' '+%Y-%m-%dT%H:%M:%SZ')

atau menggunakan PowerShell:

# to run using windows powershell
$startDate = (Get-Date).AddDays(-1).ToString("yyyy-MM-ddTHH:mm:ssZ")
stackql.exe exec `
--output csv `
-i activity_report.iql `
-f activity_report.csv `
--var startdate=$startDate

Pemfilteran di sisi server dengan KQL​

Pemfilteran di sisi server di Azure dilakukan dengan menggunakan KQL (Kusto Query Language). Dengan memperluas klausa $filter di kueri Anda, Anda dapat memfilter data langsung di server. Metode ini sangat efisien karena mengurangi jumlah data yang ditransfer melalui jaringan. Berikut beberapa contoh pemfilteran di sisi server (agar ringkas, kueri ini menggunakan parameter secara langsung alih-alih menggunakan praprosesor jsonnet):

Menentukan rentang tanggal untuk aktivitas​

--
-- List events in a time range
--
SELECT
eventTimestamp as event_timestamp,
caller,
JSON_EXTRACT(claims, '$.ipaddr') as ip_address,
subscriptionId,
tenantId,
SPLIT_PART(JSON_EXTRACT(authorization, '$.scope'), '/', 5) as resource_group,
SPLIT_PART(resourceId, '/', -1) as resource_name,
level,
JSON_EXTRACT(authorization, '$.action') as action,
JSON_EXTRACT(category, '$.localizedValue') as category,
JSON_EXTRACT(operationName, '$.localizedValue') as operation,
JSON_EXTRACT(status, '$.localizedValue') as status
FROM azure.monitor.activity_logs
WHERE $filter = 'eventTimestamp ge ''2024-01-24T00:00:00Z'' and eventTimestamp le ''2024-01-25T00:00:00Z'''
AND subscription_id = '631d1c6d-2a65-43e7-93c2-688bfe4e1468';

Mendapatkan aktivitas untuk grup sumber daya​

--
-- List events for a resource group
--
SELECT
eventTimestamp as event_timestamp,
caller,
JSON_EXTRACT(claims, '$.ipaddr') as ip_address,
subscriptionId,
tenantId,
SPLIT_PART(resourceId, '/', -1) as resource_name,
level,
JSON_EXTRACT(authorization, '$.action') as action,
JSON_EXTRACT(category, '$.localizedValue') as category,
JSON_EXTRACT(operationName, '$.localizedValue') as operation,
JSON_EXTRACT(status, '$.localizedValue') as status
FROM azure.monitor.activity_logs
WHERE $filter = 'eventTimestamp ge ''2024-01-24T00:00:00Z'' and eventTimestamp le ''2024-01-25T00:00:00Z'' and resourceGroupName eq ''MC_kube-03_aks862a_australiaeast'''
AND subscription_id = '631d1c6d-2a65-43e7-93c2-688bfe4e1468';

Mendapatkan aktivitas untuk tipe sumber daya​

--
-- List events for a resource provider
--
SELECT
eventTimestamp as event_timestamp,
caller,
JSON_EXTRACT(claims, '$.ipaddr') as ip_address,
subscriptionId,
tenantId,
SPLIT_PART(JSON_EXTRACT(authorization, '$.scope'), '/', 5) as resource_group,
SPLIT_PART(resourceId, '/', -1) as resource_name,
level,
JSON_EXTRACT(authorization, '$.action') as action,
JSON_EXTRACT(category, '$.localizedValue') as category,
JSON_EXTRACT(operationName, '$.localizedValue') as operation,
JSON_EXTRACT(status, '$.localizedValue') as status
FROM azure.monitor.activity_logs
WHERE $filter = 'eventTimestamp ge ''2024-01-24T00:00:00Z'' and eventTimestamp le ''2024-01-25T00:00:00Z'' and resourceProvider eq ''Microsoft.Compute'''
AND subscription_id = '631d1c6d-2a65-43e7-93c2-688bfe4e1468';

Mendapatkan aktivitas untuk sumber daya tertentu​

Perhatikan bahwa kita menambahkan field tambahan (correlationId) yang akan kita gunakan di filter sisi server berikutnya...

--
-- List events for resource using the resourceUri
--
SELECT
eventTimestamp as event_timestamp,
caller,
JSON_EXTRACT(claims, '$.ipaddr') as ip_address,
subscriptionId,
tenantId,
SPLIT_PART(resourceId, '/', -1) as resource_name,
correlationId,
level,
JSON_EXTRACT(authorization, '$.action') as action,
JSON_EXTRACT(category, '$.localizedValue') as category,
JSON_EXTRACT(operationName, '$.localizedValue') as operation,
JSON_EXTRACT(status, '$.localizedValue') as status
FROM azure.monitor.activity_logs
WHERE $filter = 'eventTimestamp ge ''2024-01-24T00:00:00Z'' and eventTimestamp le ''2024-01-25T00:00:00Z'' and resourceUri eq ''/subscriptions/631d1c6d-2a65-43e7-93c2-688bfe4e1468/resourceGroups/MC_kube-03_aks862a_australiaeast/providers/Microsoft.Compute/virtualMachines/aks-agentpool-35064155-1'''
AND subscription_id = '631d1c6d-2a65-43e7-93c2-688bfe4e1468';

Mendapatkan aktivitas untuk ID korelasi​

ID korelasi adalah pengidentifikasi unik yang digunakan untuk melacak dan mengelompokkan peristiwa yang terkait dengan operasi atau transaksi tertentu di Azure. Kueri ini membantu menemukan peristiwa spesifik dalam rentang waktu tertentu yang terkait dengan suatu operasi, sehingga memudahkan pemecahan masalah atau pemahaman urutan aktivitas. Berikut contoh yang menggunakan correlationId yang diperoleh dari kueri sebelumnya:

--
-- List events for a correlation Id
--
SELECT
eventTimestamp as event_timestamp,
caller,
JSON_EXTRACT(claims, '$.ipaddr') as ip_address,
subscriptionId,
tenantId,
SPLIT_PART(JSON_EXTRACT(authorization, '$.scope'), '/', 5) as resource_group,
SPLIT_PART(resourceId, '/', -1) as resource_name,
level,
JSON_EXTRACT(authorization, '$.action') as action,
JSON_EXTRACT(category, '$.localizedValue') as category,
JSON_EXTRACT(operationName, '$.localizedValue') as operation,
JSON_EXTRACT(status, '$.localizedValue') as status
FROM azure.monitor.activity_logs
WHERE $filter = 'eventTimestamp ge ''2024-01-24T00:00:00Z'' and eventTimestamp le ''2024-01-25T00:00:00Z'' and correlationId eq ''30b92c6d-4a82-401f-ac73-e28377669539'''
AND subscription_id = '631d1c6d-2a65-43e7-93c2-688bfe4e1468';

Pemfilteran di sisi klien dengan klausa WHERE​

Pemfilteran di sisi klien dapat dilakukan menggunakan klausa WHERE SQL tradisional. Metode ini memfilter data setelah data diambil dari server, sehingga memberikan fleksibilitas dalam manipulasi dan analisis data di dalam lingkungan StackQL.

Mendapatkan aktivitas untuk pengguna tertentu​

Dalam contoh kueri ini, klausa WHERE memfilter baris berdasarkan kolom caller (pengguna), sehingga memberikan lapisan penyempurnaan data tambahan.

--
-- Filter events for a particular user (caller)
--
SELECT
eventTimestamp as event_timestamp,
caller,
JSON_EXTRACT(claims, '$.ipaddr') as ip_address,
subscriptionId,
tenantId,
SPLIT_PART(JSON_EXTRACT(authorization, '$.scope'), '/', 5) as resource_group,
SPLIT_PART(resourceId, '/', -1) as resource_name,
level,
JSON_EXTRACT(authorization, '$.action') as action,
JSON_EXTRACT(category, '$.localizedValue') as category,
JSON_EXTRACT(operationName, '$.localizedValue') as operation,
JSON_EXTRACT(status, '$.localizedValue') as status
FROM azure.monitor.activity_logs
WHERE $filter = 'eventTimestamp ge ''2024-01-01T00:00:00Z'''
AND subscription_id = '631d1c6d-2a65-43e7-93c2-688bfe4e1468'
AND caller = 'javen@stackql.io';

Menjalankan kueri ringkasan/agregat​

Karena StackQL adalah mesin SQL yang lengkap, kueri GROUP BY/agregat (termasuk AVG, COUNT, SUM, MIN, MAX, dan lainnya) tersedia secara bawaan untuk semua provider, layanan, dan sumber daya.

Menghitung peristiwa per tingkat keparahan​

Dalam contoh ini, kita akan mengelompokkan peristiwa sejak tanggal dan waktu mulai tertentu berdasarkan tingkat keparahannya dan menghitung jumlah untuk setiap tingkat.

--
-- Summarize events by severity level
--
SELECT
level,
COUNT(*) as num_events
FROM azure.monitor.activity_logs
WHERE $filter = 'eventTimestamp ge ''2024-01-29T00:00:00Z'''
AND subscription_id = '631d1c6d-2a65-43e7-93c2-688bfe4e1468'
GROUP BY level;
/* returns..
|---------------|------------|
| level | num_events |
|---------------|------------|
| Error | 58 |
|---------------|------------|
| Informational | 57 |
|---------------|------------|
| Warning | 57 |
|---------------|------------|
*/

Menggunakan JOIN untuk memperkaya aktivitas​

SELECT
l.eventTimestamp as event_timestamp,
l.level,
JSON_EXTRACT(l.operationName, '$.localizedValue') as operation,
vm.name,
vm.location,
JSON_EXTRACT(vm.properties, '$.timeCreated') as time_created
FROM azure.monitor.activity_logs l
INNER JOIN azure.compute.virtual_machines vm
ON vm.name = SPLIT_PART(l.resourceId, '/', -1)
WHERE vm.resource_group_name = 'MC_kube-03_aks862a_australiaeast'
AND subscription_id = '631d1c6d-2a65-43e7-93c2-688bfe4e1468'
AND l.$filter = 'eventTimestamp ge ''2024-01-28T00:00:00Z'' and resourceGroupName eq ''MC_kube-03_aks862a_australiaeast''';

atau menggunakan variabel dari jsonnet, yang diberikan sebagai file menggunakan argumen --iqldata atau -q, atau sebagai blok jsonnet seperti yang ditunjukkan di sini:

<<<jsonnet
{
stackqlQuery: {
subscriptionId: '631d1c6d-2a65-43e7-93c2-688bfe4e1468',
resourceGroupName: 'MC_kube-03_aks862a_australiaeast',
}
}
>>>
SELECT
l.eventTimestamp as event_timestamp,
l.level,
JSON_EXTRACT(l.operationName, '$.localizedValue') as operation,
vm.name,
vm.location,
JSON_EXTRACT(vm.properties, '$.timeCreated') as time_created
FROM azure.monitor.activity_logs l
INNER JOIN azure.compute.virtual_machines vm
ON vm.name = SPLIT_PART(l.resourceId, '/', -1)
WHERE vm.resource_group_name = '{{ .stackqlQuery.resourceGroupName}}'
AND subscription_id = '{{ .stackqlQuery.subscriptionId}}'
AND l.$filter = 'eventTimestamp ge ''2024-01-28T00:00:00Z'' and resourceGroupName eq ''{{ .stackqlQuery.resourceGroupName}}''';
info

Parameter WHERE dalam kueri JOIN yang tidak didisambiguasi, seperti subscription_id dalam kasus di atas, digunakan bersama oleh kedua sumber daya (dalam kasus ini azure.monitor.activity_logs dan azure.compute.virtual_machines).