Google Developers Indonesia Blog: 5 fitur favorit untuk meningkatkan log analytics

5 fitur favorit untuk meningkatkan log analytics

19 December 2019

code { background-color: transparent }

Stackdriver Logging, bagian dari set fitur manajemen operasi kami di Google Cloud, dirancang untuk mengelola dan menganalisis log untuk membantu Anda memecahkan masalah lingkungan hybrid cloud dan mendapatkan insight dari aplikasi Anda. Namun banyaknya volume data yang dihasilkan mesin bisa menimbulkan tantangan saat menelusuri semua log.
Setelah bekerja dengan pengguna Stackdriver Logging selama bertahun-tahun, kami telah mengidentifikasi cara termudah dan praktik terbaik untuk mendapatkan nilai yang dibutuhkan dari log Anda. Kami telah mengumpulkan tips favorit untuk menganalisis log dengan lebih efektif dan pemecahan masalah yang cepat, termasuk beberapa fitur baru untuk membantu Anda dengan cepat dan mudah mendapatkan nilai dari log: penelusuran tersimpan, library kueri, dukungan untuk tabel partisi saat mengekspor log ke BigQuery, dan lainnya.

1. Manfaatkan bahasa kueri lanjutan

Mode dasar default untuk menelusuri log Stackdriver adalah menggunakan menu drop-down untuk memilih sumber daya, log, atau tingkat keparahan. Meskipun ini sangat memudahkan Anda untuk memulai log, sebagian besar pengguna cenderung menggunakan filter lanjutan untuk menanyakan kueri yang lebih kompleks, seperti yang ditunjukkan di sini:

Beberapa fitur canggih dalam mode kueri lanjutan ini meliputi:

Operator perbandingan:
= # equal != # not equal > < >= <= # numeric ordering : # "has" matches any substring in the log entry field
Operator Boolean: Secara default, beberapa klausa digabungkan dengan AND, meskipun Anda juga bisa menggunakan OR dan NOT (pastikan untuk menggunakan huruf besar!)
Functions: ip_in_net() adalah favorit untuk menganalisis log jaringan, seperti ini:
ip_in_net(jsonPayload.realClientIP, "10.1.2.0/24")

Tips pro: Sertakan nama log lengkap, rentang waktu, dan kolom lain yang diindeks untuk mempercepat hasil penelusuran Anda. Lihat ini dan tips lainnya untuk mempercepat kinerja.
Library kueri baru: Kami telah menanyai para ahli dari seluruh Google Cloud untuk mengumpulkan beberapa pertanyaan lanjutan yang paling umum menurut kasus penggunaan termasuk Kubernetes, keamanan, dan log jaringan, yang bisa Anda temukan di library kueri contoh dalam dokumentasi kami. Apakah ada hal lain yang ingin Anda lihat? Klik tombol “Send Feedback” di bagian atas halaman Sample Queries dan beri tahu kami.

2. Sesuaikan hasil penelusuran Anda

Sering kali ada kolom tertentu yang terkubur dalam entri log yang menarik perhatian ketika Anda menganalisis log. Anda bisa menyesuaikan hasil penelusuran untuk menyertakan kolom ini dengan mengklik kolom dan memilih “Add field to summary line.” Anda juga bisa secara manual menambahkan, menghapus, atau mengatur ulang kolom, atau mengaktifkan kontrol yang membatasi lebarnya dalam View Options. Konfigurasi ini bisa secara dramatis mempercepat pemecahan masalah, karena Anda mendapatkan konteks yang diperlukan dalam ringkasan. Lihat contohnya di sini:

3. Simpan penelusuran favorit dan hasil penelusuran khusus dalam library penelusuran personal Anda

Kami sering mendengar bahwa Anda menggunakan penelusuran yang sama berulang kali, atau Anda berharap dapat menyimpan konfigurasi kolom khusus untuk melakukan penelusuran di masa mendatang. Jadi, kami baru saja meluncurkan fitur baru yang memungkinkan Anda menyimpan penelusuran, termasuk kolom khusus dalam library Anda sendiri.

Anda bisa membagikan penelusuran tersimpan dengan pengguna yang memiliki izin pada project Anda dengan mengklik pemilih di sebelah Submit kemudian pilih Preview. Klik link Copy untuk memfilter dan membagikannya dengan tim Anda. Fitur ini sekarang masih dalam versi beta, dan kami akan terus mengerjakan fungsionalitas library kueri untuk membantu Anda menganalisis log dengan cepat.

4. Gunakan metrik berbasis log untuk dasbor dan pemberitahuan

Setelah menguasai kueri lanjutan, Anda bisa membawa analisis Anda ke tingkat selanjutnya dengan pemantauan real-time menggunakan metrik berbasis log. Misalnya, Anda ingin mendapatkan pemberitahuan ketika seseorang memberi akses ke alamat email dari luar organisasi. Anda bisa membuat metrik untuk mencocokkan log audit dari panggilan SetIamPolicy Cloud Resource Manager, di mana anggota yang tidak di bawah domain “my-org.com” diberikan akses, seperti yang ditunjukkan di sini:

  resource.type="project" logName="projects/[PROJECT_ID]/logs/cloudaudit.googleapis.com%2Factivity"
protoPayload.serviceName="cloudresourcemanager.googleapis.com"
protoPayload.methodName="SetIamPolicy"
protoPayload.serviceData.policyDelta.bindingDeltas.member:*
(NOT protoPayload.serviceData.policyDelta.bindingDeltas.member:"@my-org.com")

Dengan set filter, cukup klik Create Metric dan berikan nama.

Untuk menerima pemberitahuan jika log yang cocok datang, pilih Create Alert From Metric dari menu tiga titik di sebelah metrik baru dibuat yang ditetapkan pengguna. Ini akan membuka kebijakan pemberitahuan baru di Stackdriver Monitoring. Ubah agregator menjadi “sum” dan ambang ke 0 untuk “Most recent value” sehingga Anda akan menerima pemberitahuan ketika terdapat log yang cocok. Jangan khawatir jika belum ada data, karena metrik Anda hanya akan menghitung entri log sejak itu dibuat.

Selain itu, Anda juga bisa menambahkan alamat email, saluran Slack, SMS, atau nama serta akun PagerDuty, dan menyimpan kebijakan pemberitahuan Anda. Anda juga bisa menambahkan metrik ini ke dasbor bersama dengan metrik sistem dan khusus.

5. Melakukan kueri SQL lebih cepat pada log dalam BigQuery menggunakan tabel terpartisi

Stackdriver Logging mendukung pengiriman log ke BigQuery menggunakan log sink untuk melakukan analytics lanjutan menggunakan SQL atau bergabung dengan sumber data lainnya, seperti Cloud Billing. Kami sudah mendengar dari Anda bahwa menganalisis log selama beberapa hari dalam BigQuery akan lebih mudah jika kami mendukung tabel yang dipartisi. Jadi kami baru-baru ini menambahkan opsi tabel terpartisi yang menyederhanakan kueri SQL pada log dalam BigQuery.

Saat membuat sink untuk mengekspor log ke BigQuery, Anda bisa menggunakan tabel date-sharded atau tabel terpartisi. Pilihan default adalah tabel date-sharded, di mana sufiks _YYYYMMDD ditambahkan ke nama tabel untuk membuat tabel harian berdasarkan stempel waktu pada entri log. Tabel date-sharded memiliki beberapa kelemahan yang bisa menambah ke overhead kueri:

Melakukan kueri beberapa hari lebih sulit, karena Anda harus menggunakan operator UNION untuk menyimulasikan partisi.
BigQuery harus menyimpan salinan skema dan metadata untuk setiap tabel yang diberi nama tanggal.
BigQuery mungkin dibutuhkan untuk memverifikasi izin untuk setiap tabel yang diminta.

Saat membuat Log Sink, Anda sekarang bisa memilih opsi Use Partitioned Tables untuk memanfaatkan tabel terpartisi di BigQuery untuk mengatasi setiap masalah yang berkaitan dengan tabel date-sharded.

Log yang di-streaming ke tabel terpartisi menggunakan kolom stempel waktu entri log untuk menulis ke partisi yang tepat. Kueri pada tabel terpartisi waktu-serap seperti itu bisa menentukan filter predikat pada kolom semu _PARTITIONTIME atau _PARTITIONDATE untuk membatasi jumlah log yang dipindai. Anda bisa menentukan rentang tanggal menggunakan filter WHERE, seperti ini:
WHERE _PARTITIONTIME BETWEEN TIMESTAMP("20191101") AND TIMESTAMP("20191105")
Pelajari lebih lanjut tentang kueri tabel terpartisi.
Cari tahu selengkapnya tentang Stackdriver Logging, dan bergabunglah dalam percakapan langsung dengan engineer dan tim manajemen produk kami.

9 comments :

Add comment

5 fitur favorit untuk meningkatkan log analytics

9 comments :

Labels

Archive