Google Developers Indonesia Blog: 5 fitur favorit untuk meningkatkan log analytics

5 fitur favorit untuk meningkatkan log analytics

19 December 2019

code { background-color: transparent }

Stackdriver Logging, bagian dari set fitur manajemen operasi kami di Google Cloud, dirancang untuk mengelola dan menganalisis log untuk membantu Anda memecahkan masalah lingkungan hybrid cloud dan mendapatkan insight dari aplikasi Anda. Namun banyaknya volume data yang dihasilkan mesin bisa menimbulkan tantangan saat menelusuri semua log.
Setelah bekerja dengan pengguna Stackdriver Logging selama bertahun-tahun, kami telah mengidentifikasi cara termudah dan praktik terbaik untuk mendapatkan nilai yang dibutuhkan dari log Anda. Kami telah mengumpulkan tips favorit untuk menganalisis log dengan lebih efektif dan pemecahan masalah yang cepat, termasuk beberapa fitur baru untuk membantu Anda dengan cepat dan mudah mendapatkan nilai dari log: penelusuran tersimpan, library kueri, dukungan untuk tabel partisi saat mengekspor log ke BigQuery, dan lainnya.

1. Manfaatkan bahasa kueri lanjutan

Mode dasar default untuk menelusuri log Stackdriver adalah menggunakan menu drop-down untuk memilih sumber daya, log, atau tingkat keparahan. Meskipun ini sangat memudahkan Anda untuk memulai log, sebagian besar pengguna cenderung menggunakan filter lanjutan untuk menanyakan kueri yang lebih kompleks, seperti yang ditunjukkan di sini:

Beberapa fitur canggih dalam mode kueri lanjutan ini meliputi:

Operator perbandingan:
= # equal != # not equal > < >= <= # numeric ordering : # "has" matches any substring in the log entry field
Operator Boolean: Secara default, beberapa klausa digabungkan dengan AND, meskipun Anda juga bisa menggunakan OR dan NOT (pastikan untuk menggunakan huruf besar!)
Functions: ip_in_net() adalah favorit untuk menganalisis log jaringan, seperti ini:
ip_in_net(jsonPayload.realClientIP, "10.1.2.0/24")

Tips pro: Sertakan nama log lengkap, rentang waktu, dan kolom lain yang diindeks untuk mempercepat hasil penelusuran Anda. Lihat ini dan tips lainnya untuk mempercepat kinerja.
Library kueri baru: Kami telah menanyai para ahli dari seluruh Google Cloud untuk mengumpulkan beberapa pertanyaan lanjutan yang paling umum menurut kasus penggunaan termasuk Kubernetes, keamanan, dan log jaringan, yang bisa Anda temukan di library kueri contoh dalam dokumentasi kami. Apakah ada hal lain yang ingin Anda lihat? Klik tombol “Send Feedback” di bagian atas halaman Sample Queries dan beri tahu kami.

2. Sesuaikan hasil penelusuran Anda

Sering kali ada kolom tertentu yang terkubur dalam entri log yang menarik perhatian ketika Anda menganalisis log. Anda bisa menyesuaikan hasil penelusuran untuk menyertakan kolom ini dengan mengklik kolom dan memilih “Add field to summary line.” Anda juga bisa secara manual menambahkan, menghapus, atau mengatur ulang kolom, atau mengaktifkan kontrol yang membatasi lebarnya dalam View Options. Konfigurasi ini bisa secara dramatis mempercepat pemecahan masalah, karena Anda mendapatkan konteks yang diperlukan dalam ringkasan. Lihat contohnya di sini:

3. Simpan penelusuran favorit dan hasil penelusuran khusus dalam library penelusuran personal Anda

Kami sering mendengar bahwa Anda menggunakan penelusuran yang sama berulang kali, atau Anda berharap dapat menyimpan konfigurasi kolom khusus untuk melakukan penelusuran di masa mendatang. Jadi, kami baru saja meluncurkan fitur baru yang memungkinkan Anda menyimpan penelusuran, termasuk kolom khusus dalam library Anda sendiri.

Anda bisa membagikan penelusuran tersimpan dengan pengguna yang memiliki izin pada project Anda dengan mengklik pemilih di sebelah Submit kemudian pilih Preview. Klik link Copy untuk memfilter dan membagikannya dengan tim Anda. Fitur ini sekarang masih dalam versi beta, dan kami akan terus mengerjakan fungsionalitas library kueri untuk membantu Anda menganalisis log dengan cepat.

4. Gunakan metrik berbasis log untuk dasbor dan pemberitahuan

Setelah menguasai kueri lanjutan, Anda bisa membawa analisis Anda ke tingkat selanjutnya dengan pemantauan real-time menggunakan metrik berbasis log. Misalnya, Anda ingin mendapatkan pemberitahuan ketika seseorang memberi akses ke alamat email dari luar organisasi. Anda bisa membuat metrik untuk mencocokkan log audit dari panggilan SetIamPolicy Cloud Resource Manager, di mana anggota yang tidak di bawah domain “my-org.com” diberikan akses, seperti yang ditunjukkan di sini:

  resource.type="project" logName="projects/[PROJECT_ID]/logs/cloudaudit.googleapis.com%2Factivity"
protoPayload.serviceName="cloudresourcemanager.googleapis.com"
protoPayload.methodName="SetIamPolicy"
protoPayload.serviceData.policyDelta.bindingDeltas.member:*
(NOT protoPayload.serviceData.policyDelta.bindingDeltas.member:"@my-org.com")

Dengan set filter, cukup klik Create Metric dan berikan nama.

Untuk menerima pemberitahuan jika log yang cocok datang, pilih Create Alert From Metric dari menu tiga titik di sebelah metrik baru dibuat yang ditetapkan pengguna. Ini akan membuka kebijakan pemberitahuan baru di Stackdriver Monitoring. Ubah agregator menjadi “sum” dan ambang ke 0 untuk “Most recent value” sehingga Anda akan menerima pemberitahuan ketika terdapat log yang cocok. Jangan khawatir jika belum ada data, karena metrik Anda hanya akan menghitung entri log sejak itu dibuat.

Selain itu, Anda juga bisa menambahkan alamat email, saluran Slack, SMS, atau nama serta akun PagerDuty, dan menyimpan kebijakan pemberitahuan Anda. Anda juga bisa menambahkan metrik ini ke dasbor bersama dengan metrik sistem dan khusus.

5. Melakukan kueri SQL lebih cepat pada log dalam BigQuery menggunakan tabel terpartisi

Stackdriver Logging mendukung pengiriman log ke BigQuery menggunakan log sink untuk melakukan analytics lanjutan menggunakan SQL atau bergabung dengan sumber data lainnya, seperti Cloud Billing. Kami sudah mendengar dari Anda bahwa menganalisis log selama beberapa hari dalam BigQuery akan lebih mudah jika kami mendukung tabel yang dipartisi. Jadi kami baru-baru ini menambahkan opsi tabel terpartisi yang menyederhanakan kueri SQL pada log dalam BigQuery.

Saat membuat sink untuk mengekspor log ke BigQuery, Anda bisa menggunakan tabel date-sharded atau tabel terpartisi. Pilihan default adalah tabel date-sharded, di mana sufiks _YYYYMMDD ditambahkan ke nama tabel untuk membuat tabel harian berdasarkan stempel waktu pada entri log. Tabel date-sharded memiliki beberapa kelemahan yang bisa menambah ke overhead kueri:

Melakukan kueri beberapa hari lebih sulit, karena Anda harus menggunakan operator UNION untuk menyimulasikan partisi.
BigQuery harus menyimpan salinan skema dan metadata untuk setiap tabel yang diberi nama tanggal.
BigQuery mungkin dibutuhkan untuk memverifikasi izin untuk setiap tabel yang diminta.

Saat membuat Log Sink, Anda sekarang bisa memilih opsi Use Partitioned Tables untuk memanfaatkan tabel terpartisi di BigQuery untuk mengatasi setiap masalah yang berkaitan dengan tabel date-sharded.

Log yang di-streaming ke tabel terpartisi menggunakan kolom stempel waktu entri log untuk menulis ke partisi yang tepat. Kueri pada tabel terpartisi waktu-serap seperti itu bisa menentukan filter predikat pada kolom semu _PARTITIONTIME atau _PARTITIONDATE untuk membatasi jumlah log yang dipindai. Anda bisa menentukan rentang tanggal menggunakan filter WHERE, seperti ini:
WHERE _PARTITIONTIME BETWEEN TIMESTAMP("20191101") AND TIMESTAMP("20191105")
Pelajari lebih lanjut tentang kueri tabel terpartisi.
Cari tahu selengkapnya tentang Stackdriver Logging, dan bergabunglah dalam percakapan langsung dengan engineer dan tim manajemen produk kami.

9 comments :

JoshRussel24 January, 2020 18:11
Thank you for your post, it helped me a lot with my website http://groupspaces.com/nativecasinos/pages/trends-that-will-affect-the-development-of-casinos-in-the-next-few-years
ReplyDelete
Replies
SLOT ONLINE06 August, 2021 07:07
senang bermain game slot online pragmatic? segera mainkan situs terbaik voxy88 di indonesia dengan permainan terlengkap hubungi livechat voxy88
ReplyDelete
Replies
test24 August, 2021 17:42
Does your blog have a contact page? I’m having a tough time locating it but, I’d like to send you an e-mail. I’ve got some suggestions for your blog you might be interested in hearing. Either way, great website and I look forward to seeing it improve over time.

✔ Bandar Tembak Ikan Online Terbaik
✔ Bandar Tembak Ikan Online Terlengkap
✔ Bandar Tembak Ikan Online Terbesar
✔ Bandar Tembak Ikan Online Terpercaya
✔ Bandar Tembak Ikan Online Deposit Bank BCA
✔ Bandar Tembak Ikan Online Deposit Pulsa
✔ Bandar Tembak Ikan Online Deposit Uang Asli
✔ Bandar Tembak Ikan Online 24jam
✔ Bandar Tembak Ikan Online Indonesia
ReplyDelete
Replies
sedef26 November, 2021 23:41
evcil hayvan erotik kedi am yaladı mastürbasyon izle zoo sex hayvanlarla ilişkiye giren kadın izle
ReplyDelete
Replies
Stephen Granlund31 January, 2022 19:03
Hi, great article, thank you!
Btw, visit cryptorobotics.co, the best bot trading crypto project, you will increase the efficency
ReplyDelete
Replies
Michelle04 April, 2022 12:54
ive never found many inspirational article and website like this
merdeka 138 slot
merdeka138
merdeka 138 slot login
ReplyDelete
Replies
Michelle12 April, 2022 11:22
Mentari138 slot situs paling terpercaya dan terbaik no.1 indonesia
ReplyDelete
Replies
Michelle06 May, 2022 16:15
just wanna say thankyou for many good blog like this, it was really good mutiara138
ReplyDelete
Replies
bikikiba02 June, 2022 10:38
Thank you for sharing, I would like to know more about your amazing article of yours. Keep sharing great content.
Mutiara138
ReplyDelete
Replies

Add comment

5 fitur favorit untuk meningkatkan log analytics

9 comments :

Labels

Archive