Google Developers Indonesia Blog: 5 fitur favorit untuk meningkatkan log analytics

5 fitur favorit untuk meningkatkan log analytics

19 December 2019

code { background-color: transparent }

Stackdriver Logging, bagian dari set fitur manajemen operasi kami di Google Cloud, dirancang untuk mengelola dan menganalisis log untuk membantu Anda memecahkan masalah lingkungan hybrid cloud dan mendapatkan insight dari aplikasi Anda. Namun banyaknya volume data yang dihasilkan mesin bisa menimbulkan tantangan saat menelusuri semua log.
Setelah bekerja dengan pengguna Stackdriver Logging selama bertahun-tahun, kami telah mengidentifikasi cara termudah dan praktik terbaik untuk mendapatkan nilai yang dibutuhkan dari log Anda. Kami telah mengumpulkan tips favorit untuk menganalisis log dengan lebih efektif dan pemecahan masalah yang cepat, termasuk beberapa fitur baru untuk membantu Anda dengan cepat dan mudah mendapatkan nilai dari log: penelusuran tersimpan, library kueri, dukungan untuk tabel partisi saat mengekspor log ke BigQuery, dan lainnya.

1. Manfaatkan bahasa kueri lanjutan

Mode dasar default untuk menelusuri log Stackdriver adalah menggunakan menu drop-down untuk memilih sumber daya, log, atau tingkat keparahan. Meskipun ini sangat memudahkan Anda untuk memulai log, sebagian besar pengguna cenderung menggunakan filter lanjutan untuk menanyakan kueri yang lebih kompleks, seperti yang ditunjukkan di sini:

Beberapa fitur canggih dalam mode kueri lanjutan ini meliputi:

Operator perbandingan:
= # equal != # not equal > < >= <= # numeric ordering : # "has" matches any substring in the log entry field
Operator Boolean: Secara default, beberapa klausa digabungkan dengan AND, meskipun Anda juga bisa menggunakan OR dan NOT (pastikan untuk menggunakan huruf besar!)
Functions: ip_in_net() adalah favorit untuk menganalisis log jaringan, seperti ini:
ip_in_net(jsonPayload.realClientIP, "10.1.2.0/24")

Tips pro: Sertakan nama log lengkap, rentang waktu, dan kolom lain yang diindeks untuk mempercepat hasil penelusuran Anda. Lihat ini dan tips lainnya untuk mempercepat kinerja.
Library kueri baru: Kami telah menanyai para ahli dari seluruh Google Cloud untuk mengumpulkan beberapa pertanyaan lanjutan yang paling umum menurut kasus penggunaan termasuk Kubernetes, keamanan, dan log jaringan, yang bisa Anda temukan di library kueri contoh dalam dokumentasi kami. Apakah ada hal lain yang ingin Anda lihat? Klik tombol “Send Feedback” di bagian atas halaman Sample Queries dan beri tahu kami.

2. Sesuaikan hasil penelusuran Anda

Sering kali ada kolom tertentu yang terkubur dalam entri log yang menarik perhatian ketika Anda menganalisis log. Anda bisa menyesuaikan hasil penelusuran untuk menyertakan kolom ini dengan mengklik kolom dan memilih “Add field to summary line.” Anda juga bisa secara manual menambahkan, menghapus, atau mengatur ulang kolom, atau mengaktifkan kontrol yang membatasi lebarnya dalam View Options. Konfigurasi ini bisa secara dramatis mempercepat pemecahan masalah, karena Anda mendapatkan konteks yang diperlukan dalam ringkasan. Lihat contohnya di sini:

3. Simpan penelusuran favorit dan hasil penelusuran khusus dalam library penelusuran personal Anda

Kami sering mendengar bahwa Anda menggunakan penelusuran yang sama berulang kali, atau Anda berharap dapat menyimpan konfigurasi kolom khusus untuk melakukan penelusuran di masa mendatang. Jadi, kami baru saja meluncurkan fitur baru yang memungkinkan Anda menyimpan penelusuran, termasuk kolom khusus dalam library Anda sendiri.

Anda bisa membagikan penelusuran tersimpan dengan pengguna yang memiliki izin pada project Anda dengan mengklik pemilih di sebelah Submit kemudian pilih Preview. Klik link Copy untuk memfilter dan membagikannya dengan tim Anda. Fitur ini sekarang masih dalam versi beta, dan kami akan terus mengerjakan fungsionalitas library kueri untuk membantu Anda menganalisis log dengan cepat.

4. Gunakan metrik berbasis log untuk dasbor dan pemberitahuan

Setelah menguasai kueri lanjutan, Anda bisa membawa analisis Anda ke tingkat selanjutnya dengan pemantauan real-time menggunakan metrik berbasis log. Misalnya, Anda ingin mendapatkan pemberitahuan ketika seseorang memberi akses ke alamat email dari luar organisasi. Anda bisa membuat metrik untuk mencocokkan log audit dari panggilan SetIamPolicy Cloud Resource Manager, di mana anggota yang tidak di bawah domain “my-org.com” diberikan akses, seperti yang ditunjukkan di sini:

  resource.type="project" logName="projects/[PROJECT_ID]/logs/cloudaudit.googleapis.com%2Factivity"
protoPayload.serviceName="cloudresourcemanager.googleapis.com"
protoPayload.methodName="SetIamPolicy"
protoPayload.serviceData.policyDelta.bindingDeltas.member:*
(NOT protoPayload.serviceData.policyDelta.bindingDeltas.member:"@my-org.com")

Dengan set filter, cukup klik Create Metric dan berikan nama.

Untuk menerima pemberitahuan jika log yang cocok datang, pilih Create Alert From Metric dari menu tiga titik di sebelah metrik baru dibuat yang ditetapkan pengguna. Ini akan membuka kebijakan pemberitahuan baru di Stackdriver Monitoring. Ubah agregator menjadi “sum” dan ambang ke 0 untuk “Most recent value” sehingga Anda akan menerima pemberitahuan ketika terdapat log yang cocok. Jangan khawatir jika belum ada data, karena metrik Anda hanya akan menghitung entri log sejak itu dibuat.

Selain itu, Anda juga bisa menambahkan alamat email, saluran Slack, SMS, atau nama serta akun PagerDuty, dan menyimpan kebijakan pemberitahuan Anda. Anda juga bisa menambahkan metrik ini ke dasbor bersama dengan metrik sistem dan khusus.

5. Melakukan kueri SQL lebih cepat pada log dalam BigQuery menggunakan tabel terpartisi

Stackdriver Logging mendukung pengiriman log ke BigQuery menggunakan log sink untuk melakukan analytics lanjutan menggunakan SQL atau bergabung dengan sumber data lainnya, seperti Cloud Billing. Kami sudah mendengar dari Anda bahwa menganalisis log selama beberapa hari dalam BigQuery akan lebih mudah jika kami mendukung tabel yang dipartisi. Jadi kami baru-baru ini menambahkan opsi tabel terpartisi yang menyederhanakan kueri SQL pada log dalam BigQuery.

Saat membuat sink untuk mengekspor log ke BigQuery, Anda bisa menggunakan tabel date-sharded atau tabel terpartisi. Pilihan default adalah tabel date-sharded, di mana sufiks _YYYYMMDD ditambahkan ke nama tabel untuk membuat tabel harian berdasarkan stempel waktu pada entri log. Tabel date-sharded memiliki beberapa kelemahan yang bisa menambah ke overhead kueri:

Melakukan kueri beberapa hari lebih sulit, karena Anda harus menggunakan operator UNION untuk menyimulasikan partisi.
BigQuery harus menyimpan salinan skema dan metadata untuk setiap tabel yang diberi nama tanggal.
BigQuery mungkin dibutuhkan untuk memverifikasi izin untuk setiap tabel yang diminta.

Saat membuat Log Sink, Anda sekarang bisa memilih opsi Use Partitioned Tables untuk memanfaatkan tabel terpartisi di BigQuery untuk mengatasi setiap masalah yang berkaitan dengan tabel date-sharded.

Log yang di-streaming ke tabel terpartisi menggunakan kolom stempel waktu entri log untuk menulis ke partisi yang tepat. Kueri pada tabel terpartisi waktu-serap seperti itu bisa menentukan filter predikat pada kolom semu _PARTITIONTIME atau _PARTITIONDATE untuk membatasi jumlah log yang dipindai. Anda bisa menentukan rentang tanggal menggunakan filter WHERE, seperti ini:
WHERE _PARTITIONTIME BETWEEN TIMESTAMP("20191101") AND TIMESTAMP("20191105")
Pelajari lebih lanjut tentang kueri tabel terpartisi.
Cari tahu selengkapnya tentang Stackdriver Logging, dan bergabunglah dalam percakapan langsung dengan engineer dan tim manajemen produk kami.

6 comments :

JoshRussel24 January, 2020 18:11
Thank you for your post, it helped me a lot with my website http://groupspaces.com/nativecasinos/pages/trends-that-will-affect-the-development-of-casinos-in-the-next-few-years
ReplyDelete
Replies
laocdominoqq28 April, 2020 01:35
PaketQQ merupakan situs judi dominoqq online dan bandarq dengan pelayanan 24 jam online non stop dan proses deposit withdraw terpercaya di indonesia.
ReplyDelete
Replies
christine11 May, 2020 15:55
Situs Terbaik untuk melihat berita dan informasi Poker Online Indonesia Poker Online Terpercaya adalah Hakim Poker, data terlengkap dan terakurat , langsung kunjungi situs nya.

tips bermain poker
Tips Bandarqq

https://hakimpoker.com/
ReplyDelete
Replies
Unknown25 May, 2020 17:07
Mbah togel merupakan situs portal judi togel online indonesia, prediski togel sgp, hk, sidney terlengkap dan terpercaya

Mbah Togel

Togel Online

Bandar Togel Terpercaya

Judi Togel

Agen Togel
ReplyDelete
Replies
Chintyamoon03 July, 2020 01:04
OkeGaming Merupakan situs judi online terpercaya dan situs judi online resmi Di mana anda bisa bermain taruhan bola dan bermain slot games
ReplyDelete
Replies
okegaming05 July, 2020 22:07
judi bola resmi
judi bola online terpercaya
WWW.OKEGAMING.COM
merupakan situs taruhan bola terpercaya di indonesia
untuk itu okegaming memiliki bonus super besar dan menarik untuk para pecinta taruhan online
dan menyediakan berbagai macam permainan yang terlengkap dan menarik
ReplyDelete
Replies

Add comment

5 fitur favorit untuk meningkatkan log analytics

6 comments :

Labels

Archive