ค้นหาข้อมูลต้นฉบับของ Analytics ใน BigQuery

การตรวจสอบข้อมูลด้วยข้อมูลต้นฉบับ

หลังจากเก็บอีเวนต์ของเกมแล้ว ต้องตรวจสอบว่าการกระทำของผู้ใช้ถูกบันทึกในเวลาที่ตั้งใจไว้หรือไม่ และมีค่าที่จำเป็นต่อการวิเคราะห์ครบถ้วนหรือไม่ หากช่วงเวลาที่ค้นหายาวหรือต้องใช้หลายเงื่อนไขร่วมกัน อาจต้องตรวจสอบอีเวนต์ต้นฉบับโดยตรง

ตัวอย่างเช่น หากอีเวนต์ที่ส่งไปไม่ปรากฏใน Analytics ต้องตรวจสอบว่าอีเวนต์นั้นไม่ผ่านเกณฑ์การเก็บข้อมูลและถูกจัดเก็บในตารางกักกันหรือไม่ หากตัวเลขที่รวบรวมได้สูงกว่าที่คาดไว้ สามารถตรวจสอบได้ว่ามีการส่งอีเวนต์เดียวกันซ้ำหรือไม่ และยังใช้ล็อกต้นฉบับตรวจสอบได้ว่ามีค่าผิดปกติเกิดซ้ำในช่วงเวลา แอป หรือประเทศใดหรือไม่ เมื่อยอดชำระจากสโตร์ไม่ตรงกับตัวชี้วัดรายได้ ต้องเทียบล็อกการซื้อจำนวนมากกับข้อมูลการชำระเงินเพื่อหาช่วงที่เกิดความแตกต่าง

ใน BigQuery คุณสามารถค้นหาข้อมูลที่จำเป็นสำหรับสถานการณ์เหล่านี้ด้วย SQL และประมวลผลเบื้องต้น เช่น การลบข้อมูลซ้ำ การแปลงเขตเวลา และการดึงพร็อพเพอร์ตี้ได้ วิธีนี้ช่วยให้ระบุสาเหตุของข้อผิดพลาดในการเก็บข้อมูลและความแตกต่างของการรวบรวมข้อมูล ซึ่งดูได้ยากจากผลลัพธ์บนหน้าจอเพียงอย่างเดียว

สภาพแวดล้อมการค้นหาข้อมูล BigQuery ของ Hive Analytics

Hive Analytics มีสภาพแวดล้อมที่ช่วยให้ค้นหาข้อมูลอีเวนต์ที่เก็บได้โดยตรงใน BigQuery ขั้นตอนตั้งแต่การขอสิทธิ์จนถึงการเรียกใช้ SQL มีดังนี้

1. เตรียมบัญชี Google
   เตรียม Gmail หรือบัญชี Google ที่ใช้ในบริษัทสำหรับเข้าถึง BigQuery
2. ขอสิทธิ์
   ผู้ใช้ที่มีสิทธิ์ผู้ดูแลระบบ Analytics ลงทะเบียนบัญชี Google ใน การจัดการสิทธิ์การเข้าถึง BigQuery ในเมนูบัญชี สิทธิ์จะใช้ได้เฉพาะกับสภาพแวดล้อมของคอนโซล Analytics ที่ขอไว้เท่านั้น หากต้องค้นหาทั้งข้อมูลจริงและข้อมูลแซนด์บ็อกซ์ ให้ขอแยกในแต่ละสภาพแวดล้อม หลังจากขอแล้ว ให้ตรวจสอบสถานะการดำเนินการ เช่น รอดำเนินการ อนุมัติแล้ว หรือถูกปฏิเสธ ในรายการคำขอ โดยทั่วไปสิทธิ์จะได้รับทันที แต่หากคำขออยู่ในสถานะรอดำเนินการ อาจใช้เวลาไม่เกิน 2 วันทำการ
3. เตรียมโปรเจกต์ Google Cloud
   เตรียมโปรเจกต์ Google Cloud สำหรับเรียกใช้ SQL หากไม่มีบัญชีสำหรับการเรียกเก็บเงินของ Google Cloud สามารถตั้งค่าแซนด์บ็อกซ์ BigQuery เพื่อเริ่มใช้งานภายในขอบเขตฟรีที่จำกัดได้ ดูวิธีตั้งค่าและข้อจำกัดได้ในเอกสารแซนด์บ็อกซ์ BigQueryของ Google Cloud
4. เชื่อมต่อโปรเจกต์ Analytics
   เพิ่มโปรเจกต์ habq-storage ในรายการโปรดของ Explorer ใน BigQuery หากไม่เห็นโปรเจกต์ ให้เลือกติดดาวโปรเจกต์ตามชื่อใน เพิ่มข้อมูล แล้วกรอก habq-storage
5. ตรวจสอบชุดข้อมูลและตาราง
   ขยายโปรเจกต์เพื่อตรวจสอบชุดข้อมูลและตารางอีเวนต์ที่ได้รับสิทธิ์ ข้อมูลจริงจัดเก็บใน habq-storage.analytics_N_live และข้อมูลแซนด์บ็อกซ์จัดเก็บใน habq-storage.analytics_N_sandbox N ในชื่อชุดข้อมูลคือค่าระบุของแต่ละบริษัท และ Explorer จะแสดงเฉพาะชุดข้อมูลที่เข้าถึงได้ จึงไม่ต้องตรวจสอบค่านี้แยกต่างหาก ดูประเภทและวัตถุประสงค์ของตารางที่ค้นหาได้ รวมถึงคอลัมน์หลักได้ที่ ตาราง BigQuery ใน Hive Developers
6. เรียกใช้ SQL
   การเรียกใช้ SQL ต้องมีบทบาท BigQuery Job User ในโปรเจกต์ Google Cloud ที่เลือก โปรเจกต์ที่สร้างด้วยแซนด์บ็อกซ์ BigQuery สามารถค้นหาข้อมูลได้จนถึงขีดจำกัดการใช้งานฟรีโดยไม่ต้องตั้งค่าสิทธิ์เพิ่มเติม เลือกโปรเจกต์แล้วเรียกใช้คิวรีในตัวแก้ไข SQL

สำหรับบัญชีที่ไม่จำเป็นต้องค้นหาข้อมูลต้นฉบับอีกต่อไปเนื่องจากเปลี่ยนหน้าที่หรือลาออก ให้ขอเพิกถอนสิทธิ์ใน การจัดการสิทธิ์การเข้าถึง BigQuery ของ Analytics การคงไว้เฉพาะบัญชีและสภาพแวดล้อมที่จำเป็นช่วยให้จัดการขอบเขตการเข้าถึงข้อมูลต้นฉบับได้อย่างชัดเจน

ดูขั้นตอนโดยละเอียดเกี่ยวกับการขอและเพิกถอนสิทธิ์ค้นหาข้อมูล BigQuery รวมถึงการเตรียมโปรเจกต์ Google Cloud ได้ที่ การตั้งค่า BigQuery ใน Hive Developers

ลองค้นหาข้อมูลอีเวนต์ต้นฉบับใน BigQuery

ตัวอย่างเช่น สมมติว่าต้องการตรวจสอบข้อมูลพื้นฐานและพร็อพเพอร์ตี้ของอีเวนต์ contents_success ที่เก็บในสภาพแวดล้อมจริง เข้าสู่ Google BigQuery แล้วเลือกโปรเจกต์ Google Cloud สำหรับเรียกใช้ SQL ในพื้นที่เลือกโปรเจกต์ด้านบนซ้ายของคอนโซล BigQuery จากนั้นเปิดตัวแก้ไข SQL และกำหนดเงื่อนไขการค้นหาดังนี้

SELECT
  userId,
  deviceId,
  appIdGroup,
  appId,
  DATETIME(TIMESTAMP_ADD(dateTime, INTERVAL 32400 SECOND)) AS dateTime_kst,
  attributes
FROM `habq-storage.analytics_N_live.t_raw_event_log`  --analytics_N_live: ชุดข้อมูลจริงที่ได้รับสิทธิ์
WHERE identifierProvider = 'hive'
  AND eventName = 'contents_success'  --ชื่ออีเวนต์ที่จะค้นหา
  AND appIdGroup = 'com.sample.test'  --appIdGroup จริงของเกมที่จะค้นหา
  AND dateTime >= TIMESTAMP_SUB(TIMESTAMP('2026-10-01 00:00:00'), INTERVAL 32400 SECOND)  --วันเริ่มต้นของช่วงเวลาที่ค้นหา
  AND dateTime < TIMESTAMP_SUB(TIMESTAMP('2026-10-08 00:00:00'), INTERVAL 32400 SECOND)  --วันสิ้นสุดของช่วงเวลาที่ค้นหา
QUALIFY ROW_NUMBER() OVER (
  PARTITION BY checksum
  ORDER BY bigqueryRegistTimestamp DESC
) = 1
LIMIT 100

ก่อนเรียกใช้คิวรี ให้เปลี่ยนค่าที่ระบุไว้ในคอมเมนต์ให้ตรงกับสภาพแวดล้อมจริง

dateTime จัดเก็บตามเวลา UTC ตัวอย่างจึงบวก 9 ชั่วโมงเพื่อแสดงเป็น KST หากต้องการกำหนดช่วงเวลาที่ค้นหาตาม KST ด้วย ให้ลบ 9 ชั่วโมงจากเวลาเริ่มต้นและเวลาสิ้นสุดเพื่อแปลงเป็นเงื่อนไข UTC

หากมีการส่งอีเวนต์เดียวกันซ้ำ อาจมีข้อมูลซ้ำถูกจัดเก็บ ส่วนคำสั่ง QUALIFY ในตัวอย่างจะเก็บไว้เพียงแถวเดียวที่มี bigqueryRegistTimestamp ล่าสุดจากข้อมูลที่มี checksum เดียวกัน ให้ใช้เกณฑ์การลบข้อมูลซ้ำที่เหมาะกับวัตถุประสงค์ของการวิเคราะห์และวิธีการส่งอีเวนต์

t_raw_event_log เป็นตารางที่แบ่งพาร์ติชันรายวันตาม dateTime การใส่เงื่อนไขวันที่ในคิวรีเพื่อค้นหาเฉพาะพาร์ติชันที่จำเป็นช่วยลดค่าใช้จ่ายในการค้นหาได้ การตรวจสอบปริมาณข้อมูลที่คาดว่าจะประมวลผลซึ่ง BigQuery แสดงก่อนเรียกใช้ด้วย ยังช่วยลดการค้นหาข้อมูลและค่าใช้จ่ายที่ไม่จำเป็นได้

ผลการค้นหาไม่ได้แสดงเพียงข้อมูลผู้ใช้และแอปเท่านั้น แต่ยังแสดงพร็อพเพอร์ตี้ของอีเวนต์ที่จัดเก็บใน attributes ด้วย หากต้องการดูพร็อพเพอร์ตี้ใดเป็นคอลัมน์แยก ให้ดึงค่าที่ต้องการด้วย JSON_VALUE และฟังก์ชันแปลงชนิดข้อมูล

เริ่มต้นใช้งาน Hive Analytics

เมื่อเตรียมสภาพแวดล้อมการค้นหาใน BigQuery แล้ว คุณจะตรวจสอบอีเวนต์และค่าพร็อพเพอร์ตี้ที่ต้องการตามเงื่อนไขที่กำหนดได้ และเปรียบเทียบเกณฑ์การรวบรวมตัวชี้วัดกับข้อมูลต้นฉบับได้

Hive Analytics เป็นโซลูชันวิเคราะห์ข้อมูลสำหรับเกมโดยเฉพาะ ที่มีสภาพแวดล้อมให้ค้นหาอีเวนต์ที่เก็บผ่าน Hive SDK ได้โดยตรงใน BigQuery ขอสิทธิ์ค้นหาข้อมูล BigQuery ใน Hive Analytics ตอนนี้ แล้วสำรวจข้อมูลเกมของคุณได้โดยตรง