Đừng để metrics thay mình suy nghĩ

Điểm khởi hành — một định luật cũ

Khi cái thước đo trở thành đích đến

Gần đây mình xem một đoạn hơn 3 phút của Tobi Lutke nói về Goodhart's Law. Ngắn thôi, nhưng có một ý đáng dừng lại cho ai đang làm product, engineering, startup hay quản lý team.

“Khi một metric trở thành mục tiêu, nó không còn là một metric tốt nữa.”

Câu này nghe hơi lý thuyết. Nhưng làm sản phẩm đủ lâu thì ai cũng gặp.

Một team muốn tăng conversion rate. Một team muốn tăng activation. Một team muốn giảm thời gian xử lý ticket. Một team muốn ship nhiều feature hơn mỗi sprint. Những mục tiêu đó đều hợp lý. Vấn đề bắt đầu khi mình biến các con số đó thành thứ duy nhất cần tối ưu — lúc đó team rất dễ “đạt số” nhưng lại làm hỏng chất lượng thật.

Buồng lái — data làm được gì

Metrics không sai, nhưng metrics không đủ

Tobi không nói Shopify bỏ data. Ngược lại, họ đầu tư rất nhiều vào dữ liệu, rollout, experiment, A/B testing. Nhưng ông dùng một hình ảnh rất hay: data giống như cockpit của phi công — cái buồng lái, nơi phi công nhìn các đồng hồ, tín hiệu và cảnh báo để hiểu tình trạng máy bay.

Với sản phẩm cũng vậy. Data giúp mình nhìn rõ hơn chuyện gì đang xảy ra. Nhưng data không tự trả lời được câu hỏi: “Vậy bây giờ nên làm gì?” Phần đó cần judgment — khả năng phán đoán.

Người lái — phán đoán

Judgment là gì?

Ví dụ, data nói: activation đang giảm, user drop nhiều ở bước onboarding, support ticket tăng ở phần setup. Nhưng data không tự nói cho mình biết:

• Nên sửa UI hay sửa messaging?
• Nên thêm hướng dẫn hay cắt bớt bước?
• Vấn đề là onboarding, pricing, product value hay sai user segment?
• Nên tối ưu nhanh metric ngắn hạn hay làm lại flow cho đúng dài hạn?

Đó là phần cần judgment từ team. Judgment đến từ việc hiểu user, hiểu business, hiểu sản phẩm, hiểu technical trade-off và hiểu chất lượng mình muốn giữ.

“Data cho mình biết chuyện gì đang xảy ra. Judgment giúp mình quyết định nên làm gì với chuyện đó.”

Cảm quan — gu chất lượng

Taste là gì?

Trong đoạn nói chuyện, Tobi nhắc đến những thứ khó đo: taste, quality, passion, love/hate của user — lần lượt là gu chất lượng, chất lượng, sự tâm huyết, và cảm xúc yêu/ghét rất thật của người dùng. Mình thấy chữ “taste” rất quan trọng.

Taste là khả năng nhìn một sản phẩm và cảm được:

• Cái này có rõ ràng không?
• Có tinh tế không?
• Có đúng nhu cầu user không?
• Có làm user tin tưởng không?
• Có bị rối, thừa, spam, rẻ tiền không?
• Có đúng với chất lượng sản phẩm mình muốn xây không?

Ví dụ, một popup có thể tăng conversion rate. Nhưng nếu popup đó quá aggressive, làm user khó chịu, khiến sản phẩm trông spam, hoặc làm giảm trust với brand — người có taste sẽ nhìn ra vấn đề. Dashboard có thể chưa báo ngay. Nhưng user đã bắt đầu khó chịu.

Đó là lý do taste quan trọng: nó giúp team không chỉ hỏi “số có tăng không?”, mà còn hỏi “trải nghiệm có thật sự tốt hơn không?”

Đối trọng — trả giá ở đâu

Metric cần đi kèm counter-metric

Mỗi mục tiêu nên kẹp một chỉ số đối trọng để khỏi tối ưu lệch:

“Metric chính cho biết mình có đạt mục tiêu không. Counter-metric cho biết mình có đang trả giá quá đắt để đạt nó không.”

Điểm mù — thứ dễ đo thì hấp dẫn

Rủi ro của việc chỉ tối ưu thứ đo được

Những thứ dễ đo thường rất hấp dẫn. Chúng rõ ràng, tạo cảm giác tiến bộ, làm dashboard đẹp hơn, khiến cuộc họp có vẻ khách quan hơn. Nhưng sản phẩm tốt không chỉ được tạo ra từ những thứ dễ đo.

Nếu team chỉ tối ưu phần đo được, mình rất dễ bỏ quên phần tạo ra giá trị dài hạn.

Hạ cánh — bài học cho team

Metrics nên giúp team nhìn rõ, không thay team suy nghĩ

Team tốt không phải team bỏ qua data. Cũng không phải team để dashboard quyết định mọi thứ. Team tốt cần cả năm thứ:

Khi review một feature, có lẽ đừng chỉ hỏi “metric có tăng không?”. Nên hỏi thêm:

• User có thật sự nhận được value hơn không?
• Trải nghiệm có rõ hơn không?
• Chất lượng có tốt hơn không?
• Có tác dụng phụ nào mình đang bỏ qua không?
• Nếu là user, mình có thấy happy khi dùng không?