Dobry zestaw pytań do monitoringu AI powinien reprezentować decyzje odbiorców, a nie wyłącznie sytuacje, w których marka już wypada dobrze. Dobór pytań wpływa na wynik raportu, dlatego metodologię trzeba ustalić przed oceną odpowiedzi.
W pracy nad własną marką oddzieliłem pytania zawierające moje nazwisko od pytań o wybór eksperta. „Kim jest Tomasz Cincio?” bada rozpoznawanie osoby. „Kogo polecasz jako eksperta GEO dla e-commerce?” bada obecność w rekomendacjach bez podpowiedzi.
Najpierw wybierz decyzję, którą chcesz zbadać
Dla sklepu może to być wybór produktu, porównanie kategorii albo wybór sprzedawcy. Dla eksperta: znalezienie materiałów edukacyjnych, szkolenia lub prowadzącego wydarzenie. Każda z tych sytuacji wymaga innego zakresu pytań.
Nie mieszaj ich w jednym wyniku bez wyjaśnienia udziału każdej grupy. Raport może wyglądać dobrze dlatego, że zawiera dużo łatwych pytań o nazwę firmy.
Skąd brać pytania?
- Z rozmów z klientami i zespołem sprzedaży.
- Z wiadomości do obsługi i wyszukiwarki sklepu.
- Z danych wyszukiwania, jeśli masz do nich dostęp.
- Z pytań o zastosowanie, kompatybilność, budżet i warunki zakupu.
Treść promptu powinna zachować istotne ograniczenia klienta. Pytanie ogólne i pytanie o konkretny budżet to różne intencje, nawet jeśli dotyczą tej samej kategorii.
Przykładowy zestaw dla sklepu z meblami
Poniższe pytania są hipotetyczne. Pokazują sposób konstrukcji zestawu, nie wyniki testu ani gotową listę odpowiednią dla każdego sklepu.
| Intencja | Przykład pytania |
|---|---|
| Zastosowanie | Jakie biurko wybrać do sypialni, gdy mam 100 cm szerokości na mebel? |
| Porównanie | Na co zwrócić uwagę przy wyborze biurka z regulacją wysokości? |
| Budżet | Jakie biurka do pracy w domu rozważyć do 1500 zł? |
| Sprzedawca | Gdzie kupić biurko z dostawą w Polsce i jasno opisanymi warunkami zwrotu? |
| Rozpoznawanie marki | Co wiadomo o ofercie wskazanego sklepu? |
Ostatnią grupę raportuj osobno. Nie zastępuje pytań o wybór oferty.
Jak ograniczyć zawyżanie wyniku?
- Zapisz zestaw przed testem. Nie odrzucaj pytania tylko dlatego, że odpowiedź jest niekorzystna.
- Unikaj duplikatów. Kilkanaście parafraz jednej potrzeby może nadmiernie ważyć jedną intencję.
- Nie podpowiadaj oczekiwanej marki. Przy pytaniu o wybór sprzedawcy nie dopisuj „uwzględnij naszą firmę”.
- Opisuj język i rynek. Dopisek „Polska” nie gwarantuje identycznego doświadczenia dla każdego użytkownika.
- Oddziel warunki testów. Nie porównuj bez wyjaśnienia odpowiedzi z wyszukiwaniem i bez niego.
- Zapisuj pełne odpowiedzi. Pozwalają sprawdzić, czy marka jest polecona, czy jedynie wymieniona.
Jak często powtarzać i kiedy zmieniać zestaw?
Na start możesz przyjąć dziesięć pytań i po trzy powtórzenia w nowych rozmowach. To roboczy zakres diagnozy, nie gwarancja reprezentatywności. Przy większej zmienności potrzebujesz więcej obserwacji.
Nowe pytania dodawaj w kolejnej oznaczonej wersji. Zachowaj część wspólną do porównywania okresów. Zmianę kategorii lub rynku traktuj jako zmianę zakresu badania.
Co powinien zawierać rekord?
Identyfikator pytania, intencję, treść, datę, narzędzie, tryb, pełną odpowiedź, źródła i osobne oceny wzmianki, cytowania oraz rekomendacji. Błąd techniczny zapisuj jako brak wyniku, a nie odpowiedź bez marki.
W poradniku o pomiarze pokazuję wzory i interpretację metryk. Jeśli wynik wskazuje braki, przejdź do audytu informacji i źródeł.
Charakter metody
Podział intencji i wielkość prób w artykule są propozycją własnego procesu. Nie stanowią standardu narzuconego przez dostawców modeli.
O autorze
Tomasz Cincio — ekspert GEO i widoczności marek w AI dla e-commerce, CEO i współzałożyciel Semly. Od ponad 20 lat rozwija produkty dla handlu internetowego, w tym RedCart i Droplo. W swoich materiałach pokazuje, jak analizować rekomendacje AI i dobierać działania na podstawie pytań klientów oraz danych. Jestem współzałożycielem Semly; tę relację ujawniam także wtedy, gdy piszę o narzędziach do monitoringu.
Więcej materiałów: Punkt widzenia Tomasza Cincio. W sprawie rozmowy eksperckiej lub wystąpienia zobacz Wystąpienia i media.