Najlepsze wskazówki dotyczące rozwijania umiejętności zarządzania produktami AI

W erze, w której sztuczna inteligencja w szybkim tempie zmienia całe branże, stanowiska związane z produktem i wykorzystujące możliwości AI należą do najbardziej pożądanych w sektorze technologicznym. Jeśli chcesz wkroczyć w tę dziedzinę lub rozwinąć swoje dotychczasowe umiejętności, zrozumienie drogi i strategii osób wyznaczających kierunek zmian może być niezwykle pomocne.

W tym odcinku Hannah Clark rozmawia z Lorilyn McCue — menedżerką produktu AI w Superhuman — która dzieli się swoimi spostrzeżeniami na temat poruszania się w zmieniającym się świecie zarządzania produktami AI.

Najważniejsze momenty wywiadu

  • Droga zawodowa Lorilyn i kluczowe umiejętności [01:06]
    • Lorilyn rozpoczęła karierę jako pilotka śmigłowca Apache w armii, gdzie służyła przez sześć lat.
    • Następnie uczyła wychowania fizycznego w West Point.
    • Po odejściu z armii podjęła studia w szkole biznesu.
    • Dołączyła do Slacka jako menedżerka produktu — najpierw do zespołu ds. rozwoju, a następnie do zespołu platformy.
    • Później pracowała w startupie zajmującym się uczeniem maszynowym, Impira.
    • Obecnie Lorilyn jest główną menedżerką produktu AI w Superhuman.
  • AI w Superhuman: poprawa doświadczeń użytkowników [02:08]
    • Lorilyn docenia to, że AI pozwala oszczędzać użytkownikom czas, dzięki czemu mogą skupić się na ważnych zadaniach.
    • Opowiada historię z Iraku, gdzie lot śmigłowcem Apache podczas nudnej misji uwidocznił nieefektywność powtarzalnych zadań.
    • Bardziej angażująca misja pokazała jej wartość wykorzystywania technologii do złożonych zadań zamiast do tych monotonnych.
    • Odnosi to do AI, która wykonuje rutynowe zadania, pozwalając użytkownikom skupić się na pracy mającej znaczenie.
    • Na przykład funkcja „natychmiastowej odpowiedzi” w Superhuman oszczędza użytkownikom dwie minuty na każdej wiadomości e-mail, automatyzując rutynowe odpowiedzi.
    • Ten moment olśnienia potwierdził rolę AI w eliminowaniu żmudnych czynności i zwiększaniu produktywności.

AI może zdjąć z ciebie żmudne obowiązki. Powierz jej wszystkie schematyczne zadania, pozwól jej przez trzy godziny krążyć nad bazą, a sam zajmij się czymś naprawdę ciekawym.

Lorilyn McCue
  • Rozwój kariery i integracja AI [04:19]
    • Lorilyn stawia na rozwój poprzez naukę — lekcję, którą ugruntowała w Slacku i która ma kluczowe znaczenie w obszarze AI.
    • Funkcja „Zapytaj AI” w Superhuman pozwala użytkownikom zadawać pytania bezpośrednio, oszczędzając czas potrzebny na wyszukiwanie informacji.
    • Początkowo planowano realizację projektu w ciągu trzech miesięcy, jednak zespół uruchomił wstępną wersję w miesiąc, aby zebrać opinie.
    • To etapowe wdrażanie — najpierw w zespole AI, następnie wewnętrznie, a na końcu wśród użytkowników wersji beta — dostarczyło informacji, które wpłynęły na kształt finalnego produktu.
    • Kluczowe znaczenie miał rozwój iteracyjny, który pozwolił zespołowi dostosowywać produkt i tworzyć skuteczniejsze rozwiązanie na podstawie zachowań użytkowników.
    • Nieprzewidywalny charakter AI wymaga powtarzających się cykli uczenia się, aby dostosować rozwiązanie do potrzeb użytkowników.

AI to tak nieznany obszar, że często nie masz pojęcia, jak ludzie będą z niej korzystać. Dlatego trzeba stawiać na naukę. Należy uruchomić niewielką wersję, a następnie ją iteracyjnie rozwijać i powtarzać ten proces.

Lorilyn McCue
  • Znaczenie płynnej integracji AI [06:46]
    • Lorilyn podkreśla znaczenie głębokiej integracji AI z projektem produktu, aby uniknąć wrażenia, że jest ona jedynie „dodatkiem”.
    • Idealna integracja AI sprawia, że funkcje wydają się użytkownikom naturalne i niezauważalne jako „AI”.
    • Funkcja „Natychmiastowe wydarzenie” w Superhuman ilustruje to podejście, umożliwiając użytkownikom tworzenie wydarzeń w kalendarzu z wiadomości e-mail jednym kliknięciem.
    • Początkowo funkcja znajdowała się w mniej dostępnym miejscu na potrzeby testów — w menu poleceń Superhuman, „Command K”.
    • Po testach i wyciągnięciu wniosków z opinii zespół przeniósł ją w bardziej intuicyjne miejsca, takie jak przycisk w wiadomościach e-mail i skrót kalendarza.
    • Ta płynna integracja gwarantuje, że funkcje AI są przydatne i łatwo dostępne wtedy, gdy są potrzebne.
    • Funkcja „Natychmiastowe wydarzenie” umożliwia teraz użytkownikom tworzenie wydarzeń przez samo kliknięcie dat w wiadomościach e-mail, a kursor zmienia się w ikonę dłoni, sygnalizując tę możliwość.
    • Początkowo testowana w menu poleceń funkcja jest teraz w pełni zintegrowana, aby ułatwić korzystanie z niej.
    • Użytkownicy odkrywają tę funkcję i korzystają z niej w naturalny sposób, bez wyraźnych instrukcji, co jest zgodne z celem Lorilyn, jakim jest płynna integracja AI.
  • Optymalizacja AI pod kątem szybkości i dokładności [10:54]
    • Superhuman stawia na proaktywne funkcje, takie jak automatyczne podsumowania i natychmiastowe odpowiedzi, wyświetlając je od razu dla wygody użytkowników.
    • Funkcja automatycznych podsumowań przedstawia jednowierszowe podsumowanie każdej wiadomości e-mail, umożliwiając szybszy dostęp do informacji bez konieczności podejmowania działania przez użytkownika.
    • W przypadku natychmiastowych odpowiedzi zespół musiał wybrać między „żółwiem” (inteligentnym, ale powolnym) a modelem „szybkiego, niezręcznego wujka” (szybkim, ale mniej dokładnym).
    • Pomimo wyższej jakości „żółwia” zespół wybrał szybszy model, stawiając na szybkość i wygodę użytkownika.
    • Zespół dostroił szybszy model, aby poprawić jego dokładność i zagwarantować szybkie oraz rozsądnie precyzyjne odpowiedzi.
    • Zachowanie równowagi między jakością a szybkością ma kluczowe znaczenie przy podejmowaniu decyzji, czy funkcje powinny działać proaktywnie, czy być uruchamiane przez użytkownika.
  • Podejmowanie decyzji technicznych w obszarze AI [14:24]
    • Lorilyn korzysta z narzędzia do porównywania wielu promptów i modeli obok siebie, oceniając ich działanie na rzeczywistych danych.
    • Tworzy zbiór danych na podstawie wewnętrznych opinii użytkowników (oceny kciukiem w górę lub w dół), aby odzwierciedlał rzeczywiste scenariusze.
    • Oceny koncentrują się na opóźnieniu, a celem jest uzyskiwanie odpowiedzi w ciągu 1–2 sekund, aby sprostać potrzebom użytkowników.
    • Dzięki wielokrotnym testom identyfikuje problemy (np. błędną interpretację kontekstu w odpowiedziach) i udoskonala prompty, aby poprawić dokładność.
    • Testowanie iteracyjne pomaga ustalić kryteria sukcesu, równoważąc szybkość z dokładnością i pozwalając poznać konkretne rodzaje dokładności, które są potrzebne.
  • Opanowanie inżynierii promptów [16:38]
    • Lorilyn rozwinęła umiejętności związane z inżynierią promptów dzięki nauce i eksperymentowaniu w pracy.
    • Czasami szukała w internecie konkretnych rozwiązań.
    • Otrzymywała również wskazówki od OpenAI, takie jak stosowanie technik obejmujących polecenia pisane wielkimi literami, powtarzanie instrukcji i dołączanie przykładów jednokrokowych.
    • Dostrajanie obejmowało dodawanie przykładów, aby poradzić sobie z trudnymi przypadkami i poprawić dokładność.
    • Lorilyn stosowała technikę polegającą na proszeniu LLM o wyjaśnienie toku rozumowania w celu udoskonalenia promptów.
    • Na przykład pytała LLM, do kogo odpowiada i dlaczego.
    • Proces ten ujawnił nieporozumienia w odpowiedziach LLM, umożliwiając jej wprowadzanie konkretnych zmian w promptach.
    • Metoda „wyjaśnij się” pomogła wyjaśnić sposób rozumowania LLM, wspierając skuteczniejsze dostrajanie promptów.
  • Wyzwania biznesowe związane z integracją AI w Superhuman [18:54]
    • Integracja AI z Superhuman wymagała znalezienia równowagi między złożonością a wyzwaniami.
    • Lorilyn porównywała modele AI: GPT-4 (powolny, ale wysokiej jakości) i GPT-3.5 (szybszy, ale mniej inteligentny).
    • Początkowo powolność GPT-4 stanowiła poważne wyzwanie przy skalowaniu podsumowywania wiadomości e-mail.
    • Superhuman stawiał na jakość i potrzeby użytkowników, uwzględniając szybkość oraz poprawność.
    • Wybrano GPT-3.5, aby uzyskać mniejsze opóźnienia, jednocześnie wykorzystując inżynierię promptów do spełnienia standardów jakości.
    • Koncentrowano się na zapewnieniu realizacji potrzeb użytkowników, niezależnie od kosztów.
  • Praktyczna nauka i umiejętności praktycznego zastosowania AI [20:54]
    • Praktyczna nauka jest niezbędna w zarządzaniu produktami wykorzystującymi AI.
    • Śledzenie cotygodniowych trendów i premier ma kluczowe znaczenie.
    • Eksperymentuj z narzędziami AI w codziennym życiu, aby zdobywać praktyczne zrozumienie.
    • Przykład: używanie ChatGPT do tworzenia spersonalizowanych kolorowanek dla dzieci.
    • Stosuj AI w środowisku zawodowym, na przykład do tworzenia zwięzłych podpowiedzi dla użytkowników.
    • Kontakt z nowymi technologiami pogłębia wiedzę o możliwościach AI.
    • Nie jest potrzebny żaden konkretny kurs — kluczowe jest praktyczne zastosowanie.

Poznaj naszego gościa

Lorilyn McCue jest menedżerką produktu AI w firmie Superhuman, twórcy najbardziej produktywnej aplikacji pocztowej.  Wraz z dyrektorem generalnym Superhuman, Rahulem Vohrą, Lorilyn pomogła stworzyć i wdrożyć plan rozwoju produktu AI firmy, tworząc eleganckie i praktyczne funkcje, które umożliwiają użytkownikom między innymi redagowanie wiadomości e-mail w ich własnym stylu i tonie, podsumowywanie długich wątków oraz korzystanie z wyszukiwania w języku naturalnym w celu łatwego znajdowania potrzebnych informacji w skrzynce odbiorczej. Przed dołączeniem do Superhuman Lorilyn pracowała w zespołach produktowych w Slacku i Impirze, startupie zajmującym się AI, który został przejęty przez Figma. 

Lorilyn obrała fascynującą i nietypową drogę do pracy w zarządzaniu produktem. 

Przez dekadę służyła w wojsku, pilotowała śmigłowce Apache w Iraku i szkoliła kadetów w West Point, zanim zdecydowała się na zmianę kariery i została stażystką ds. produktu w Google, mając niewiele ponad 30 lat. Ukończyła studia licencjackie w West Point oraz studia MBA na Stanfordzie. 

zdjęcie Lorilyn McCue

Jest coś w korzystaniu z AI na co dzień, co daje ci wiedzę i zrozumienie tego, co jest możliwe.

Lorilyn McCue

Materiały z tego odcinka: