Rok się kończy więc postanowiłem podzielić się listą aplikacji, które odkryłem w tym roku, lub w tym roku zacząłem ich intensywniej używać i mi służą.
Arc - przeglądarka. Wydawało się, że temat przeglądarek jest już zamknięty, jednak Arc do siebie przekonało.
Ma silnik Chrome, więc wszystko po prostu działa, łącznie z Extensions,
Arc ma inny layout, zamiast tabów u góry, ma je po lewej. To jest dość dziwne ale wydaje się, że Arc został zaprojektowany do używania na pełnym ekranie.
Dzięki skrótowi CMD+L mamy dostęp do dobrze wymyślonego paska wyszukiwania/adresu, który przypomina systemowy Spotlight. Można w nim robić trochę więcej rzeczy niż wyszukiwanie w google lub wklejanie linka. Na przykład tworzyć nowy “Easel” czyli “sztalugę'“.
Easel to koncept, który jest wyjątkową innowacją w Arc. Pozwala łatwo tworzyć kolaże z różnych stron. Na przykład możemy zrobić wizualną listę prezentów i wysłać ją jako link do strony. Albo zrobić sobie dashboard spółek giełdowych, które obserwujemy. Użyteczne.
Są też inne rzeczy, np opcja split view, która w jednym tabie pozwala wyświetlać dwie strony naraz.
Brakuje mi tylko pełnej integracji z Apple Pay, ale wydaje mi się, że to co ma Safari to jakieś prywane API, którego inne przeglądarki nie mogą używać.
Notes.app - tak to ta zwykła appka do notatek, która jest domyślna w każdym iPhonie i Macu.
Notes ma wszystko czego potrzebuję i po latach testowania wielu różnych alternatyw, notes zdaje się być jedną, do której wracam.
Notes jest super do digitalizacji papierów. Ma wbudowaną możliwość skanowania dokumentów i OCR, który pozwala w nich szukać, oraz kopiować tekst ze zdjęć.
Notes ma dobry design. Nie ma poczucia nadmiaru. Tabelki działają jak powinny i wyglądają poprawnie na iPhonie i desktopie.
Tagi pozwalają grupować notatki w danym kontekście bez większego nakładu pracy.
Można przypiąć notatkę u góry listy.
Można dzielić się notatką z innymi i razem nad nią pracować.
Szybko działa.
Autopay - appka do płacenia za autostradę
Raz na jakiś czas jadę do Warszawy. Jedną z innowacji na A2 jest to, że trzeba płacić za przejazd kupując e-Toll.
Oczywiście jest to coś o czym zawsze zapominam. Całe szczęście jest Autopay.
Appka sama płaci za przejazd. Wystarczy ją włączyć. Nie trzeba nic klikać. Więc włączam ją zwykle jadąc już autostradą, bez odrywania wzroku od drogi.
Po przejeździe dostaje podsumowanie.
Na A1 efekt jest bardziej magiczny bo podjeżdża się do szlabanu i po rozpoznaniu numeru rejestracyjnego szlaban się po prostu otwiera. Nie trzeba, otwierać okna, nikomu płacić, nic. Działa.
Sleep Cycle - appka do analizy snu
Zainstalowałem ją z jednego powodu: chciałem sprawdzić czy dużo chrapię. Wydaje mi się, że chrapanie nie jest zdrowe.
Appka działa dokładnie tak jak powinna. Ma piękny prosty design i po kilku nocach dała mi odpowiedź na moje pytanie.
Appka bierze pod uwagę, że większość ludzi nie śpi sama i potrafi tym dobrze zarządzić.
Jeśli chcecie posłuchać co robicie jak jesteście w objęciach Morfeusza to polecam.
Gentler Streak - appka do unikania przetrenowania
Lubię ćwiczyć, w dni robocze spędzam na ćwiczeniach 1,5-2 godziny dziennie.
Poza treningiem, podstawą fitnesu jest regeneracja.
Czasami czuję zmęczenie, ale nie zawszę potrafię odróżnić czy to zmęczenie czy lenistwo.
Przetrenowanie osłabia odporność, sprzyja kontuzjom i pogarsza nastrój.
Większość appek do treningu (w tym domyślny “Fitness” na Apple Watch) namawia do większego wysiłku i zamykania kręgów. Gentler Streak to jedyna appką, na którą trafiłem, która daje znać, że danego dnia lepiej odpocząć i odpuścić ciężki trening.
Dla mnie to przydatny sygnał w lepszym rozumienia własnego ciała.
Lubię odkrywać nowego appki, kocham użyteczny software, więc jeśli trafiliście na coś ciekawego to proszę o cynk!
Dwa wykresy z internetu /
Znalazłem wykres w internecie. Wykres pokazuje jak zmieniał się czas, który poświęcamy na konsumpcję mediów w ciągu ostatnich 10 lat.
Patrzenie w telefon urosło z 45 minut w 2011 do ponad 4 godzin 2021.
Komputer stacjonarny z 40 do 50 minut
TV i Radio spadło o ~20%, magazyny o 50% ale magazyny i tak były marginalnie małe.
Okazuje się, że ludzie patrzą w telefon tyle samo czasu co w TV, a komputer, przy którym ja spędzam większość dnia, jest bardziej niszowym medium niż radio.
Na wykresie widać też to co chyba wszyscy czujemy: telefon wgryzł się nie tylko w czas, który poświęcaliśmy na inne media, ale zabrał też duży kawałek czasu, który był do tej pory “czasem bez ekranu”.
Spędzamy prawie 12h dziennie konsumując media. Żyjemy w wyobraźni innych ludzi, którzy te media dla nas wypełniają. Poświęcamy im więcej czasu niż rodzinie, przyjaciołom i współpracownikom.
Można spokojnie powiedzieć, że wszystko co nie jest konsumpcją mediów robimy w międzyczasie. Praca, życie rodzinne, sport, cokolwiek innego robimy, to tylko przerywniki między konsumpcją mediów.
Znalazłem też inny wykres w internecie. Pokazuje wzrost wartości MANAMA, czyli: Mety, Alphabetu (Google), Netflixa, Apple, Microsoft i Amazona w agregacie w porównaniu do reszty S&P 500 (czyli w tym przypadku S&P 494)
S&P 500 to indeks, który pokazuję siłę amerykańskiej gospodarki, składa się z największych, notowanych na giełdzie, spółek.
Przeważająca większość wzrostu S&P 500 w ostatnich 14 latach to wzrost MANAMA. Ich wartość rosła o ponad 55% rocznie.
Cała reszta indeksu rosła w tym czasie przyzwoite 7% rocznie.
Dynamicznie rosnąca część gospodarki USA, to dziś spółki technologiczne, które dbają o to żebyśmy mieli co robić przed ekranem.
Które branże generują inflację? /
Znalazłem opracowanie naukowe, które dobrze łechta mój confirmation bias na temat wysokiej inflacji, której doświadczyliśmy w tym roku.
Ekonomiści zrobili symulację szoku cenowego dla wszystkich 71 branż amerykańskiego GUSu. Celem symulacji było wytypowanie sektorów, które systemowo wpływają na wysokość inflacji w USA.
Sprawdzono po kolei każdy sektor, w każdym z nich zasymulowano podniesione ceny i sprawdzono jak podniesione ceny w danym sektorze przekładają się pośrednio i bezpośrednio na koszyk inflacyjny.
Z symulacji wyszło, że największy wpływ bezpośredni i pośredni na inflacje mają następujące sektory:
Benzyna i węgiel
Wydobycie ropy i gazu
Rolnictwo
Jedzenie, napoje, tytoń
Finanse, pośrednictwo kredytowe, banki
Produkty chemiczne
Mieszkania
Media (woda, ścieki itd)
Handel hurtowy
Wnioski ekonomistów, którzy przeprowadzili ten eksperyment są takie, że niezależnie czy szokiem jest Covid czy wojna na Ukrainie, te sektory nieproporcjonalnie kontrybuują do inflacji.
Polityka monetarna działa na całą gospodarkę, nie tylko na te sektory. Pytanie więc, czy rozwiązywanie problemu inflacji przy pomocy tak szeroko działającego narzędzia ma sens?
Skoro wiemy, że niezależnie od rodzaju szoku, tylko te 9 branż ma znaczący wpływ na inflację, to czy nie lepiej wymyślić mechanizm, który stabilizuje ceny tylko w tych sektorach?
Po co zwiększać koszt leasingu auta wyższą stopą procentową skoro sprzedaż i serwis aut ma marginalny wpływ na inflację?
Po co zwiększać koszty finansowe w całym budownictwie skoro tylko mieszkania mają wpływ na inflacje?
Czy nie lepiej inwestować w optymalizacje kosztów i zwiększenie podaży w sektorach, które najbardziej wpływają na inflację?
Jakimś krokiem w te stronę jest price cap na rosyjską ropę, który wprowadziła Unia Europejska.
Izrael reguluje ceny podstawowych produktów spożywczych.
Państwo może też inwestować w mieszkania. Po II Wojnie Światowej, prawie połowa nowych mieszkań w UK była budowana i wynajmowana przez samorządy. Dopiero Margaret Thatcher w latach ‘80 zlikwidowała ten program.
Jednym ze sposobów na tańszą benzynę w USA w tym roku było wykorzystanie rezerwy strategicznej USA. Wykorzystano w ten sposób 250 milionów baryłek ropy (cała rezerwa była na poziomie 750 milionów baryłek).
Niższe wzrosty kosztów pracy można osiągnąć polityką imigracyjną, dobrym przykładem jest Polska, która od 2014 liberalizuje politykę migracyjną w oparciu o potrzeby rynku pracy. Innym przykładem jest USA, gdzie koszty pracy są wysokie również z powodu polityki imigracyjnej.
Wysokie stopy procentowe to dość wulgarne narzędzie. Nie jestem fanem!
Zmniejszające się zwroty postępu AI /
Fakt, że komputer potrafi wygenerować koherentny tekst, który zawiera fakty, dobrze posługuje się językiem i konstruuje wypowiedzi, które brzmią autorytatywnie jest imponujące.
Podobnie z generowaniem obrazów. W wielu przypadkach ich jakość jest tak wysoka, że trudno wyjść ze zdumienia, że autorem jest model AI.
Jednak to nie jest jeszcze AGI. Brakuje ostatnich 10%, które sprawiają, że można na czymś polegać lub nie.
Pisałem ostatnio o wyzwaniach w Stable Diffusion 2.0 związanych z generowaniem anatomii, ale wszystkie modele dyfuzyjne mają problem z dłońmi.
ChatGPT wymyśla nieistniejące publikacje i ich autorów, oraz autorytatywnie pisze nieprawdę.
Pisałem ostatnio o tym jak ChatGPT super tłumaczy skomplikowane wyrażenie regularne na normalny język. Okazuje się, że tłumaczy je błędnie.
W 2018 w moim newsletterze pisałem o tym, że disengagement rate w autonomicznych taksówkach Waymo wynosiło 5600 mil. W 2021 było to 8000 mil. Wynik byłby lepszy ale Waymo zaczęło testować swoje usługi w San Francisco, które po prostu jest trudniejsze do ogarnięcia dla robota.
Chińskie DiDi raportuje 41 000 mil ale co wiemy o sterylności środowiska testowego?
Według predykcji disengagement rate powinien być na poziomie ponad 60 000 mil.
Myślę, że wielu z nas 2018 myślało, że 2023 będzie można kupić auto bez kierownicy i z pełną autonomią. Nope. Mamy co prawda FSD beta w Tesli, ale niestety nie radzi sobie z prostymi skrzyżowaniami równorzędnymi.
Pamiętacie niedawne odkrycie AlphaFold związane z predykcyjnym generowaniem struktury białek? Badanie DeepMind zostało opublikowane w Nature. Nie będę udawał, że to rozumiem, ale historia była nagłośniona bo wydawało się, że naukowcy ze spółki córki Google odkryli coś na temat biologii czego do tej pory nie wiedzieliśmy i czego konsekwencje mogą być bardzo duże.
Dziś dowiedziałem się o innym badaniu, które sprawdziło predykcje AlphaFold i okazuje się, że większość z nich jest błędna. Część jest poprawna, ale większość nie jest. W abstrakcie piszą: “Prognozy AlphaFold mogą być bardzo dokładne, ale należy je traktować jako hipotezy, ponieważ nawet te o wysokim stopniu pewności mogą być niespójne z danymi eksperymentalnymi.”
Ostatnio pisałem również o problemie szynszyli. To dość techniczny tekst ale wniosek w nim jest następujący: dotykamy granic możliwości dużych modeli językowych bo brakuje nam danych.
To znaczy, że dużo lepszy produkt (kilka rzędów wielkości lepszy) niż ChatGPT może nie nadejść tak szybko jak wielu komentatorów mówi, że nadejdzie.
Po prostu nie ma tylu danych.
Modele typu GPT-3 już dziś są “zagłodzone”, mogłby być dużo lepsze gdybyśmy mieli więcej danych.
Nie mówimy tu o jakiś specyficznych, domenowych danych. Mówimy tu ogólnie o całym tekście, który został kiedykolwiek wyprodukowany przez ludzką cywilizację.
Dlatego to nie jest łatwy do ogarnięcia problem.
Oczywiście wszystko o czym pisze może być nieaktualne za rok a może nawet miesiąc, bo może zaraz ktoś wyda jakiś dokument opisujący inną, sprytną metodę budowania modelu, lub jego strojenia.
Ale jeśli historia autonomicznych aut jest jakimś nauczycielem, to oczekiwany postęp napotyka zwykle barierę w postaci “diminishing returns”. Te ostatnie 10% wymaga ogromnego wysiłku, czasu i inwestycji.
Nie zrozumcie mnie źle: hype jest prawdziwy w tym sensie, że dostaliśmy narzędzia, które kreatywnie zastosowane zwiększą naszą produktywność i pozwolą zbudować nowe biznesy i usługi. To dużo, ale podchodzę sceptycznie do proroków szybko nadchodzącej techno utopii.
Kanye, Hitler, skutki uboczne internetu /
Wczoraj pisałem o sztucznej inteligencji, a dziś o organicznej głupocie.
Zastanawiałem się czy o tym pisać bo to w sumie nie jest temat dotyczący technologii. Ale może trochę jest.
W czasach “przed internetem” główne media tworzyły pewne spójne narracje, które każdy kto oglądał telewizję z rodziną znał. Dziś gdy każdy domownik ma swój telefon i sam dobiera sobie treści, spójna narracja nie występuje w tym samym stopniu co kiedyś.
Gdy cała rodzina spędzała czas przed jednym ekranem, dzieci czasem musiały oglądać rzeczy, które ich nie interesowały. Na przykład smutny film o holokauście lub wojnie. W ten sposób, przez osmozę, dowiadywały się, że naziści byli źli.
Teraz każdy może znaleźć rozrywkę dla siebie, każdy ma swój ekran, swojego youtuba/spotify/twitch, więc po co się zmuszać do oglądania czegoś co nas nudzi?
Ma to swoje dobre strony: mniejszość, która w starych mediach nie znajdowała nic dla siebie, ma teraz przestrzeń w której czuje się dobrze. Ma też złe strony: czasem ta mniejszość to potencjalne naziolki.
Kanye w wywiadzie u Alexa Jonesa, mówi coś takiego: “każda istota ludzka ma coś wartościowego do zaoferowania… zwłaszcza Hitler”. Potem mówi jeszcze kilka innych głupot np. że kocha Żydów, ale też kocha nazistów.
Kanye odleciał, może odstawił leki, może ma jakiś epizod maniakalny. Nie wiem, nie jestem psychiatrą. Na pewno nie jest z nim dobrze i nikt się o niego nie troszczy. Jest otoczony cwaniakami, podcasterzy zapraszają go, żeby nabić sobie zasięgi i wypromować swoje podcasty. Smutny upadek człowieka. Na tym moglibyśmy zakończyć.
Problem jest jednak taki, że Kanye to mega gwiazda i myślę, że jego słowa znajdują zainteresowanie i poparcie.
Po lewej stronie krzywej dzwonowej jest sporo ludzi, którzy nie słyszeli o tym kim był Hitler i dziś pierwszy raz się o tym dowiadują.
Minęło 77 lat od II Wojny Światowej i śmierci Hitlera. Mega gwiazda pop mówi, że kocha nazistów. Jest sporo ludzi, którzy zdobywają wiedzę na temat historii od Kanyego.
Pamiętam jak Kanye nagrał piosenkę z Paulem McCartneyem i ludzie na Twitterze pisali, że Paul McCartney ma dużo szczęścia, że Kanye promuje tego niszowego artystę. Z Hitlerem jest w tym sensie podobnie.
Może, po tylu latach od wojny, oraz przy tej fragmentacji narracji, zaciera się wiedza o tym, że naziści i Hitler byli źli?
Im dalej od danego wydarzenia historycznego tym bardziej abstrakcyjne się ono wydaje. Nie potrafimy się emocjonować wojnami napoleońskimi choć zginęło w nich ponad 6 milionów ludzi.
Napoleon wydaje się dziś jakimś dziwnym ziomkiem z Francji, którego imię funkcjonuje w naszym hymnie narodowym, bo jego imperializm przyczynił się do powstania Księstwa Warszawskiego. O co mu chodziło? Jakie miał motywy? Jaka ideologia stała za Napoleonem? Jaka jest ocena moralna jego działań? To pytania, które zadają sobie niszowi historycy ale nikt poza nimi.
Myślę, że podobnie może być z Hitlerem wśród mało wyedukowanych fanów Kanyego.
Być może dożyliśmy czasów, że przy każdej informacji o tym, że znany artysta, mówi, że Hitler jest ok, trzeba dodawać, że to nie prawda i listować wszystkie zbrodnie nazistów. Ludzie zapomnieli.
Kolejnym streamerem/podcasterem, którego ma odwiedzić Kanye jest Adin Ross. Adin stał się sławny bo grał w gierki na Twitchu. Po Twitterze krąży fragment jego streamu w którym Adin próbuje dowiedzieć się czegoś o faszyzmie. Polecam. Bardzo pouczające.
ChatGPT a miejsca pracy /
Najgłupszą opinią przeciwko ChatGPT jest teza, że zabierze prace ludziom.
Modele językowe są tak zaprojektowane by generowały tekst, który łatwo jest zrozumieć i przetworzyć człowiekowi.
Mają też możliwości pisania kodu, który powstaje w odpowiedzi na żądanie napisane “ludzkim językiem”. Zamiast więc pisać językiem zrozumiałym dla maszyny, mogę poprosić maszynę ludzkim językiem, żeby napisała coś językiem maszyny.
Umie pisać kod, umie tworzyć marketingowy copywriting, potrafi napisać sztukę teatralną, odrobić zadanie domowe lub rozpisać plan działania.
Z powodu tych cech, niewprawne oko może powiedzieć: ChatGPT robi pracę, którą robią też ludzie, w takim razie ludzie będą niepotrzebni.
Z jakiegoś powodu, nie uważamy, że piła spalinowa zastąpi ludzi piłujących coś piłą ręczną. To absurd. Piła spalinowa zwiększa produktywność. ChatGPT robi to samo.
Z doświadczenia wiemy, że gospodarka jest w stanie zakomodować dowolną ilość dodatkowej produktywności.
Tak samo jak konsumenci przyzwyczajają się w bardzo krótkim czasie do nowego usprawnienia i traktują je jako niezbędne. Tak samo rynek pracy zawsze wymyśli co zrobić ze zwiększoną produktywnością.
Praca i komfort nie mają końca. Praca zawsze może być wydajniejsza, a komfort bardziej komfortowy.
Praca z reguły wymaga podejmowania decyzji i wpływu na rzeczywistość. Model językowy tego nie zrobi. Ludzie to robią każdego dnia. Weźmy na przykład zawód tłumacza, który wydaje się być najbliżej “likwidacji”.
Każdy, kto używał ostatnio Google Translate i zna w miarę dobrze dwa języki, wie jak dobre jest to narzędzie. Poziom tłumaczenia jest naprawdę wysoki.
Gdybym jednak pisał książkę i chciał ją wydać np. po angielsku, którym posługuję się biegle, to i tak nie kopiowałbym i wklejał mojego polskiego tekstu do Google Translate tylko oddał go tłumaczowi.
Dlaczego? Bo tłumacz, nawet jeśli przekleiłby cały tekst to Google Translate, podjąłby wiele mniejszych lub większych decyzji stylistycznych, które sprawiłby, że produkt końcowy byłby wyższej jakości.
Chciałbym, żeby użył Google Translate bo to pozwoliłoby mi szybciej osiągnąć efekt końcowy (produktywność!), ale jednocześnie oczekiwałbym, że upewni się co do jakości tłumaczenia i niuansów na które maszyna nie zwróci uwagi.
Moje pisanie jest oczywiście bardzo proste, maszyna poradzi sobie z nim nieźle.
Nie wyobrażam sobie jak Google Translate tłumaczy Huysmansa z francuskiego na polski i oddaje klimat jego pisarstwa.
Tłumacze są niezbędni.
ChatGPT to bardzo zaawansowane autouzupełnianie tekstu. Znacząco zwiększy naszą produktywność i pozwoli nam wykonać więcej pracy za mniej pieniędzy.
Realnym scenariuszem jak to będzie wyglądało na przykładzie autora treści jest “sandwich flow”, który opisał Noah Smith w swoim ostatnim artykule.
“First, he’ll think about what he wants to say, and type out a list of bullet points. His AI word processor will then turn each of these bullet points into a sentence or paragraph, written in a facsimile of Noah’s traditional writing style. Noah will then go back and edit what the AI wrote – altering phrasing, adding sentences or phrases or links where appropriate, and so on. An iterative, collaborative writing loop where an AI coauthor masters different parts of the cognitive stack than Noah himself, not dissimilar to the co-writing of this article.”
Nigdy nie zabraknie pracy dla ludzi, wszelkie wzrosty w produktywności wykorzystamy by stworzyć nowe produkty i usługi, do których obsługi potrzebni będą ludzie.
ChatGPT - konwersacyjny interfejs do modelu językowego od OpenAI /
OpenAI wydało ChatGPT czyli konwersacyjny interfejs do dużego modelu językowego.
Zapytałem ChatGPT czy został stworzony przy użyciu GPT-4 ale napisał, że nie. Napisał mi, że powstał w oparciu o podobny model do GPT-3.
Zapytałem również o to jakie są zalety takiego konwersacyjnego interfejsu. Wymienił takie zalety:
użytkownicy od razu rozumieją jak z niego korzystać i to sprawia, że jest atrakcyjniejszy dla większej liczny ludzi
konwersuje się w naturalny sposób, nie trzeba uczyć się możliwości interfejsu ani silnika, nie ma skomplikowanych ustawień
interfejs zapamiętuje interakcje z użytkownikiem i jego preferencje i dzięki temu może personalizować odpowiedzi i rekomendacje
korzystanie z takiego interfejsu jest też przyjemniejsze niż korzystanie z tradycyjnego interfejsu, przypominającego dokument Worda, gdzie generowana treść pojawia się na ekranie zaraz obok, treści którą sami tworzymy
Wymienił ich więcej, ale nie wszystkie miały sens. To nadal tylko automatyczny generator.
Na Twitterze jest sporo przykładów dobrych i ciekawych odpowiedzi ChatGPT.
ChatGPT to dobre narzędzie dla twórcy: pomaga rozwiązywać problemy, upraszcza robienie researchu i podrzuca pomysły. Dobre uzupełnienie do wyszukiwarki. Jestem pod wrażeniem.
Internet to za mało /
Wkręcam się coraz bardziej w temat AI. Zafascynowały mnie praktyczne użycia generowania treści. Czytam i piszę o tym z typowym zapałem neofity.
Jedną z rzeczy, którą kiedyś przeczytałem i od tego momentu powtarzam regularnie (mówiłem o tym w odcinku podcastu, pisałem tutaj), to że duże modele językowe są tak dobre bo okazało się, że im model ma więcej parametrów tym lepsze daje wyniki. Można wytrenować model na nieustrukturyzowanych z internetu i jeśli skala jest odpowiednia to zaczniemy dostawać jakościowe odpowiedzi od wytrenowanego w ten sposób modelu. Jest wykładnicza relacja między liczbą parametrów a jakością modelu.
Istnieje teza, że może się okazać, że fakt powstania internetu był niezbędny do tego by powstało AGI. Żeby wytrenować model, który docelowo miałby być AGI musiał powstać internet bo w przeciwnym wypadku nie mielibyśmy wystarczającej ilości danych. AGI nie istnieje bez żywego i popularnego internetu, w którym duża część komunikacji odbywa się tekstowo.
Super, mamy internet, jest bardzo popularny, więc wystarczy zrobić bardzo sprytny model z ogromną liczbą parametrów, policzyć to na bardzo dużym i szybkim komputerze i gotowe. Mamy AGI (lub przynajmniej bardzo dobrej jakości duży model językowy)
Naukowcy z DeepMind to policzyli i wygląda na to, że być może internet to za mało.
DeepMind stworzyło dwa modele: Gopher i Chinchilla.
Gopher jest “tłusty”, ma 280B parametrów, ale wytrenowano go na 300B tokenów danych.
Chinchilla jest “szczupła”, ma 70B parametrów, ale wytrenowano ją na 1.4T tokenów danych.
Do treningu użyto tej samej mocy obliczeniowej.
Do oceny jakości modelu używa się parametru “pre-training loss” (strata przedtreningowa). Im niższa liczba tym lepiej.
Okazało się, że szczupła Chinchilla jest lepsza niż tłusty Gopher. Co więcej, okazało się, że Chinchilla jest lepsza niż każdy inny model LLM wytrenowany na danych, na których wytrenowano Gophera, niezależnie od tego jak wiele miał parametrów.
Ćwiczenie, które wykonał DeepMind nie jest czysto teoretycznym rozważaniem na temat granic możliwości LLM.
Czekamy na GTP-4, który miał mieć 100T parametrów i dzięki temu miał być niesamowity. Moja fantazja była taka, że przy 100T parametrów GTP-4 będzie gigantycznym skokiem jakościowym.
Liczba tokenów danych w obliczeniach DeepMind również nie jest przypadkowa. 300B tokenów to dane treningowe GPT-3.
Z publikacji DeepMind wynika jednak, że 100T parametrów nie da wyższej jakości jeśli nie będziemy trenować modelu na znacznie większej ilości danych.
Co więcej: GPT-3 mogłby już teraz działać lepiej jeśli zostałoby wytrenowane na znacząco większym zbiorze danych.
Znalazłem świetny artykuł na LessWrong w którym autor próbuje oszacować ile danych mamy. MassiveWeb, niewiadomego pochodzenia web scrape, na którym DeepMind trenował swoje modele ma około 500B tokenów. Autor szacuje, że być może mamy ~3,2T tokenów danych w ogóle, na których moglibyśmy wytrenować model LLM.
Oczywiście z każdym nową stroną, komentarzem i blogpostem liczba teoretycznie dostępnych danych rośnie. Nie wiadomo jednak czy rośnie wystarczająco szybko, oraz czy mamy infrastrukturę i narzędzia pozwalające na dostosowanie danych z internetu w czasie rzeczywistym do takiej formy, która umożliwiłaby trening modelu.
Wygląda na to, że możemy docierać do granicy skalowania LLM i ograniczeniem są dane, a nie wielkość modelu.
Purytańskie Stable Diffusion 2.0 /
Wydano nową wersję Stable Diffusion 2.0, która jest nieco gorsza od poprzedniej, bo ograniczono dane służące do jej zbudowania.
Użytkownicy, którzy testują nową wersję narzekają na to, że część popularnych elementów promptów nie działa tak jak w poprzedniej wersji.
Jednym z ze sposobów tworzenia obrazów o wysokim poziomie detalu w SD jest nazwisko polskiego artysty cyfrowego Grega Rutkowskiego. W SD 1.4 gdy dodamy do dowolnego prompta “Greg Rutkowski” to dostajemy obraz o większej ilości detali i wyższej jakości. Nie działa tak samo w SD 2.0.
Podobnie jest z inną popularną artystką cyfrową Mandy Jurgens.
SD 2.0 zostało “oczyszczone” z nazwisk żyjących artystów digitalowych. Prawdopodobnie z obawy przed konsekwencjami prawnymi.
Inni testujący piszą o tym, że SD 2.0 nie reaguje na prompty z nazwiskami znanych aktorek (Emma Watson, Scarlet Johanson).
Do tego baza treningowa SD 2.0 została wyczyszczona ze zdjęć z nagością co sprawia, że obrazy związane z ciałem ludzkim są niższej jakości.
Już nie tylko dłonie nie działają ale całe ciała są jakieś dziwne.
Dla porównania ten sam prompt w SD1.5
Pojawili się już pierwsi chętni, żeby odpalić konkurencyjny dla SD projekt w którym są wszystkie dane bez filtrów.
Można oczywiście dodać swoje dane do modelu przy użyciu DreamBooth ale to wymaga więcej pracy niż użycie gotowca SD.
Są też przykłady naprawdę dobrej jakości, realistycznych obrazów wygenerowanych przy użyciu “czystego” SD2.0.
Podobno duże znaczenie w nowym SD2.0 mają negatywne prompty.
Nie dziwie się twórcom SD, że czyszczą dane służące do budowania modelu. Rozumiem to, że chcą zbudować odporną na pozwy, dojrzałą, niekontrowersyjną organizację. Boje się jednak, że przy okazji degradują swój produkt.
Ryzyko generowania obrazów NSFW z twarzami znanych aktorek, oraz tworzenia imitacji prac żyjących artystów digitalowych jest realne.
Pozostali dostawcy generatorów obrazów cenzurują je od samego początku i nikt nie narzeka.
Jednak siłą SD jest to, że jest open source i że daje duże możliwości za darmo i bez filtrów twórcy API. Obiecuje wolność i swobodę.
Tę swobodę dalej dostajemy ale odpowiedzialność jest przesunięta dalej. Musimy “doszkolić” model SD2.0 na własną rękę.
Ale z jakiegoś powodu poczucie jest takie, że produkt jest gorszy. Chyba dlatego, że obietnica marki SD jest w pewnym sensie złamana.
Poprawne odwzorowanie ludzkiego ciała wydaje się fundamentalnym aspektem sztuki. Purytanizm to przeszkoda do dobrej jakości obrazu.
To ironiczne, że najnowsze AI jest tak samo ograniczane jak artyści wczesnego średniowiecza. Gdzie jest progress? Kiedy renesans?
Inflacja, deflacja i vibe shift /
Od dłuższego czasu stawiam tezę, że w drugiej połowie 2023 będziemy mieli deflację. Wiem, że moja teza jest dość radykalna bo w tym roku ceny w Polsce i na świecie rosły szybko w stosunku do zeszłego roku, jednak wydaje mi się, że vibe się zmienił.
Tezę swoją opieram na danych, które śledziliśmy zanim pojawiła się wysoka inflacja.
Jednym z indykatorów mającej nastąpić wyższej inflacji były ceny frachtu, które aktualnie spadły do poziomu z początku 2021.
Kolejnym były terminy dostawy u dostawców, które radykalnie spadły.
Kolejnym jest inflacja producentów, która też spada
Płace realne też przestały rosnąć i nie nadążają za inflacją. To się przełoży na ceny usług.
Do tego Amerykanie są zadłużeni pod korek (z powodu droższego długu), to przełoży się na jeszcze niższą konsumpcję.
To pewnie nie zgodne z żadną metodą prognozowania, ale w końcu jestem blogerem, a nie prezesem NBP i mogę sobie prognozować na bazie zlepku różnych danych z różnych rynków, które pasują do mojej tezy.
Te liczby wyżej zmieniają się z powodu stóp procentowych i reakcji na poprzednie liczby.
Podniesione stopy procentowe działają. Studzą rynki i możliwości konsumpcyjne konsumentów.
Do tego firmy są lepiej obudowane danymi niż w przeszłości, szybciej widzą zmiany na rynku i szybciej reagują zmianami cen. Mogą lepiej prognozować przyszłość i dostosowywać swoje działania do tego co widzą w dashboardach business inteligence.
Wdrożenia dotyczące danych, które robiono w ciągu ostatnich 10 lat mają wpływ na to jak zarządzane są przedsiębiorstwa.
Zarządzający mogą szybciej podjąć decyzję o zmianie ceny, zarówno w górę jak i w dół.
Cennik, do pewnego poziomu, jest najprostszą zmianą, którą można wprowadzić w firmie.
Szybsze reakcje wyrażają się w większej zmienności cen.
Wzrosty cen dzieją się szybciej niż w historii, reakcje banków centralnych też są szybsze.
Myślę, że cały element dotyczący tego jak zarządzane są współczesne przedsiębiorstwa i jak IT ma wpływ na zmienność jest niedoszacowany.
Tak samo jak metodologia “just in time” w zetknięciu z pandemią wywołała w wzrosty cen, tak samo reakcja firm na to wyzwanie, czyli: za duże bufory i magazyny wpłyną na spadek cen.
Nie samą ceną żyje człowiek. Szybciej wymieniamy się również kulturą i vibem. Wszyscy czytamy Twittera, Bloomberga, NYTimes i WSJ. Te źródła kształtują nasze nastawienie do przyszłości. Mają wpływ na globalny vibe.
Dlatego uważam, że deflacja i szybkie spadki cen są realne tak samo jak realny był szybki ich wzrost. Żyjemy w czasie w którym szybkie reagowanie (czasem przesadne!) jest elementem codzienności. Pewna jest tylko zmienność.
Niebo w social media /
“Heaven banning” to teoretyczny koncept bycia zablokowanym w serwisie społecznościowym w taki sposób, że trafiamy do jego alternatywnej wersji gdzie wszystko wygląda podobnie, tylko nasze komentarze dostają dużo pozytywnych “głasków”.
Dalej możemy być niemili, agresywni, szerzyć dezinformację tylko czytają to tylko modele uczenia maszynowego.
Dostajemy lajki, inni użytkownicy nas popierają i chwalą nasze poglądy i zdolności rozumowania. Jednak ci inni użytkownicy to tylko duże modele językowe.
Heaven ban daje iluzję bycia częścią społeczności, a w rzeczywistości jest narcystyczną pułapką, która pochłania nas do tego stopnia, że nie szukamy drogi do prawdziwej wersji.
Wizja pociągnięta dalej ma w sobie element resocjalizacji. Może istnieje algorytmiczny sposób oduczenia agresji słownej lub rasizmu? Może cierpliwy wychowawca algorytm, może zmienić trolla w szczęśliwego człowieka?
Idąc jeszcze dalej, może heaven ban to ostateczna wersja social media. Może to co sprawia, że czujemy się nieszczęśliwi po długim kontakcie z social media to fakt, że są tam inni ludzie, ze wszystkimi swoimi wadami. Może każdy z nas powinien po prostu trafić do nieba, siedzieć tam z dużym, skrojonym pod nas, modelem językowym i czuć satysfakcję?
Jak bawię się GPT-3 to jestem pod wrażeniem jak koherentnie odpowiada na pytania. GPT-3 to dopiero początek. Model GPT-3 ma 175 miliardów parametrów. GPT-4, który ma wyjść niebawem, ma 100 bilionów (angielski trilion) parametrów. W tym aspekcie im więcej tym lepiej.
Są już serwisy randkowe, które wysyłają abuzywnych użytkowników by rozmawiali z GPT-3.
Modele dyfuzyjne służące do generowania obrazów już dziś można dostroić tak by generowały tylko obrazy w oparciu o jakiś schemat. Czemu nie moglibyśmy dostroić GPT-3 lub GPT-4, żeby brało pod uwagę naszą historię w social media i dostosowywało odpowiedzi pod nasz confirmation bias?
Stworzenie takiego heaven bana nie jest odległe. Dzieli nas od tego spory koszt GPU i odkrycie wydajniejszych sposobów na generowanie treści w oparciu o duże modele językowe. No i oczywiście chęć kogoś żeby takie niebo zbudować.
Dalej o Twitterze; Mięso z probówki; /
Założyłem na Twitterze profil tego bloga, na którym pojawiają się notyfikacje z nowymi wpisami. Jeśli ktoś ma ochotę śledzić go w ten sposób to zapraszam.
Jeden z pracowników Twittera potwierdził moje poczucie, że brak wizji Elona jest jednym z kluczowych powodów, żeby odejść.
W Wired ciekawy tekst o cyber bezpieczeństwie Twittera i potencjalnych osiach ataku.
Mam wrażenie, że wielu komentatorów widzi to binarnie: albo Elon zwycięży i zbuduje hardcore kulturę i Twitter będzie się dynamicznie rozwijał, albo wszyscy odejdą i strona przestanie działać.
Nie sądzę, że Twitter przestanie działać.
Myślę, że dużo bardziej prawdopodobne jest to, że Twitter będzie dużo mniejszym biznesem niż był wcześniej pod względem przychodów.
Twitter generował $5B przychodów w 2021 roku, 2021 to był szczególny rok w technologii, crypto w peaku, przychody spółek wzrostowych dynamicznie rosły, globalne wydatki na reklamę w digitalu wzrosły o prawie 20%.
W 2022 przychody Twittera w Q1 wyglądały super, ale już w Q2 urosły tylko o 1% rok do roku. Jak wygląda druga połowa roku?
Zwalnianie ludzi jest metodą na to by osiągnąć rentowność tylko jeśli przychody nie idą za zwalnianymi ludźmi. Jeśli w Twitterze zostanie 1000 osób, firma będzie rentowna, ale dużo mniejsza pod względem przychodów to czy na pewno da się zwrócić pieniądze inwestorom?
Nie chodzi tylko o sprzedawców, którzy utrzymują relacje z najlepszymi klientami, chodzi o głównie o dramę i ryzyko związane z bezpieczeństwem marki o które każdy szef marketingu bardzo się martwi.
Po co ryzykować jak może kupić reklamę na Instagramie, Facebooku, TikToku i Google, które są bezpieczne dla mojej marki?
Gdyby Elon pojawił się w Twitterze, powiedział coś w stylu: słuchajcie taka jest moja wizja, żeby ją osiągnąć musimy zredukować zatrudnienie o 75%. Obiecuję, że będą ciekawe wyzwania i nagroda dla tych co mi pomogą, a dla reszty mam 3 miesiące pensji i najlepsze życzenia, to nadal osiągnąłby swoje cele oraz utrzymał goodwill u reklamodawców.
Dlatego w ostatnim wpisie, pisałem o destrukcji wartości. Twitter był wyceniany w oparciu o wpływ, potencjał i przychody. Wpływ ma dalej, potencjał jest niepewny, a przychody w 2023 to zagadka.
FDA zatwierdziła do sprzedaży mięso hodowane w laboratorium.
Upside foods produkuje mięso w laboratorium, z komórek zwierzęcia, bez hodowania zwierzęcia i bez rzeźni.
Na stronie tłumaczą to tak, że wkładają komórki zwierzęcia do kultywatora, “karmią” je specjalną odżywką (bez elementów pochodzenia zwierzęcego) i w ten sposób rozwijają przez około 3 tygodnie. Następnie zbierają i mięso jest gotowe do spożycia.
Czyli kupujesz kawałek kurczaka na obiad i wiesz, że ten kurczak nie cierpiał bo nigdy nie istniał. Jednocześnie makroskładniki i tekstura są podobne do zwykłego mięsa. Ludzie w reklamie mówią, że dobre.
Jeśli da się osiągnąć skalę i niski koszt produkcji, to to może być rewolucja.
Kompletnie nie wierzę w wegańskie alternatywy dla mięsa. Są drogie, mają kiepskie makro, oparte na węglach, oleju z nasion i ciężko przyswajalnym białku roślinnym. Nawet jeśli uda się osiągnąć jakieś postępy w kwestii smaku i tekstury (wątpię), to nie sądzę, żeby udało się to zrobić bez jeszcze bardziej skomplikowanych przetworzeń. Wegańskie “mięso” jest po prostu drogie, nie dobre i nie zdrowe.
Jednocześnie rolnictwo przemysłowe, przy wszystkich swoich zasługach związanych z redukcją głodu na świecie, jest niehumanitarne. Zwierzęta cierpią za życia i umierają w trudnych do akceptacji warunkach.
Produkcja mięsa in-vitro wydaje się dobrą alternatywą.
Skala, którą trzeba zbudować, żeby mieć jakikolwiek wpływ na rynek mięsa jest niebywała. Fabryka Upside Food, może w tej chwili produkować 20 ton mięsa rocznie. Tylko w USA, rocznie produkuje się, ponad 20 milionów ton mięsa z kurczaka.
Widelec w drodze /
Jak przeczytałem o emailu “a fork in the road” Elona do pracowników Twittera to nie mogłem uwierzyć, że to się dzieje naprawdę.
Elon napisał, że daje ludziom wybór: odejdź z firmy i dostaniesz 3 pensje, albo zostań pracuj ciężko i długo, i jeśli będziesz wyjątkowo wydajna to zostaniesz w firmie.
Po zwolnieniu 3500 ludzi i wielu podwykonawców, pozostawił reszcie załogi wybór: gwarantowana kasa dziś, albo ciężka praca nad niewyartykułowaną wizją za niewiadomo jaką nagrodę.
Takie ultimatum może zadziała jak chcesz polecieć na Marsa albo zbudować pierwszy popularny elektryczny samochód ale dlaczego miałoby zadziałać w serwisie mikroblogowym?
Jeśli wizja jest imponująca i “zmieniająca świat” to może porwać za sobą tłumy. Widzieliśmy to wiele razy w historii, zarówno w dobrych jak i najgorszych jej momentach.
Ultimatum bardzo filmowe i dramatyczne, które z mojej perspektywy jest bez sensu.
Dlaczego jako inżynier, którego umiejętności są wysoce poszukiwane na rynku (nawet teraz gdy wiele firm zwalnia), mam pracować ciężko dla serwisu społecznościowego dla człowieka, który może mnie zwolnić w mgnieniu oka za nic, nad wizją, której nie znam. Pójście hardcore wydaje się nieracjonalne jeśli możesz sobie pozwolić na utratę pracy w zamian za 3x miesięczną pensję.
Zostaną ludzie, którzy muszą zostać. Ludzie na wizach pracowniczych albo z rodzinami, które potrzebują ich ubezpieczenia medycznego (jeśli twoja żona ma raka, którego leczy dzięki twojemu ubezpieczeniu to “pójdzie hardcore” nabiera trochę innego znaczenia).
Zostaną pewnie też ci, którzy liczą na to, że Elon ich zauważy i może zrobią dzięki temu karierę. Nie wierze jednak, że to będą najlepsi.
Czemu Elon sam siebie stawia w sytuacji dramatycznych rozstrzygnięć, które mogą zredukować jego inwestycję do zera?
Twitter działa bo ludzie codziennie pracują nad tym żeby działał.
Każdy kto robił jakikolwiek projekt w internecie wie, że rzeczy się psują i psują się non stop.
W przypadku takich usług jak Twitter, gdzie setki milionów ludzi wchodzą z tym w interakcje w czasie rzeczywistym, gdzie jest masa różnego rodzaju “złych aktorów”, którzy chcą wykorzystać Twittera do swoich celów, potencjalnych problemów musi być masa.
Nie chodzi też tylko o sam kod Twittera czy infrastrukturę. Otoczenie się zmienia, kod z których korzysta kod Twittera się zmienia, biblioteki są aktualizowane, sterowniki się aktualizują, zero daye są znajdywane. Cała technologiczna konstrukcja tych appek jest bardzo wrażliwa i dlatego muszą zatrudniać tysiące ludzi, żeby je utrzymać.
Do tego dochodzi biznes. Biznes sprzedaży reklam jest oparty na reputacji i długotrwałych relacjach. Ludzie, którzy handlują reklamami istnieją w pewnym środowisku, które oczekuje pewnego rodzaju konserwatyzmu i odpowiedzialności. Dlaczego mają handlować produktem Twittera jeśli mogą iść do TikToka czy Google i wyciągać podobne bonusy w racjonalnym środowisku pracy bez ryzyka reputacyjnego?
Każda większa firma zatrudnia kilkadziesiąt osób, których lubię nazywać: “pareto-ludźmi”. To wyjątkowe jednostki, których praca generuje nieproporcjonalnie dużo wartości w przedsiębiorstwie.
Są to topowi sprzedawcy, którzy utrzymują najlepszych klientów;
wybitni marketingowcy, których kampanie generują większość leadów;
wybitni inżynierowie, których praca sprawia, że cały system działa bez większych zakłóceń;
mądrzy księgowi, którzy pilnują pieniędzy w kasie i dbają o to by nikt nie poszedł do więzienia za podatki.
Antagonizowanie tych ludzi to prosta droga do kryzysu.
Dlaczego firmy płacą duże pieniądze by utrzymać takie osoby? Bo koszt ich utraty jest dużo wyższy niż ich wynagrodzenie.
Jest taki suchar w świecie fuzji i przejęć, że większość M&Aów się nie udaje. Mam wrażenie, że przypadek Elona to wyjątkowo barwna ilustracja tego powiedzenia. Na żywo, oglądamy destrukcję wartości z powodu eratycznych zachowań nowego właściciela.
Nie sądzę, że serwis umrze. Myślę, że Elon zatrudni CEO, który będzie próbował odbudować stabilność i będzie buforem między kapryśnym właścicielem, a przedsiębiorstwem. Trudno jednak sobie wyobrazić, że inwestorzy w Twitterze zobaczą pozytywny zwrot.
Myślę, że na końcu tej historii Automattic (właściciel Wordpressa) kupi na aukcji likwidacyjnej Twittera za milion dolarów i będziemy mogli spędzać na czas na Twitterze do późnej starości. Tego sobie i Wam życzę.
Czemu JSO brudzi obrazy? Rakiety spadły na Polskę; Wpływ zwolnień w tech na gospodarkę; /
Wszyscy widzieli ekologów z Just Stop Oil, którzy regularnie brudzą znane dzieła sztuki. Celem organizacji jest, by rząd UK przestał wydawać zgody na wydobycie gazu i ropy.
Dziwi mnie w ich działaniu koncentracja na sztuce. Czemu malarstwo?
JSO wybiera specyficzny rodzaj malarstwa: Vermeer, Van Gogh, Monet, a ostatnio Klimt. Malarstwo figuratywne, które zachwyca każdego, nie wymaga przygotowania, żeby je polubić i jest estetycznie piękne.
Trafiłem na esej, który porównuje działania JSO do aktywności Kazimierza Malewicza, rosyjskiego artysty awangardy.
Malewicz był rewolucjonistą, żył w czasach rewolucji październikowej. Jako rewolucjonista namawiał do zerwania ze starym, “trzeba zaakceptować totalną destrukcję tradycji Europejskiej i Rosyjskiej kultury”.
JSO po akcji ze słonecznikami Van Gogha napisało na Twitterze “What use is art when we face the collapse of civil society?” JSO chce rewolucji, chce nas wyrwać z konserwatywnego zwykłego życia i zmusić do poświęceń na rzecz przetrwania w przyszłości.
Robi to przez ukochaną sztukę, bo ona symbolizuje to co komfortowe w naszym życiu.
Lubisz wyskoczyć na weekend do Londynu? Napić się kawy w klimatyzowanej kawiarni? Może potem zakupy? A potem do galerii sztuki popatrzeć na dzieła Europejskiej kultury?
JSO wylewając zupę na obraz chce nam powiedzieć, że to jest właśnie problem.
Jako, że nie lubię rewolucji, to nie umiem sympatyzować z JSO. “Byt kształtuje świadomość” również u mnie. Ale ich performance daje do myślenia. Wymaga zatrzymania się na chwile i próby odniesienia do tego co robią. I to jest sztuka.
Rakiety zabiły dwie osoby w Przewodowie, przy granicy z Ukrainą. Narazie jedyna ciekawa rzecz którą przeczytałem na ten temat to rozważania Bartosza T. Wielińskiego z Wyborczej na temat potencjalnej odpowiedzi NATO.
Dziwna sytuacja, bo jeśli raz na jakiś czas można “przez przypadek” strzelić w Polaków rakietą to to znacząco zmienia profil ryzyka robienia rzeczy w Polsce.
Sprawa jest niejednoznaczna i właśnie to jest w niej niebezpieczne, niejednoznaczność sprawia, że nie wiadomo co robić i jak się zachowają sojusznicy i my sami.
Nie wiem, nie znam się. Jestem zaniepokojony. Mam nadzieję, że to nie eskaluje.
Big tech i smaller tech zwalnia już ponad 120k pracowników.
Goldman Sachs szacuje, że gdyby cały sektor tech zwolnił wszystkich ludzi naraz, to bezrobocie w USA wzrosłoby o mniej niż 0,3 punktu procentowego.
Tech ma spory wpływ na nasze życie i spory udział w gospodarce ale zatrudnia nieproporcjonalnie mało ludzi.
Chaos Elona; Niższa inflacja w USA /
Nie potrafię oderwać wzroku od chaosu, który dzieje się na Twitterze pod zarządem Elona. Ostatnie dwa tygodnie to drama, chaos i dużo śmiechu (głównie z Elona).
Opłata za weryfikację okazała się porażką. Ludzie zaczęli się podszywać pod duże marki typu Nintendo, Lockheed Martin, Tesla, Eli Lilly. Za kilka dodatkowych dolarów przychodu Elon skutecznie zantagonizował reklamodawców, czyli grupę klientów, która płaci dziś rachunki w Twitterze.
Przedziwne jest to, że Elon tego nie przewidział. To nie są 3D szachy, można było się spodziewać, że koszt $8 nie odstraszy nikogo kto chce sobie publicznie zakpić ze znanej firmy lub zrobić na złość Elonowi.
Ten brak refleksji, co się stanie w konsekwencji podejmowanych decyzji, jest dla mnie największym zdziwieniem. Spodziewałem się, że Elon będzie działał szybko i agresywnie, nie spodziewałem się jednak, że będzie działał bezrefleksyjnie.
Wczoraj Elon debugował timeline Twittera i pytał ludzi o to jak działa. Do tego zwolnił publicznie jednego z inżynierów w Twitterze za pośrednictwem Twittera. A potem chyba coś zepsuł.
Doszło do tego, że mama Elona wstawiła się za nim w mediach. Chce żebyśmy przestali być dla niego niemili.
Elon pochwalił się też wykresem wzrostu Twittera na którym widać, że po wakacjach Daily Active Users wzrosło o mniej niż 1%.
Jaron ma racje, że to dziecinne.
Nie wiem jak to się skończy. To co miałoby największy sens to znalezienie profesjonalnego CEO, który przejmie zarządzanie od Elona. Mając na pokładzie takiego chaotycznego właściciela wątpię czy ktoś sensowny chciałby teraz taką pracę.
Inflacja w USA spadła. To dobra wiadomość. Być może unikniemy kolejnych podwyżek stóp procentowych. To daje nadzieje na lepszy 2023 rok.
Morgan Stanley prognozuje ujemną inflację bazową w Q4 2023, czyli ceny energii i jedzenia w USA mają być niższe niż w tym roku na koniec 2023. Myślę, że mają rację.
Cały temat deflacji i inflacji fascynuje mnie głównie z perspektywy kosztu kapitału. Mam silne przekonanie, że wysoki koszt kapitału jest szkodliwy. Sprawia, że nie inwestujemy w przyszłość, skupiamy się na tu i teraz.
Ma oczywiście swoje zalety sprawia, że mniej konsumujemy, szukamy efektywności, staramy się, żeby nasze biznesy były bardziej produktywne.
Ale ta produktywność często oznacza stagnację w wynagrodzeniach i brak inwestycji w narzędzia i ekspansje, które przyniosłyby pozytywne efekty w przyszłości.
Niski koszt kapitału wprost przekłada się na inwestycje. Jest dużo rzeczy, które się opłacają, jeśli płacę za dług 1% rocznie. Nie trzeba być Warrenem Buffetem, żeby wykręcić ponad 1% zwrotu z inwestycji rocznie.
Oczywiście niski koszt kapitału oznacza też bańki spekulacyjne i nieracjonalne zachowania. Jest to efekt uboczny również w tzw. Keynesian Multiplier. To jest jednak koszt, który jest akceptowalny, jeśli mamy sprawnie działające instytucje, które pilnują, żeby żadna bańka nie urosła do skali zagrażającej całemu systemowi.
Bańki spekulacyjne nie są złe. Złe jest ich rozlanie na całą gospodarkę i zagrożenie dla stabilności systemu.
Liczę, że dobre wiadomości na temat inflacji w USA będą się potwierdzały w kolejnych miesiącach. To co się dzieje w USA ma przełożenie na cały świat, bo to największy rynek, najwięksi inwestorzy, najważniejsza waluta i główny intelektualno-ekonomiczny trendsetter.
Zatrucie Twitterem, czemu stajemy się dziecinni. /
Jaron Lanier to jeden z ludzi, których czytam ilekroć coś napiszą. Jaron to jeden z niewielu prawdziwych futurystów, który wymyślił między innymi VR w latach ‘80 (gogle, rękawica do sterowania).
Jaron od jakiegoś czasu namawia do odstawienia social media. Mówi, że nam to szkodzi, że dobrze by było gdyby była grupa osób, które nie są uzależnione od Facebooka i Twittera, przynajmniej po to by istniała grupa kontrolna do całej reszty. Napisał o tym książkę. Wystąpił też w popularnym filmie dokumentalnym Social Dilemma
Jaron ma wyjątkową umiejętność klarownego przekazywania swoich tez na temat technologii w kontekście społecznym.
Kluczowym pytaniem dla twórcy technologii jest z reguły to “czy ludzie chcą tego używać?”. Pytania, które zadaje Lanier to “czy ludzie powinni tego używać?”. Ktoś musi zadawać te pytania. Jako technologiczny insider ma do tego szczególny mandat.
Lanier w 2006 krytykował “mądrość tłumów” i wikipedię - argumentował, że anonimowość autorów artykułów na wikipedii daje poczucie braku odpowiedzialności, a jednocześnie sterylność tekstu hasła w wiki buduje wrażenie ostatecznej wersji prawdy, na którą łatwo się nabrać.
W pewnym sensie przewidział, że w internecie każdy idiotyzm znajdzie nadawcę i odbiorcę. Dobrze przebrany nadawca, który sprawnie posługuje się językiem, jest w stanie przekonać dużą grupę ludzi, na przykład do tego, że ziemia jest płaska.
W 2010 Lanier wziął na celownik open source i Web 2.0. Argumentował, że w świecie darmowego dostępu do informacji i wiedzy najwięcej zarabiają “lordowie chmury”, którzy tę wiedzę centralizują i agregują i doklejają do niej reklamy.
W momencie, kiedy mało kto miał iPhone, a Facebook i Twitter dopiero zaczynały ekspansję, Lanier przestrzegał przed nieuniknioną, finansową centralizacją “big tech”, która dziś jest oczywista.
Lanier w NYT wraca do swoich rozważań dotyczących social media. Pisze o warunkowaniu instrumentalnym czyli metodzie uczenia przy użyciu nagród i kar.
Porównuje eksperymenty psychologa behawiorysty B.F. Skinnera do naszego codziennego kontaktu z social media. Ilekroć otwieramy twittera dostajemy nagrodę w postaci lajków lub karę w postaci negatywnego komentarza.
U Skinnera niezależnie od rodzaju bodźca, czy był on negatywny czy pozytywny, zwierzęta zachowywały się tak samo, bodźce wzmacniały zachowanie.
Celem Twittera jest zaangażowanie, które wg Laniera trudno odróżnić od uzależnienia.
Tak jak uzależnieni od alkoholu stopniowo zmieniają się w inną, chorą wersję siebie, tak efektem uzależnienia od Twittera jest wg. Laniera “zatrucie twitterem”.
Lanier pokazuje to na przykładzie Elona Muska, Donalda Trumpa i Kanye Westa.
innowator i inżynier, playboy celebryta i kreatywny artysta, trzy zupełnie różne osobowości, z różnym tłem socjologicznym i różnymi życiorysami, przez zatrucie Twitterem zmieniają się w “rozwydrzone bachory na szkolnym boisku”
Lanier argumentuje, że ta dziecinność to efekt uzależnienia od social media. W social mediach wracamy do dzieciństwa, do zasad na podwórku, gdzie musimy nawigować między agresją i lękiem potencjalnego upokorzenia.
“Zatruci Twitterem” mają poczucie bycia prześladowanymi, a radość czerpią z transgresji. Tracą poczucie proporcji.
To poczucie, że Twitter podkręca emocje do nieproporcjonalnych poziomów jest również we mnie obecne.
Kryzys gospodarczy musi być największy w historii i trwać przez dziesięciolecia, spółki muszą spektakularnie upadać albo rosnąć najszybciej w historii.
Chiny zdominują świat, a zachód upada, albo zachód wygrywa, a Chiny się kończą.
Świat zmierza do wojny atomowej. Europa zamarza z braku gazu.
Miliony ludzi będzie głodować z powodu braku pszenicy, a szczepionki sprawią, że albo wszyscy umrzemy albo, że pandemia zniknie z dnia na dzień.
Te skrajności, o których czytamy na Twitterze, a potem w mediach cyfrowych, zwykle się nie materializują. Nie są kompatybilne z rzeczywistością, która nas otacza. Ale na poziomie emocji jesteśmy coraz bardziej rozchwiani i rozhisteryzowani.
Albo jak pisze Lanier: dziecinni.
Weryfikacja na Twitterze, czy warto płacić $8? /
“Weryfikacja” przez subskrypcję Twitter Blue zaczęła działać. W tym momencie można jeszcze sprawdzić czy dany użytkownik został zweryfikowany starym procesem czy przez zapłacenie $8 za Twitter Blue.
Oczywiście pojawiło się sporo fejkowych profili znanych ludzi i marek z niebieskim haczykiem potwierdzających ich zweryfikowanie.
To będzie problem bo, ktoś ze złymi intencjami może narobić dużo problemów konkretnym ludziom, lub społecznościom, rozprzestrzeniając fałszywe informacje, z konta podszywającego się pod jakąś osobę, z wersyfikacją $8.
Na przykład stalker może podszyć się pod osobę którą stalkuje i rozpowszechniać nieprawdziwe informacje z dodatkowym “wsparciem” pseudo weryfikacji.
Istnieje też wyzwanie natury czysto handlowej - co mi daje taka weryfikacja? Po co mam to robić? Jaką wartość oferuje?
Poprzedni sposób weryfikacji był niedostępny dla większości ludzi, elitarny z zasady. Był więc coś warty na poziomie sygnalizacji statusu.
Jeśli cenę za coś co ma symbolizować status obniżamy do wartości na którą może pozwolić sobie każdy, oraz damy nielimitowany dostęp do tej rzeczy, to przestaje ona mieć wartość jako symbol statusu.
Co więcej, nowa weryfikacja na Twitterze, zyskała z mojej perspektywy, inne znaczenie: wspieram nowego właściciela Twittera, wspieram Elona Muska.
Argumentem za płatną weryfikacją jest to, że pójdą za nią kolejne możliwości dla zweryfikowanych. Będzie można filtrować Twittera w oparciu o to, kto zapłacił, a kto nie. To ma niby rozwiązać problem botów.
Może rozwiąże to problemy ludzi, którzy mają miliony followersów, ludzi takich jak Elon.
To jednak nie jest mój problem. Nie mam wielu followersów, nie zostaje zasypywany spamem, moje mentions nie są pełne hejtu i spamu.
Jednocześnie lubię fakt, że Twitter podsuwa mi tweety ludzi, randomów, którzy nie są zweryfikowani i piszą coś zabawnego albo dzielą się jakimś ciekawym przemyśleniem.
Nie potrzebuje też być wyżej w rankingu odpowiedzi na tweet znanej osoby, bo nie odpowiadam na tweety.
Taka weryfikacja nie daje mi też gwarancji, że nikt się pode mnie nie podszyje bo każdy może to zrobić za $8 miesięcznie. Nie jest to więc sytuacja, jak z domenami, że wykupuję domenę po to by ją po prostu trzymać i nikt inny nie mógł jej wykupić.
Wartość, dla takiego zwykłego usera jak ja, który odwiedza apkę kilka razy dziennie ale głównie w trybie konsupcji i nie jest celebrytą, jest bliska zeru.
Nie dostaje “prestiżu” poprzedniej wersyfikacji, dostaję łatkę “fanboya Elona”, oraz obietnicę narzędzi, których niepotrzebuję.
Jeśli więcej osób myśli jak ja to obietnica walki z botami przez płacenie i filtrowanie zweryfikowanych nie może się spełnić z powodów rynkowych. Będzie ich za mało by miało to sens.
Namówienie ludzi do tego żeby za coś płacili jest trudne. Wartość musi być dla nich oczywista. Płacę za dostęp do wielu treści i jestem z tym ok, żeby wspierać twórców w ten sposób, ale robię to tylko w przypadku, gdy czerpię wartość z tego co tworzą.
O wiele chętniej płaciłbym $8 za dostęp do Twittera (zakładając, że dzieje się na nim to samo co teraz) niż za pseudo weryfikację.
"Text prompt to image" to nie koniec historii /
“Text prompt to image” to dominujący sposób tworzenia obrazków przy pomocy generatywnego AI. Wpisujemy tekst, klikamy generuj, czekamy, AI wypluwa obrazek. Poprawiamy prompt, czekamy, AI wypluwa obrazek. Jest to magiczne jak widzi się to pierwsze 10 razy. Jednak dość czasochłonne i wymagające szerokiego leksykonu słów kluczowych, żeby wygenerować coś atrakcyjnego wizualnie.
Mam poczucie, że to nie jest najbardziej przyjazny sposób, żeby generować obrazy i że inny rodzaj interface’u wygra.
Na przykład Lexica.
Wyszukiwarka obrazów wygenerowanych przez Stable Diffusion
Pozwala klikając, eksplorować różne prompty i style obrazów, oraz szukać podobnych obrazów do tego, który wgramy (image-to-image search).
Lexica rozwija również swój własny model, który wygląda bardzo dobrze.
Lexica jest interesująca bo nie wymaga wymyślania promptów, pozwala się zainspirować i szybko działa, bo obrazy są już wygenerowane i leżą na serwerze. Wygenerowali je inni użytkownicy Lexica.
Interakcja z Lexica bardziej przypomina klikanie i szukanie niż wymyślanie skomplikowanego prompta.
Innym sposobem, który ma moim zdaniem przyszłość, to konwersacyjne UI. Czyli piszę sobie z botem, który poprawia mój obrazek. Zamiast pisać jeden długi prompt, dziele go i zaczynam od ogółu do szczegółu.
Wydaje się, że jest to bardziej naturalny i wygodny sposób pisania promptu niż kopiowanie i dokładanie kolejnych słów, żeby osiągnąć oczekiwany efekt.
Jesteśmy dosłownie w stadium “linii komend”, a docelowy interface będzie bardziej wizualny i intuicyjny. Analogia przejścia z systemu operacyjnego typu DOS na Windowsa nasuwa się sama.
Dzięki temu, że generatywne AI jest albo open source (stable diffusion) albo API first (Dall-e) to możemy spodziewać wielu innowacji na poziomie interfejsu użytkownika.
Twitter Elona drama; Nowe Midjurney v4 /
Przejęcie Twittera przez Elona to coś co sprawia mi dużo radości i daje mi dużo rozrywki. Jestem wiernym fanem Twittera, używam apki od 2007 roku, i zaglądam do niej wiele razy dziennie. Autotematyzm jest bardzo potentny w social mediach. Teraz jest Elon, wcześniej duże emocje wzbudził redesign Instagrama i każdy inny większy lub mniejszy redesign Facebooka. Pamiętam podobne dyskusje na Blipie i na Flakerze ilekroć robiliśmy w nim jakieś zmiany. Kochamy te nasze apeczki, w które zaglądamy kilka razy dziennie. Dają nam emocje w momentach w których najbardziej ich potrzebujemy - w momentach nudy.
Kilka ciekawych tweetów z weekendu dotyczących Elon dramy. Starałem się wybrać takie, które są zabawne, ironiczne lub sarkastyczne.
https://twitter.com/mexicanwilddog/status/1589424001335848960
https://twitter.com/somebadideas/status/1588944501531643904
zapisałem sobie, żeby używać: "The economy is fundamentally GPD per capita times capita..."
Dramy i humoru będzie więcej bo Twitter zaczął blokować ludzi, którzy w celach komediowych podszywają się pod Elona.
W międzyczasie Twitter wdrożył (?) w wybranych krajach możliwość zakupu niebieskiego check-marka za $8 miesięcznie. Dla porównania Netflix z godzinami filmów i seriali kosztuje $9,99, a Spotify z całą muzyką świata też $9,99. Czy ten haczyk jest tyle wart dla wystarczająco dużej grupy ludzi?
Jest wersja beta V4 Midjurney, ładnie działa.
Wysoka inflacja i optymalizacja pod wyższe bezrobocie /
Po raz pierwszy w moim dorosłym życiu, mam wrażenie, że banki centralne chcą zobaczyć większe bezrobocie, bo ono powinno korelować z niższą inflacją. Bardzo dziwne.
Nie do końca rozumiem tę motywację. Oczywiście jedzenie i energia są droższe i to nieprzyjemne. Ale czy fakt, że więcej ludzi będzie bez pracy sprawi, że jedzenie i energia potanieją?
Bezrobocie sprawia, że część ludzi ma zero dochodu. Z definicji więc ich koszty życia będą dużo wyższe niż ich przychody. Z definicji też ich oszczędności będą szybko topniały. Dla potencjalnych bezrobotnych inflacja na poziomie 15-20% jest lepszym rozwiązaniem niż brak dochodu.
Wyższe bezrobocie ma bezpośredni wpływ na nastroje społeczne i potrzebę zmian. Wysoki koszt pieniądza ma więc bezpośredni wpływ na politykę państwa.
Bezrobocie jest okropnym doświadczeniem. Traumą, która dotyka zarówno bezrobotnych jak i ich rodziny i transferuje się między pokoleniowo.
Optymalizowanie pod wyższe bezrobocie wydaje mi się szalonym pomysłem.
Do tego wyższy koszt pieniądza może wprost przenosić się na koszyk inflacyjny. Jeśli kupuje jedzenie i kredyt obrotowy przedsiębiorcy jest droższy o 6-7 punktów procentowych niż rok temu to wiadomo, że koszt tego kredytu zostanie przeniesiony na konsumenta.
Moim zdaniem lepszym rozwiązaniem jest prokrastynacja. Czekanie, aż rynek sam zaadresuje problem. Wiem, czekanie brzmi jak słaby pomysł, ale czasem, niektóre działania są bardziej szkodliwe niż po prostu brak ingerencji w rynek.
Co jest złego w wysokiej inflacji?
Nasze oszczędności topnieją. Prawda. Na przykład więcej płacimy za jedzenie niż rok wcześniej, więc siła nabywcza naszych oszczędności pozwala nam kupić mniej jedzenia. To problematyczne, ale 1/4 polaków nie ma w ogóle oszczędności, za to ma kredyty i bardziej boli ich drogi koszt pieniądza niż topniejące oszczędności.
Wysoka inflacja nie trwa wiecznie. Oszczędności stopnieją bardziej przez 2-3 lata ale nie można zakładać, że 17% inflacji to stała na kolejne 10 lat.
Nawet ci co mają oszczędności szukają sposobu, żeby przede wszystkim obniżyć swoje zadłużenie z powodu wysokiego kosztu kapitału i wolą pozbyć się oszczędności by spłacić kredyt niż obniżyć sobie standard życia i obniżając bieżące przepływy finansowe. Wysokie stopy mają więc bardziej negatywny wpływ na oszczędności dla większości ludzi.
Na poziomie biznesu podejmuje się podobne kroki, rada numer jeden co robić w przypadku “trudnych czasów” to pozbyć się zadłużenia, bo zadłużenie ma wpływ na tu i teraz.
Inflacja sprawia, że inwestycje się nie opłacają bo trudniej zrobić zwrot powyżej wysokiej inflacji. Prawda, ale co w takim razie się opłaca? Trzymać gotówkę i tracić oszczędności? Dobre inwestycje dalej się opłacają.
Nie opłacają się te z niskim zwrotem, np nieruchomości, ale nawet one opłacają się bardziej niż wtedy gdy koszt pieniądza jest wysoki bo wysoka inflacja nie utrzyma się przez cały horyzont trwania inwestycji. Wysoki koszt kapitału sprawia jednak, że mniej ludzi ma możliwość inwestowania w nieruchomości, zwłaszcza ludzi, którzy po prostu chcą kupić mieszkanie dla swojej rodziny.
Koniec końców lepiej być -10% (przy zwrocie 7% z nieruchomości) niż -17% (na gotówce) w skali roku.
Inflacja sprawia, że podejmujemy gorsze decyzje zakupowe. Paniczne wykupowanie cukru, bo zaraz będzie drożej to realny problem, pytanie jednak jak masowe jest to zjawisko przy inflacji na poziomie 17%?
Takie zachowania rynek bardzo szybko reguluje. Pamiętam z początku pandemii jak sklepy reglamentowały zakupy papieru toaletowego. Reakcja rynku na panikę jest bardzo szybka i zdecentralizowana.
Inflacja sprawia, że tracimy zaufanie do władzy. Tak, inflacja ma wpływ na to jak postrzegamy rząd. Mamy poczucie, że nas zawiedli bo jest drożyzna. Czy jest inaczej gdy bezrobocie rośnie?
Moja teza jest taka: wysoka inflacja to problem z którym rynek sobie poradzi w czasie nie dłuższym niż 2-3 lata. Jakiś poziom studzenia gospodarki wyższym kosztem pieniądza ma sens, ale trzeba też mieć cierpliwość czekania na efekty. Optymalizacja pod wyższe bezrobocie wydaje mi się drogą do kryzysu społecznego i sytuacji gdzie lekarstwo jest gorsze od choroby.