Wnioski z cudzych błędów to podobno najlepsza forma nauki. Dlatego podczas prezentacji opowiem o wpadkach, jakie popełniłem przez ponad 10 lat programowania. Gdybym mógł się cofnąć w czasie, zmieniłbym wiele. Podczas prezentacji podzielę się więc z Wami moją listą wstydu – zapiszcie i nie powtarzajcie.

Wyszukiwarki tekstowe to szeroki temat, zaczynając w Django od `text__icontains`, a kończąc na dedykowanym indeksie Apache Lucene ze stemmingiem i rankingiem dopasowań. Omówimy zasady działania, wady i zalety za kilku prostszych i bardziej skomplikowanych rozwiązań. Następnie wejdziemy głębiej w narzędzia dostępne w PostgreSQL – rodzaje indeksów, performance i ograniczenia. Pokażę wyniki benchmarków i kompletną implementację rozwiązania w (Django + Postgres), które dobrze sprawdza się u nas na produkcji.

Kiedy pracujemy z szeregami czasowymi, istnienie obserwacji odstających może przysporzyć nam wiele kłopotów. Przede wszystkim dlatego, że mogą nam zaburzać model. Outliery występujące na końcu szeregu czasowego mogą powodować np. zawyżone predykcje. Dlatego tak ważne jest zarówno ich rozpoznanie jak i odpowiednie przypisanie im nowej wartości. Okazuje się, że może być to jednak sporym wyzwaniem, ponieważ klasyczne metody detekcji outlierów nie sprawdzą się, gdy mamy zależność od czasu. W trakcie prezentacji, omówimy potencjalne problemy jakie mogą się pojawić przy detekcji oraz imputacji obserwacji odstających w szeregach czasowych i spróbujemy je rozwiązać. Całość odbędzie się w formie wykładowo-warsztatowej. W pierwszej części pokrótce omówimy problemy i możliwe rozwiązania, a w drugiej części zastosujemy omówioną teorię w praktyce.

Napływ informacji z każdej strony sprawia, że ciężko być na bieżąco ze wszystkim. Ostatnio złapałam się na tym, że nie mam pojęcia co się zmieniło w Pythonie i o wielu rzeczach nie wiem. W końcu odkąd Python 2.7 odszedł nie trzeba się przejmować wsteczną kompatybilnością. A teraz okazuję się, że w Pythonie 3.10 wprowadzono odpowiednik switcha z innych języków. Jak on działa? I co jeszcze mnie ominęło, gdy byłam zajęta innymi rzeczami niż śledzenie trendów? I wreszcie co zrobić by kolejne nowinki pythonowe mnie oraz Was nie ominęły? Na te pytania znajdziesz odpowiedź w tej prezentacji.

Dane dotyczące przeciwciał są zlokalizowne w wielu różnych zasobach publicznych, co utrudnia szkolenie modeli ad hoc i zbieranie zestawów testowych do aplikacji opartych o machine learning. Aby rozwiązać ten problem, opracowaliśmy strukturę, która gromadzi sekwencje przeciwciał oraz informacje strukturalne i eksperymentalne z głównych repozytoriów. Nasze rozwiązanie łączy te dane z wykresem wiedzy specyficznej dla przeciwciał. Taka systematyzacja informacji o przeciwciałach pozwala na wyciągnięcie nowych wniosków na temat ich funkcji terapeutycznych i stworzenie solidnych zestawów danych do uczenia maszynowego.

Niemal każdy programista z którym rozmawiałem chciałby programować w TDD, jednak tylko nieliczni faktycznie to robią. Na szczęście pisanie testów jest już standardem, ale jeśli robisz to na końcu implementacji to zwyczajnie marnujesz czas. Pora to naprawić! Opowiem Ci historię dwóch zadań. Do pierwszego podszedłem w tradycyjny, pracowity sposób. Faktycznie bardzo się napracowałem, ale efektów długo nie było widać. Marnowałem czas nie pisząc testów. W drugim stwierdziłem, że nie chce mi się już tak ciężko pracować. Zastanowiłem się przez chwilę i nie tylko się nie narobiłem, ale też miałem dużą satysfakcję z osiągniętych wyników. Po prezentacji wyjdziesz z przekonaniem, że wszystko da się przetestować. Będziesz chciał być sprytnym programistą, który najpierw pisze testy, a dopiero później kod.

Każdy za pewne widział, albo zna z opowiadań taką tragedie w 3 aktach: · mam super pomysł, weźmy na szybko Django, DRF, lecimy z kodem i robimy biznes! · (rok później) eeeej! to działa! szybko nowe ficzery, inwestorzy czekają! · (3 lata później) ups, tego projektu nie da się dalej rozwijać… Podczas tej prelekcji postaram się pokazać jak niektóre rozwiązania popularne w ekosystemie Django+DRF, które początkowo wydaja się atrakcyjne i przyspieszają pracę, z czasem stają się koszmarem. Porozmawiamy również o dobrych i złych praktykach programistycznych które mają wpływ na utrzymanie projektów w perspektywie lat. Do tego garść praktycznych porad co można zrobić zamiast załamania rąk i złożenia wypowiedzenia z takim projektem i nie osiwieć.

Podczas wystąpienia zostaną omówione niebezpieczeństwa związane z nieprawidłowym wykorzystaniem modułu 'pickle’ oraz najważniejsze metody przeciwdziałania zagrożeniom.

Przedstawię wam jeden z najbardziej popularnych algorytmów heurstycznych – algorytm genetyczny. Wyjaśnię wam analogie między jego kolejnymi krokami, a procesem ewolucji w świecie przyrody. Następnie omówimy jego implementację w jęzku Python i przetestujemy go na wygenerowanym przez nas problemie plecakowym.

Analiza logów i danych telemetrycznych jeszcze nigdy nie była prostsza. W trakcie sesji przedstawię koncepcję i podejście do analizy logów i danych telemetrycznych oferowane natywnie przez Spark. Całość podparta praktycznymi przykładami z wykorzystaniem nowoczesnej platformy Azure Synapse Analytics.

Wystąpienie na konferencji wiążę się zawsze z pewną misją prelegenta. Najczęściej jest to przekazanie wiedzy, zwiększenie kompetencji słuchaczy, zachęcenie do nowych technologii itp. Nie jest inaczej w moim przypadku. Grupa polskich programistów Pythona rozpoczęła budowę systemu typu Customer Data Platform. Można powiedzieć, że w modelu open source rzuciło rękawice największym firmom technologicznym: Oracle, Microsoft, SAP itp. Dodatkowo systemy CDP charakteryzują się dużą ilością integracji, Big Data na pokładzie i uczeniem maszynowym zamieniającym dane w wiedzę o kliencie. Wiedzę, która jest dystrybuowana w czasie rzeczywistym. Zatem taka „”Formuła 1″” systemów teleinformatycznych. Dlatego wracając do misji prelekcji chciałbym zainteresować innych programistów Pythona, ekspertów BigData i AI tym ciekawym, ambitnym projektem. Zarówno na płaszczyźnie jego rozwoju jak i ewentualnych wdrożeń we własnych organizacjach. Obiektywnie (ponieważ nie należę do autorów, dostawców Tracardi) ocenię stan projektu (głównie w kontekście wdrożeń klasy Enterprise), pokażę możliwości rozbudowany np. o system rekomendacji produktowej (Knowledge Graph, Reinforcement Learning, analiza koszykowa) i opowiem syntetyzacji danych w projektach AI.

Opis prezentacji.

In this deep-dive Machine Learning presentation we try to show how to apply an industry-standard NLP solution (BERT) to a classic problem (sentiment analysis) using professional MLOps tools (TFX) and deployment environment (Vertex AI Pipelines). We will show both the concept of solving the problem as well as the implementation of the solution using TensorFlow and TFX. We will also explain how to deploy it to Google Cloud Platform’s Vertex AI.

Opis prezentacji.

Większość aplikacji, jakie tworzymy, to tak zwane aplikacje „single tenant”. Czyli mówiąc prostym językiem to jedną instancję aplikacji dla pojedynczego klienta/firmy/organizacji. Gdy pojawia się druga firma, to po prostu stawiamy dla niej nową instancję i wszyscy są zadowoleni. Ale co w sytuacji, gdy napływ klientów staje się coraz większy a utrzymanie infrastruktury jest zbyt kosztowne? W tym przypadku możemy zastosować model „multi-tenant” – to model, w którym klienci aplikacji współdzielą między sobą jakieś zasoby, na przykład — serwer, bazę danych i inne usługi pracujące w ramach aplikacji. A być może potrzebujemy różną konfigurację dla stałych klientów, a klientów ze środowiskiem testowym ? Podczas prezentacji opowiem Wam o wadach i zaletach „multi-tenant” aplikacji, podam przykład architektury aplikacji napisanej w Pythona/Django, a na koniec będzie chwila na pytania/odpowiedzi.

Korzystając z danych nt. interakcji w firmach i wykorzystując teorię grafów przeszliśmy długą drogę zmiany samych danych na wnioski i akcje, które służą doskonaleniu nawyków pracy w zespołach. Mierzyliśmy się z wieloma wyzwaniami: oczyszczania danych z szumów, budowania heurystyk w przypadku braku danych, tworzenia benchmarków i wizualizacji danych tak, by były proste w interpretacji i nakłaniały do działania. O tej drodze Wam opowiemy.

Spark jako wydajny biblioteka do obliczeń rozproszonych jest obecnie powszechnie używany w rozwiązaniach z zakresu Big Data. Synapse ML pozwala wykorzystać jego możliwości do budowy skalowalnych rozwiązań uczenia maszynowego. Koncepcją Synapse ML jest zapewnienie ekosystemu narzędzi do uczenia się i analizy danych, których celem jest wykorzystanie Spark do uczenia maszynowego. Wykład skupia się na praktycznych rozwiązaniach opracowanych przy użyciu Synapse ML oraz funkcjonalnościach tej biblioteki, m.in. skalowalnemu uczeniu głębokiemu i rozproszonym mikroserwisom.

Python jest powszechnie stosowany w „dużym” deep learningu gdzie i uczenie i inferencja odbywają się na maszynach klasy PC z kartami graficznymi, jednak same modele można też ustawiać na o wiele mniejszych maszynach. W prezentacji powiem o zastosowaniach Python’a do tego na przykładach kilku projektów wykorzystujących coraz to mniejsze komputery embedded aż do modelu uczenia maszynowego na rękawicy z wykorzystaniem MicroPython.