Podobne artykuły Zarządzanie ryzykiem dla projektowania i konstrukcji zarządzania ryzykiem dla projektowania i konstrukcji English 288 pages ISBN-10: 047063538X PDF 8.22 MB. OSGi i Equinox: Tworzenie bardzo modularnych systemów Java OSGi i Equinox: tworzenie wysoko modułowych systemów Java English 460 stron ISBN-10: 0321585712 PDF 7.87 MB. Sygnały, procesy i systemy: Multimedia interaktywne Wprowadzenie do przetwarzania sygnałów, sygnały trzeciego wydania, procesy i systemy: Multimedia interaktywne Wprowadzenie do przetwarzania sygnałów, trzecia edycja English 450 stron. Handel algorytmiczny: strategie wygrywające i ich podstawy Algorithmic Trading: Strategie zwycięstwa i ich powodzenie English 224 pages ISBN-10: 1118460146 PDF 8.82 MB. Aktywna, hybrydowa i półaktywna kontrola strukturalna: Podręcznik projektowania i wdrażania Aktywna, hybrydowa i półaktywna kontrola strukturalna: Podręcznik projektowania i wdrażania English 294 pages ISBN-10: 0470013524. Informacje Chcesz zostawić komentarz Zaloguj się na swoje konto, aby móc komentować. Nie masz konta Możesz utworzyć darmowe konto teraz. Related Articles Zarządzanie Ryzykiem dla Projektowania i Zarządzania Ryzykiem Budowy Projekt i Budowa English 288 pages ISBN-10: 047063538X PDF 8.22 MB. OSGi i Equinox: Tworzenie bardzo modularnych systemów Java OSGi i Equinox: tworzenie wysoko modułowych systemów Java English 460 stron ISBN-10: 0321585712 PDF 7.87 MB. Sygnały, procesy i systemy: Multimedia interaktywne Wprowadzenie do przetwarzania sygnałów, sygnały trzeciego wydania, procesy i systemy: Multimedia interaktywne Wprowadzenie do przetwarzania sygnałów, trzecia edycja English 450 stron. Handel algorytmiczny: strategie wygrywające i ich podstawy Algorithmic Trading: Strategie zwycięstwa i ich powodzenie English 224 pages ISBN-10: 1118460146 PDF 8.82 MB. Aktywna, hybrydowa i półaktywna kontrola strukturalna: Podręcznik projektowania i wdrażania Aktywna, hybrydowa i półaktywna kontrola strukturalna: Podręcznik projektowania i wdrażania English 294 pages ISBN-10: 0470013524. Informacje Chcesz zostawić komentarz Zaloguj się na swoje konto, aby móc komentować. Nie masz konta Możesz założyć darmowe konto. Błękitny język programowania dla systemów handlu algorytmicznego Jednym z najczęstszych pytań otrzymanych w torebce przesyłkowej QS jest jaki jest najlepszy język programowania dla handlu algorytmicznego. Krótką odpowiedzią jest to, że nie ma najlepszego języka. Należy wziąć pod uwagę parametry strategii, wydajność, modułowość, rozwój, odporność i koszty. W tym artykule przedstawione zostaną niezbędne składniki algorytmicznej architektury systemu handlu i jak decyzje dotyczące implementacji wpływają na wybór języka. Po pierwsze, zostaną rozważone główne składniki algorytmicznego systemu handlu, takie jak narzędzia badawcze, optymalizator portfela, menedżer ryzyka i silnik wykonawczy. Następnie zostaną zbadane różne strategie handlowe i ich wpływ na projekt systemu. W szczególności omówiona zostanie częstotliwość obrotów i prawdopodobna wielkość obrotu. Po wybraniu strategii handlowej konieczne jest zaprojektowanie całego systemu. Obejmuje to wybór sprzętu, systemu operacyjnego (ów) i odporności systemu przed rzadkimi, potencjalnie katastrofalnymi zdarzeniami. Choć architektura jest rozważana, należy wziąć pod uwagę osiągi - zarówno w odniesieniu do narzędzi badawczych, jak i środowiska wykonawczego. Co to jest system handlowy próbujący zrobić przed podjęciem decyzji o najlepszym języku, w jaki należy pisać zautomatyzowany system obrotu, konieczne jest zdefiniowanie wymagań. Czy system będzie w czystości realizowany Czy system będzie wymagał modułu zarządzania ryzykiem lub modułu budowy portfela Czy system wymaga wysokowydajnego backtesteru W przypadku większości strategii system handlu można podzielić na dwie kategorie: Badania i generowanie sygnału. Badania dotyczą oceny skuteczności strategii w odniesieniu do danych historycznych. Proces oceny strategii handlowej nad poprzednimi danymi rynkowymi jest znany jako testy wstępne. Wielkość danych i złożoność algorytmiczna będą miały duży wpływ na intensywność obliczeniową backtestera. Prędkość procesora i współbieżność są często czynnikami ograniczającymi optymalizację szybkości wykonywania badań. Generowanie sygnałów polega na generowaniu zestawu sygnałów handlowych z algorytmu i wysyłaniu takich zamówień na rynek, zazwyczaj za pośrednictwo. W niektórych strategiach wymagany jest wysoki poziom wydajności. IO, takie jak przepustowość sieci i opóźnienie, są często czynnikiem ograniczającym optymalizację systemów wykonawczych. Wybór języków dla każdego składnika całego systemu może być zupełnie inny. Typ, częstotliwość i wielkość strategii Typ zastosowanej strategii algorytmicznej będzie miał istotny wpływ na projekt systemu. Konieczne będzie rozważenie rynków będących w obrocie, łączności z zewnętrznymi dostawcami danych, częstotliwości i objętości strategii, kompromisu między łatwością opracowywania i optymalizacją wydajności, a także wszelkimi niestandardowymi urządzeniami, w tym niestandardowymi lokalizacjami niestandardowymi serwerów, GPU lub FPGA, które mogą być konieczne. Wyboru technologii dla strategii o niskich częstotliwościach w USA są znacząco różne od tych, które mają strategię arbitrażu statystycznego o wysokiej częstotliwości na rynku futures. Przed wyborem języka wielu dostawców danych musi być oceniane, które odnoszą się do omawianej strategii. Konieczne będzie rozważenie możliwości połączenia z dostawcą, strukturą dowolnych interfejsów API, terminowości przechowywania danych, wymagań dotyczących przechowywania danych i odporności w przypadku, gdy sprzedawca będzie offline. Mądry jest też posiadanie szybkiego dostępu do wielu dostawców. Różne instrumenty mają własne wady przechowywania, których przykłady obejmują wiele symboli symboli dla akcji i dat wygaśnięcia kontraktów futures (nie wspominając o konkretnych danych OTC). To musi być uwzględnione w projekcie platformy. Częstotliwość strategii może być jednym z największych czynników decydujących o sposobie określania stosu technologii. Strategie wykorzystujące dane częściej niż drobne lub drugie barki wymagają znacznej uwagi w odniesieniu do wyników. Strategia przekraczająca drugorzędne bary (tzn. Dane z kreską) prowadzi do spełnienia wymaganego wymogu. W przypadku strategii wysokiej częstotliwości konieczne będzie przechowywanie i ocena znacznej ilości danych rynkowych. Oprogramowanie takie jak HDF5 lub kdb są powszechnie używane do tych ról. Aby przetworzyć obszerne ilości danych potrzebnych do aplikacji typu HFT, należy zastosować rozbudowany system backtester i system wykonawczy. CC (prawdopodobnie z pewnym asemblerem) najprawdopodobniej będzie najsilniejszym kandydatem na język. Strategie o bardzo wysokiej częstotliwości będą na pewno wymagały sprzętu niestandardowego, takiego jak układy FPGA, wymianę współrzędnych i tuning interfejsu sieci kernalnetwork. Systemy badań systemów badawczych zazwyczaj zawierają kombinację interaktywnego opracowywania i zautomatyzowanego tworzenia skryptów. Te pierwsze często odbywają się w środowisku IDE, takim jak Visual Studio, MatLab czy R Studio. Ten ostatni obejmuje obszerne obliczenia liczbowe w odniesieniu do wielu parametrów i punktów danych. Prowadzi to do wyboru języka zapewniającego proste środowisko testowania kodu, ale zapewnia także wystarczającą wydajność w celu oceny strategii nad wieloma parametrami. Typowe IDE w tej przestrzeni to Microsoft Visual CC, zawierający rozbudowane narzędzia do debugowania, funkcje uzupełniania kodu (za pośrednictwem Intellisense) oraz proste przegląd wszystkich stosów projektu (za pośrednictwem bazy danych ORM, LINQ) MatLab. który jest przeznaczony do szerokiej numerycznej algebry liniowej i wektorizacji, ale w konsoli interaktywnej R Studio. który zawiera konsolę statystyczną R w pełnoprawnym IDE IDE dla Eclipse IDE w środowisku Java oraz C i pół-własnymi IDEami, takimi jak Enthought Canopy for Python, które zawierają biblioteki analizy danych, takie jak NumPy. SciPy. scikit-learn i pandy w jednym środowisku interaktywnym (konsoli). W przypadku testowania danych numerycznych wszystkie powyższe języki są odpowiednie, chociaż nie jest konieczne użycie GUIIDE, ponieważ kod zostanie wykonany w tle. Najważniejszą uwagę na tym etapie jest szybkość wykonania. Język skompilowany (np. C) jest często przydatny, jeśli wymiary parametrów testów wstecznych są duże. Pamiętaj, że należy zachować ostrożność w przypadku takich systemów, jeśli tak jest. Języki interpretowane, takie jak Python, często korzystają z bibliotek wysokiej wydajności, takich jak NumPypandas w celu przeprowadzenia testu wstecznego, aby utrzymać rozsądny stopień konkurencyjności ze skompilowanymi odpowiednikami. Ostatecznie język wybrany do testu wstecznego będzie określony przez konkretne potrzeby algorytmiczne, a także zakres bibliotek dostępnych w języku (więcej na tym poniżej). Jednak język używany do środowisk badawczych i środowisk badawczych może być zupełnie niezależny od języka stosowanego w konstrukcjach portfela, zarządzaniu ryzykiem i elementach wykonawczych, jak to będzie widoczne. Budowa portfela i zarządzanie ryzykiem Elementy zarządzania portfelem i zarządzania ryzykiem są często pomijane przez detalicznych handlarzy algorytmicznych. To prawie zawsze błąd. Narzędzia te stanowią mechanizm, dzięki któremu kapitał zostanie zachowany. Nie tylko starają się złagodzić liczbę ryzykownych zakładów, ale również zminimalizować spowolnienie transakcji, redukując koszty transakcji. Wyrafinowane wersje tych elementów mogą mieć znaczący wpływ na jakość i spójność dochodowości. Łatwo jest stworzyć stabilną strategię, ponieważ mechanizm budowy portfela i menedżer ryzyka można łatwo zmodyfikować w celu obsługi wielu systemów. Dlatego teŜ naleŜy je uznać za istotne składniki na początku projektu algorytmicznego systemu obrotu. Zadaniem systemu budowy portfela jest podjęcie szeregu wymaganych transakcji i stworzenie zestawu rzeczywistych transakcji minimalizujących churn, utrzymywanie ekspozycji na różne czynniki (takie jak sektory, klasy aktywów, zmienność itd.) I optymalizacja alokacji kapitału na różne strategie w portfelu. Konstrukcja portfela często ogranicza się do problemu algebrai liniowej (np. Współczynnik matrycy), a zatem wydajność jest w dużym stopniu uzależniona od skuteczności dostępnych liczbowych implementacji algebry liniowej. Wspólnymi bibliotekami są uBLAS. LAPACK i NAG dla C. MatLab posiada również bardzo zoptymalizowane operacje macierzy. Python wykorzystuje NumPySciPy do takich obliczeń. Często wyważony portfel wymaga złożonej biblioteki macierzy (i dobrze zoptymalizowanej), aby wyeliminować ten krok, tak aby nie straszyć systemu handlu. Zarządzanie ryzykiem jest kolejną bardzo ważną częścią systemu handlu algorytmicznego. Ryzyko może występować w wielu formach: zwiększona niestabilność (chociaż może być to pożądane w przypadku niektórych strategii), zwiększone korelacje między klasami aktywów, domyślne kontrpartner, przerwy w pracy serwerów, zdarzenia czarnego swana i niewykryte błędy w kodzie obrotu, kilka. Elementy zarządzania ryzykiem próbują przewidzieć skutki nadmiernej zmienności i korelacji pomiędzy klasami aktywów a ich późniejszymi skutkami dla kapitału handlowego. Często zmniejsza się to do zbioru statystycznych obliczeń, takich jak testy warunków skrajnych Monte Carlo. Jest to bardzo podobne do potrzeb obliczeniowych instrumentu wyceny instrumentów pochodnych i jako taki będzie związany z procesorem. Symulacje te są wysoce równoległe (patrz poniżej) i, do pewnego stopnia, można wyrzucić sprzęt do problemu. Systemy wykonawcze Zadaniem systemu egzekucyjnego jest odbieranie przefiltrowanych sygnałów handlowych z elementów budowy portfela i zarządzania ryzykiem oraz przesyłanie ich do pośrednictwa lub innego sposobu dostępu do rynku. W przypadku większości detalicznych algorytmicznych strategii handlowych chodzi o połączenie API lub FIX z brokerem, takim jak Interactive Brokers. Podstawowe kwestie przy podejmowaniu decyzji o języku obejmują jakość interfejsu API, dostępność języków dla interfejsu API, częstotliwość wykonywania i oczekiwany poślizg. Jakość interfejsu API odnosi się do tego, jak dobrze udokumentowano, jaki jest jej poziom wydajności, niezależnie od tego, czy potrzebny jest dostęp do autonomicznego oprogramowania czy czy brama może zostać utworzona w sposób bezkłowy (tj. Nie zawiera GUI). W przypadku Interaktywnych Brokerów narzędzie Trader WorkStation musi być uruchomione w środowisku GUI w celu uzyskania dostępu do ich interfejsu API. Kiedyś miałem zainstalować wersję Ubuntu Desktop na serwerze w chmurze Amazon, aby zdalnie uzyskać dostęp do interaktywnych brokerów, dlatego większość interfejsów API udostępnia interfejs C i Java. Zwykle do społeczności należy przygotowywanie specjalnych opakowań języka C, Python, R, Excel i MatLab. Zauważ, że przy każdej dodatkowej wtyczce (zwłaszcza opakowań API) istnieje możliwość uruchomienia błędów w systemie. Zawsze testuj wtyki tego typu i upewnij się, że są aktywnie obsługiwane. Wartym wskaźnikiem jest sprawdzenie, ile nowych aktualizacji do bazy kodu zostały wykonane w ostatnich miesiącach. Częstotliwość wykonywania jest niezwykle istotna w algorytmie wykonywania. Warto zauważyć, że setki zamówień mogą być wysyłane co minutę i jako takie są kluczowe. Upadek zostanie poniesiony w wyniku niewłaściwego systemu egzekucyjnego, co będzie miało dramatyczny wpływ na rentowność. Języki w wersji statycznej (patrz poniżej), takie jak CJava, są ogólnie optymalne do wykonania, ale w czasie rozwoju, testowaniu i łatwości konserwacji jest kompromis. Dynamicznie pisane języki, takie jak Python i Perl, są na ogół wystarczająco szybkie. Zawsze upewnij się, że komponenty są zaprojektowane w sposób modularny (patrz poniżej), aby mogły zostać wymontowane w miarę skalowania systemu. Proces planowania i rozwoju architektury Elementy systemu handlu, jego częstotliwości i objętości zostały omówione powyżej, ale infrastruktura systemu nie została jeszcze uwzględniona. Ci, którzy działają jako handlowcy detaliczni lub pracujący w małym funduszu, prawdopodobnie nosić będą wiele kapeluszy. Konieczne będzie uwzględnienie modelu alfa, parametrów zarządzania ryzykiem i realizacji, a także końcowego wdrożenia systemu. Przed przystąpieniem do konkretnych języków omówimy projekt optymalnej architektury systemu. Oddzielenie obaw Jedną z najważniejszych decyzji, które należy na wstępie podjąć, jest oddzielenie obaw systemu handlowego. W rozwoju oprogramowania oznacza to, jak rozbić różne aspekty systemu handlowego na oddzielne elementy modułowe. Dzięki ujawnieniu interfejsów w każdym z elementów można łatwo wymienić części systemu na inne wersje, które pomagają w osiągnięciu wydajności, niezawodności i konserwacji bez modyfikowania żadnego zewnętrznego kodu zależności. Jest to najlepsza praktyka dla takich systemów. W przypadku strategii o niższych częstotliwościach zaleca się takie praktyki. W przypadku handlu bardzo wysoką częstotliwością reguła może być ignorowana kosztem zmodyfikowania systemu, aby uzyskać jeszcze większą wydajność. Może być pożądany system bardziej szczelnie sprzężony. Utworzenie mapy składowej algorytmicznego systemu handlu jest warte artykułu sam w sobie. Jednak optymalne podejście polega na upewnieniu się, że istnieją osobne składniki danych wejściowych danych rynkowych w czasie rzeczywistym i danych w czasie rzeczywistym, przechowywania danych, API dostępu do danych, backtester, parametry strategiczne, konstrukcja portfela, zarządzanie ryzykiem i zautomatyzowane systemy wykonawcze. Jeśli na przykład przechowywanie danych jest obecnie słabsze, nawet przy znacznym poziomie optymalizacji, może zostać zamienione na minimalną liczbę powtórzeń do konsumowania danych lub API dostępu do danych. Jeśli chodzi o backtestera i kolejne składniki, nie ma różnicy. Inną zaletą oddzielonych komponentów jest to, że pozwala na użycie różnych języków programowania w całym systemie. Nie ma potrzeby ograniczania się do jednego języka, jeśli metoda komunikacji składników jest niezależna od języka. Tak będzie w przypadku, gdy komunikują się za pośrednictwem protokołu TCPIP, ZeroMQ lub innego protokołu niezależnego od języka. Jako konkretny przykład rozważmy przypadek, w którym system testów wstecznych został napisany w języku C w celu oszacowania liczby, podczas gdy menedżer portów i systemy wykonawcze są napisane w Pythonie przy użyciu SciPy i IBPy. Wydajność Wydajność jest istotnym czynnikiem wpływającym na większość strategii handlowych. W przypadku strategii o większej częstotliwości jest to najważniejszy czynnik. Wydajność obejmuje szeroki zakres zagadnień, takich jak algorytmiczna szybkość wykonania, opóźnienie sieci, przepustowość, dane IO, współbieżność i skalowanie. Każdy z tych obszarów jest indywidualnie pokrywany przez duże podręczniki, więc ten artykuł będzie tylko zarysować powierzchnię każdego tematu. Architektura i wybór języka będą teraz omawiane pod kątem ich wpływu na wydajność. Przeważająca mądrość, jak stwierdziła Donald Knuth. jednym z ojców informatyki, jest to, że przedwczesna optymalizacja jest źródłem wszelkiego zła. Jest to niemal zawsze przypadek - z wyjątkiem sytuacji, w których opracowano algorytm handlu wysoką częstotliwością Dla tych, którzy interesują się strategiami o niższych częstotliwościach, wspólne podejście polega na zbudowaniu systemu w najprostszy możliwy sposób i optymalizacji tylko w miarę pojawiania się wąskich gardeł. Narzędzia profilowania służą do określania wąskich gardeł. Profile można tworzyć ze wszystkich wymienionych powyżej czynników, zarówno w środowisku MS Windows, jak i Linux. Istnieje do tego wiele narzędzi systemu operacyjnego i narzędzi językowych, a także narzędzi innych firm. Wybór języka zostanie teraz omówiony w kontekście wyników. C, Java, Python, R i MatLab zawierają biblioteki wysokiej wydajności (jako część ich standardowych lub zewnętrznych) dla podstawowych struktur danych i pracy algorytmicznej. C pochodzi ze standardową biblioteką szablonów, a Python zawiera NumPySciPy. Wspólne zadania matematyczne można znaleźć w tych bibliotekach i rzadko korzystne jest napisanie nowej implementacji. Jedynym wyjątkiem jest potrzeba bardzo wymaganej architektury sprzętowej, a algorytm wykorzystuje rozbudowane rozszerzenia (takie jak niestandardowe pamięci podręczne). Jednak często reinwentaryzacja odpadów z kół, które mogłyby być lepiej wykorzystane do opracowywania i optymalizacji innych części infrastruktury handlowej. Czas rozwoju jest niezwykle cenny zwłaszcza w kontekście pojedynczych programistów. Częstotliwość jest często kwestią systemu egzekwowania, ponieważ narzędzia badawcze są zwykle umieszczone na tej samej maszynie. Wcześniej latencja może wystąpić w wielu punktach wzdłuż ścieżki wykonania. Trzeba brać pod uwagę bazy danych (czas oczekiwania na sieć dysków), muszą być generowane sygnały (system operacyjny, opóźnienie przesyłania wiadomości kernal), wysyłane sygnały handlowe (czas oczekiwania na NIC) oraz przetwarzane zamówienia (systemy wewnętrznego opóźnienia wymiany). W przypadku operacji o wyższej częstotliwości konieczne jest dokładne zapoznanie się z optymalizacją kernal oraz optymalizacją transmisji sieciowej. Jest to obszar głęboki i znacznie poza zasięgiem artykułu, ale jeśli pożądany jest algorytm UHFT, należy mieć świadomość wymaganej wiedzy. Pamięć podręczna jest bardzo przydatna w zestawie narzędziowym ilorocznego dewelopera. Buforowanie odnosi się do koncepcji przechowywania często dostępnych danych w sposób, który pozwala na uzyskanie większej dostępności, kosztem potencjalnego niedostateczności danych. Przy korzystaniu z danych pochodzących z relacyjnej bazy danych obsługiwanych dyskami często pojawia się powszechny przypadek użycia i umieszczanie go w pamięci. Wszelkie kolejne żądania dotyczące danych nie muszą trafiać do bazy danych, a zatem wzrost wydajności może być znaczący. W przypadku transakcji handlowych buforowanie może być bardzo korzystne. Na przykład aktualny stan portfela strategicznego może być przechowywany w pamięci podręcznej, dopóki nie zostanie zrównoważony, tak że lista nie musi być regenerowana po każdej pętli algorytmu obrotu. Taka regeneracja może być wysoką operacją IO na procesorze lub dysku. Jednak buforowanie nie jest bez problemów. Regeneracja danych z pamięci podręcznej na raz, ze względu na lotność charakteru przechowywania pamięci podręcznej, może powodować znaczne zapotrzebowanie na infrastrukturę. Inną kwestią jest doganie. gdzie wielokrotne generowanie nowej kopii zapasowej jest przeprowadzane przy bardzo wysokim obciążeniu, co prowadzi do awarii kaskady. Dynamiczna alokacja pamięci jest kosztownym sposobem wykonywania oprogramowania. Z tego względu konieczne jest, aby aplikacje handlowe o wyższej wydajności były dobrze poinformowane, jak przydziela się pamięć i dezalibrować podczas przepływu programu. Nowsze standardy językowe, takie jak Java, C i Python, wykonują automatyczną kolekcję śmieci. co odnosi się do deallokacji dynamicznie przydzielonej pamięci, gdy obiekty wykraczają poza zakres. Zbieranie śmieci jest niezwykle użyteczne podczas opracowywania, redukuje błędy i ułatwia czytelność. Często jest to jednak nieefektywne pod względem niektórych strategii handlowych o wysokiej częstotliwości. Często jest to pożądane w przypadku niestandardowych zbiorów śmieci. W Javie, na przykład, dostrajając kolektor śmieci i konfigurację sterty, możliwe jest uzyskanie wysokiej wydajności w strategiach HFT. C nie dostarcza natywnego kolektora śmieci, dlatego konieczne jest, aby wszystkie elementy alokacji pamięci były przypisywane do alokacji pamięci w ramach implementacji obiektów. Chociaż potencjalnie podatne na błędy (potencjalnie prowadzące do zwisających wskaźników) niezwykle przydatne jest precyzyjne sterowanie sposobem, w jaki niektóre przedmioty pojawiają się na stosie. Wybierając język upewnij się, że działa jak zbieracz śmieci i czy można go zmodyfikować w celu optymalizacji w konkretnym przypadku użycia. Wiele operacji w algorytmicznych systemach handlowych podlega równoległości. Odnosi się to do koncepcji przeprowadzania wielu operacji programowych w tym samym czasie, tzn. Równolegle. Tak zwane algorytmy równoległe do embarassingly obejmują kroki, które można obliczyć w pełni niezależnie od innych kroków. Pewne operacje statystyczne, takie jak symulacje Monte Carlo, są dobrym przykładem algorytmów wciągających równolegle, ponieważ każda losowa kolejność i późniejsze operacje ścieżki można obliczyć bez wiedzy innych ścieżek. Inne algorytmy są tylko częściowo równoległe. Symulacje dynamiki płynów są takim przykładem, w którym domena obliczeniowa może być dzielona, ale ostatecznie te domeny muszą komunikować się ze sobą, a zatem operacje są częściowo sekwencyjne. Algorytmy równoległe podlegają Amdahls Law. co zapewnia teoretyczną górną granicę wzrostu wydajności algorytmu równoległego, gdy podlega on osobnym procesom (na przykład na rdzeniu procesora lub nici). Równoległość stała się coraz ważniejsza jako sposób na optymalizację, ponieważ procesor zegara prędkość stagnacji, jak nowsze procesory zawierają wiele rdzeni, z którymi do wykonywania równoległych obliczeń. Wzrost sprzętu graficznego konsumenckiego (głównie dla gier wideo) doprowadził do opracowania graficznych jednostek przetwarzania (GPU), które zawierają setki rdzeni dla bardzo równoczesnych operacji. Takie GPU są teraz bardzo przystępne. Ramy wysokiego szczebla, takie jak Nvidias CUDA, doprowadziły do powszechnego przyjęcia w środowiskach akademickich i finansowych. Taki sprzęt GPU generalnie nadaje się tylko do aspektów badawczych w dziedzinie finansów ilościowych, podczas gdy w przypadku (U) HFT wykorzystywane są inne bardziej wyspecjalizowane urządzenia (w tym FPGA). W dzisiejszych czasach większość nowoczesnych języków urzędowych wspiera stopień współbieżnego pogłębiania. Zatem łatwo jest zoptymalizować test typu backtester, ponieważ wszystkie obliczenia są na ogół niezależne od innych. Skalowanie w inżynierii oprogramowania i operacjach odnosi się do zdolności systemu do obsługi ciągle zwiększających się obciążeń w postaci większych żądań, wyższego wykorzystania procesora i większej alokacji pamięci. W handlu algorytmicznym strategia jest w stanie skalować, jeśli może zaakceptować większe ilości kapitału i nadal sprzyjać stałym zwrotom. Stos technologia handlowa jest skalowalna, jeśli może wytrzymać większe wielkości handlowe i zwiększoną latencję, bez wąskich gardeł. Podczas gdy systemy muszą być zaprojektowane do skalowania, często trudno przewidzieć, gdzie wystąpi wąskie gardło. Rygorystyczne rejestrowanie, testowanie, profilowanie i monitorowanie znacznie przyczyni się do umożliwienia skalowania systemu. Same języki są często opisywane jako niewykorzystane. Jest to zazwyczaj wynikiem dezinformacji, a nie faktu twardego. Jest to całość stosu technologii, który powinien być sprawdzony pod kątem skalowalności, a nie języka. Oczywiste jest, że niektóre języki mają większą wydajność niż inne w konkretnych przypadkach użycia, ale jeden język nigdy nie jest lepszy od innego w każdym sensie. Jednym ze sposobów zarządzania skalą jest oddzielenie obaw, jak wspomniano powyżej. W celu dalszego wprowadzania zdolności do obsługi skoków w systemie (tj. Nagłej niestabilności, która wyzwala tratę handlu), użyteczne jest utworzenie struktury kolejkowania wiadomości. Oznacza to po prostu umieszczenie kolejki komunikatów między elementami tak, aby zamówienia były układane, jeśli określony komponent nie jest w stanie przetworzyć wielu żądań. Zamiast żądania utracenia, po prostu trzyma się w stosie, dopóki nie zostanie obsłużony komunikat. Jest to szczególnie przydatne do wysyłania transakcji do silnika wykonawczego. Jeśli silnik cierpi w ciężkich czasach opóźnienia, to będzie kopia zapasowa transakcji. Kolejka między generatorem sygnału handlowego a API wykonawczym zmniejszy ten problem kosztem potencjalnego spadku obrotów handlowych. Dobrym szanowanym brokerem kolejki komunikatów o znaczeniu otwartym jest RabbitMQ. Sprzęt i systemy operacyjne Sprzęt działający w Twojej strategii może mieć znaczący wpływ na rentowność algorytmu. To nie jest kwestia ograniczona do handlowców o wysokiej częstotliwości. Niewielki wybór sprzętu i systemu operacyjnego może doprowadzić do awarii komputera lub ponownego uruchomienia komputera w najbardziej niewłaściwym momencie. W związku z tym należy rozważyć miejsce zamieszkania Twojego wniosku. Wybór jest zasadniczo między osobistym komputerem stacjonarnym, zdalnym serwerem, dostawcą chmury lub współużytkowanym serwerem wymiany. Maszyny stacjonarne są proste w instalacji i administracji, szczególnie w nowszych, przyjaznych dla użytkownika systemach operacyjnych, takich jak Windows 78, Mac OSX i Ubuntu. Systemy komputerowe mają jednak pewne wady. Najważniejsze jest to, że wersje systemów operacyjnych przeznaczonych dla komputerów stacjonarnych mogą wymagać ponownego uruchamiania komputera (a często w najgorszym czasie). Wykorzystują też więcej zasobów obliczeniowych dzięki temu, że wymagają graficznego interfejsu użytkownika (GUI). Wykorzystanie sprzętu w domu (lub lokalnym biurze) może powodować problemy z połączeniem internetowym i czasem przestojów. Główną zaletą systemu stacjonarnego jest to, że znaczna moc obliczeniowa może być zakupiona za ułamek kosztów zdalnego dedykowanego serwera (lub systemu opartego na chmurze) o porównywalnej prędkości. Serwer dedykowany lub maszyna do pracy z chmurami, często droższe od komputera stacjonarnego, pozwala na bardziej znaczącą infrastrukturę redundancji, taką jak zautomatyzowane tworzenie kopii zapasowych danych, możliwość łatwego kontrolowania czasu pracy i zdalnego monitorowania. Trudniejsze jest administrowanie, ponieważ wymagają one możliwości korzystania z funkcji zdalnego logowania systemu operacyjnego. W systemie Windows jest to ogólnie za pośrednictwem protokołu RDP (Remote Desktop Protocol) GUI. W systemach z rodziny Unix używany jest protokół Secure Shell (SSH). Infrastruktura serwera oparta na Unixu jest niemal zawsze oparta na wierszach poleceń, która natychmiast powoduje, że narzędzia programowania oparte na interfejsie GUI (np. MatLab lub Excel) nie nadają się do użytku. Skoordynowany serwer, będący frazą na rynkach kapitałowych, jest po prostu serwerem dedykowanym, który znajduje się w ramach wymiany, w celu zmniejszenia opóźnienia algorytmu handlu. Jest to bezwzględnie konieczne w przypadku niektórych strategii handlowych o wysokiej częstotliwości, które polegają na małym opóźnieniu w celu wygenerowania alfa. Ostatnim aspektem wyboru sprzętu i wyborem języka programowania jest niezależność platformy. Czy istnieje potrzeba uruchomienia kodu w wielu różnych systemach operacyjnych Czy kod przeznaczony do uruchamiania na określonym typie architektury procesora, na przykład Intel x86x64 lub będzie mógł być wykonywany na procesorach RISC, takich jak te produkowane przez firmę ARM Kwestie te będą wysoce uzależnione od częstotliwości i typu wdrażanej strategii. Sprężystość i testowanie Jednym z najlepszych sposobów na zdobycie dużej ilości pieniędzy na handel algorytmiczny jest stworzenie systemu bez odporności. Odnosi się to do trwałości sytem w przypadku rzadkich zdarzeń, takich jak bankructwo brokerów, nagłe nadmierne wahania, przestoje w całym regionie dla dostawcy usług w chmurze lub przypadkowe usunięcie całej bazy danych handlowych. Lata zysków można wyeliminować w ciągu kilku sekund z słabo zaprojektowaną architekturą. Niezbędne jest rozważenie takich kwestii, jak debuggowanie, testowanie, rejestrowanie, tworzenie kopii zapasowych, dostępność i monitorowanie jako główne składniki systemu. Jest prawdopodobne, że w dowolnie rozsądnie skomplikowanej, niestandardowej aplikacji ilościowej, co najmniej 50 czasu rozwoju zostanie wydane na debugowanie, testowanie i konserwację. Prawie wszystkie języki programowania wysyłane są z powiązanym debuggerem lub posiadają dobrze szanowane alternatywy innych firm. W istocie debugger umożliwia wykonanie programu z wstawieniem dowolnych punktów przerwania na ścieżce kodu, które tymczasowo wstrzymują wykonanie w celu zbadania stanu systemu. Główną zaletą debugowania jest możliwość zbadania zachowania kodu przed znanym punktem awarii. Debugowanie jest podstawowym składnikiem zestawu narzędzi do analizy błędów programowania. Są jednak powszechnie stosowane w językach skompilowanych, takich jak C czy Java, ponieważ interpretowane języki, takie jak Python, często są łatwiejsze do debugowania ze względu na mniej LOC i mniej zwrotnych wypowiedzi. Pomimo tej tendencji Python dostarcza pdb. który jest wyrafinowanym narzędziem debugowania. Microsoft Visual C IDE zawiera rozbudowane narzędzia debugowania interfejsu GUI, natomiast w przypadku programisty systemu Linux w wierszu komend debuger gdb istnieje. Testowanie w rozwoju oprogramowania odnosi się do procesu stosowania znanych parametrów i wyników do konkretnych funkcji, metod i obiektów w bazie kodu, w celu symulacji zachowania i oceny wielu ścieżek kodu, pomagając w zapewnieniu, że system zachowuje się tak, jak powinien. Niedawniejszy paradygmat jest znany jako Test Driven Development (TDD), w którym kod testowy jest rozwijany względem określonego interfejsu bez implementacji. Przed ukończeniem kodu źródłowego wszystkie testy nie powiedzie się. Gdy kod jest zapisywany, aby wypełnić puste pola, testy będą w końcu przechodzić, w którym punkcie powinno się zaprzestać rozwoju. TDD wymaga rozbudowanego projektu specyfikacji wstępnej oraz zdrowego poziomu dyscypliny w celu skutecznego działania. W języku C Boost dostarcza ramę testowania jednostkowego. W języku Java biblioteka JUnit istnieje w celu osiągnięcia tego samego celu. Python posiada również moduł unittest jako część biblioteki standardowej. Wiele innych języków posiada ramki testów jednostkowych i często jest wiele opcji. W środowisku produkcyjnym wyrafinowane rejestrowanie jest absolutnie konieczne. Logging refers to the process of outputting messages, with various degrees of severity, regarding execution behaviour of a system to a flat file or database. Logs are a first line of attack when hunting for unexpected program runtime behaviour. Unfortunately the shortcomings of a logging system tend only to be discovered after the fact As with backups discussed below, a logging system should be given due consideration BEFORE a system is designed. Both Microsoft Windows and Linux come with extensive system logging capability and programming languages tend to ship with standard logging libraries that cover most use cases. It is often wise to centralise logging information in order to analyse it at a later date, since it can often lead to ideas about improving performance or error reduction, which will almost certainly have a positive impact on your trading returns. While logging of a system will provide information about what has transpired in the past, monitoring of an application will provide insight into what is happening right now . All aspects of the system should be considered for monitoring. System level metrics such as disk usage, available memory, network bandwidth and CPU usage provide basic load information. Trading metrics such as abnormal pricesvolume, sudden rapid drawdowns and account exposure for different sectorsmarkets should also be continuously monitored. Further, a threshold system should be instigated that provides notification when certain metrics are breached, elevating the notification method (email, SMS, automated phone call) depending upon the severity of the metric. System monitoring is often the domain of the system administrator or operations manager. However, as a sole trading developer, these metrics must be established as part of the larger design. Many solutions for monitoring exist: proprietary, hosted and open source, which allow extensive customisation of metrics for a particular use case. Backups and high availability should be prime concerns of a trading system. Consider the following two questions: 1) If an entire production database of market data and trading history was deleted (without backups) how would the research and execution algorithm be affected 2) If the trading system suffers an outage for an extended period (with open positions) how would account equity and ongoing profitability be affected The answers to both of these questions are often sobering It is imperative to put in place a system for backing up data and also for testing the restoration of such data. Many individuals do not test a restore strategy. If recovery from a crash has not been tested in a safe environment, what guarantees exist that restoration will be available at the worst possible moment Similarly, high availability needs to be baked in from the start. Redundant infrastructure (even at additional expense) must always be considered, as the cost of downtime is likely to far outweigh the ongoing maintenance cost of such systems. I wont delve too deeply into this topic as it is a large area, but make sure it is one of the first considerations given to your trading system. Choosing a Language Considerable detail has now been provided on the various factors that arise when developing a custom high-performance algorithmic trading system. The next stage is to discuss how programming languages are generally categorised. Type Systems When choosing a language for a trading stack it is necessary to consider the type system . The languages which are of interest for algorithmic trading are either statically - or dynamically-typed . A statically-typed language performs checks of the types (e. g. integers, floats, custom classes etc) during the compilation process. Such languages include C and Java. A dynamically-typed language performs the majority of its type-checking at runtime. Such languages include Python, Perl and JavaScript. For a highly numerical system such as an algorithmic trading engine, type-checking at compile time can be extremely beneficial, as it can eliminate many bugs that would otherwise lead to numerical errors. However, type-checking doesnt catch everything, and this is where exception handling comes in due to the necessity of having to handle unexpected operations. Dynamic languages (i. e. those that are dynamically-typed) can often lead to run-time errors that would otherwise be caught with a compilation-time type-check. For this reason, the concept of TDD (see above) and unit testing arose which, when carried out correctly, often provides more safety than compile-time checking alone. Another benefit of statically-typed languages is that the compiler is able to make many optimisations that are otherwise unavailable to the dynamically - typed language, simply because the type (and thus memory requirements) are known at compile-time. In fact, part of the inefficiency of many dynamically-typed languages stems from the fact that certain objects must be type-inspected at run-time and this carries a performance hit. Libraries for dynamic languages, such as NumPySciPy alleviate this issue due to enforcing a type within arrays. Open Source or Proprietary One of the biggest choices available to an algorithmic trading developer is whether to use proprietary (commercial) or open source technologies. There are advantages and disadvantages to both approaches. It is necessary to consider how well a language is supported, the activity of the community surrounding a language, ease of installation and maintenance, quality of the documentation and any licensingmaintenance costs. The Microsoft stack (including Visual C, Visual C) and MathWorks MatLab are two of the larger proprietary choices for developing custom algorithmic trading software. Both tools have had significant battle testing in the financial space, with the former making up the predominant software stack for investment banking trading infrastructure and the latter being heavily used for quantitative trading research within investment funds. Microsoft and MathWorks both provide extensive high quality documentation for their products. Further, the communities surrounding each tool are very large with active web forums for both. The software allows cohesive integration with multiple languages such as C, C and VB, as well as easy linkage to other Microsoft products such as the SQL Server database via LINQ. MatLab also has many pluginslibraries (some free, some commercial) for nearly any quantitative research domain. There are also drawbacks. With either piece of software the costs are not insignificant for a lone trader (although Microsoft does provide entry-level version of Visual Studio for free). Microsoft tools play well with each other, but integrate less well with external code. Visual Studio must also be executed on Microsoft Windows, which is arguably far less performant than an equivalent Linux server which is optimally tuned. MatLab also lacks a few key plugins such as a good wrapper around the Interactive Brokers API, one of the few brokers amenable to high-performance algorithmic trading. The main issue with proprietary products is the lack of availability of the source code. This means that if ultra performance is truly required, both of these tools will be far less attractive. Open source tools have been industry grade for sometime. Much of the alternative asset space makes extensive use of open-source Linux, MySQLPostgreSQL, Python, R, C and Java in high-performance production roles. However, they are far from restricted to this domain. Python and R, in particular, contain a wealth of extensive numerical libraries for performing nearly any type of data analysis imaginable, often at execution speeds comparable to compiled languages, with certain caveats. The main benefit of using interpreted languages is the speed of development time. Python and R require far fewer lines of code (LOC) to achieve similar functionality, principally due to the extensive libraries. Further, they often allow interactive console based development, rapidly reducing the iterative development process. Given that time as a developer is extremely valuable, and execution speed often less so (unless in the HFT space), it is worth giving extensive consideration to an open source technology stack. Python and R possess significant development communities and are extremely well supported, due to their popularity. Documentation is excellent and bugs (at least for core libraries) remain scarce. Open source tools often suffer from a lack of a dedicated commercial support contract and run optimally on systems with less-forgiving user interfaces. A typical Linux server (such as Ubuntu) will often be fully command-line oriented. In addition, Python and R can be slow for certain execution tasks. There are mechanisms for integrating with C in order to improve execution speeds, but it requires some experience in multi-language programming. While proprietary software is not immune from dependencyversioning issues it is far less common to have to deal with incorrect library versions in such environments. Open source operating systems such as Linux can be trickier to administer. I will venture my personal opinion here and state that I build all of my trading tools with open source technologies. In particular I use: Ubuntu, MySQL, Python, C and R. The maturity, community size, ability to dig deep if problems occur and lower total cost ownership (TCO) far outweigh the simplicity of proprietary GUIs and easier installations. Having said that, Microsoft Visual Studio (especially for C) is a fantastic Integrated Development Environment (IDE) which I would also highly recommend. Batteries Included The header of this section refers to the out of the box capabilities of the language - what libraries does it contain and how good are they This is where mature languages have an advantage over newer variants. C, Java and Python all now possess extensive libraries for network programming, HTTP, operating system interaction, GUIs, regular expressions (regex), iteration and basic algorithms. C is famed for its Standard Template Library (STL) which contains a wealth of high performance data structures and algorithms for free. Python is known for being able to communicate with nearly any other type of systemprotocol (especially the web), mostly through its own standard library. R has a wealth of statistical and econometric tools built in, while MatLab is extremely optimised for any numerical linear algebra code (which can be found in portfolio optimisation and derivatives pricing, for instance). Outside of the standard libraries, C makes use of the Boost library, which fills in the missing parts of the standard library. In fact, many parts of Boost made it into the TR1 standard and subsequently are available in the C11 spec, including native support for lambda expressions and concurrency. Python has the high performance NumPySciPyPandas data analysis library combination, which has gained widespread acceptance for algorithmic trading research. Further, high-performance plugins exist for access to the main relational databases, such as MySQL (MySQLC), JDBC (JavaMatLab), MySQLdb (MySQLPython) and psychopg2 (PostgreSQLPython). Python can even communicate with R via the RPy plugin An often overlooked aspect of a trading system while in the initial research and design stage is the connectivity to a broker API. Most APIs natively support C and Java, but some also support C and Python, either directly or with community-provided wrapper code to the C APIs. In particular, Interactive Brokers can be connected to via the IBPy plugin. If high-performance is required, brokerages will support the FIX protocol . Conclusion As is now evident, the choice of programming language(s) for an algorithmic trading system is not straightforward and requires deep thought. The main considerations are performance, ease of development, resiliency and testing, separation of concerns, familiarity, maintenance, source code availability, licensing costs and maturity of libraries. The benefit of a separated architecture is that it allows languages to be plugged in for different aspects of a trading stack, as and when requirements change. A trading system is an evolving tool and it is likely that any language choices will evolve along with it. Just Getting Started with Quantitative TradingBuilding Automated Trading Systems Over the next few years, the proprietary trading and hedge fund industries will migrate largely to automated trade selection and execution systems. Rzeczywiście tak się dzieje. Podczas gdy kilka książek finansowych udostępnia kod C do wyceny instrumentów pochodnych i dokonywania obliczeń numerycznych, żaden z nich nie pochodzi z perspektywy projektu systemu. Książka ta zostanie podzielona na dwie sekcje - techniki programowania i zautomatyzowanego systemu obrotu (ATS) - i nauczą się projektowania i rozwoju systemu finansowego z absolutnego punktu widzenia przy użyciu programu Microsoft Visual C 2005. Program MS Visual C 2005 został wybrany jako język implementacji głównie ponieważ większość firm handlowych i dużych banków opracowała i nadal rozwija własne algorytmy w ISO C i Visual C zapewnia największą elastyczność włączania tych starszych algorytmów do systemów roboczych. Ponadto środowisko Framework i środowisko programistyczne zapewnia najlepsze biblioteki i narzędzia umożliwiające szybki rozwój systemów handlowych. Pierwsza część książki wyjaśnia szczegółowo program Visual C 2005 i skupia się na wymaganej wiedzy programistycznej na potrzeby automatycznego rozwoju systemu handlu, w tym projektowania zorientowanego obiektowo, delegatów i wydarzeń, wyliczeń, generowania liczb losowych, obiektów czasowych i czasowych oraz zarządzania danymi za pomocą STL i kolekcje. Ponadto, ponieważ większość starszych kodów i kodów modelowania na rynkach finansowych odbywa się w systemie ISO C, ta książka zawiera szczegółowe poglądy na kilka zaawansowanych tematów związanych z udoskonalonym zarządzaniem pamięcią i interoperacyjnością. Ponadto ta książka zawiera dziesiątki przykładów ilustrujących korzystanie z łączności z bazą danych ADO i szerokie traktowanie SQL i FIX oraz XMLFIXML. Zaawansowane tematy programowania, takie jak gwintowanie, gniazda, a także korzystanie z funkcji C do łączenia się z programem Excel są również omawiane na dłuższy czas i obsługiwane przez przykłady. W drugiej części książki wyjaśniono obawy technologiczne i koncepcje projektowe dla zautomatyzowanych systemów obrotu. W szczególności rozdziały poświęcone są przetwarzaniu danych w czasie rzeczywistym, zarządzaniu zamówieniami w książce zamówień, wyborze pozycji i zarządzaniu ryzykiem. Plik. dll zawiera książkę, która będzie emulować połączenie z szeroko stosowanym przemysłowym interfejsem API (Trading Technologies, Inc. s XTAPI) i dostarczyć sposobów testowania algorytmów zarządzania pozycją i zarządzaniem. Wzorce projektowe są prezentowane dla systemów odbioru rynkowego w oparciu o analizę techniczną, jak również dla systemów rynkowych wykorzystujących międzygrupowe rozrzuty. Ponieważ wszystkie rozdziały dotyczą programowania komputerowego dla inżynierii finansowej i rozwoju systemu handlowego, książka ta będzie edukować handlowców, inżynierów finansowych, analityków ilościowych, studentów finansów ilościowych, a nawet doświadczonych programistów dotyczących zagadnień technologicznych, które koncentrują się wokół rozwoju aplikacji finansowych w firmie Microsoft środowisko oraz budowę i wdrażanie systemów i narzędzi handlowych w czasie rzeczywistym. Teaches financial system design and development from the ground up using Microsoft Visual C 2005. Provides dozens of examples illustrating the programming approaches in the book Chapters are supported by screenshots, equations, sample Excel spreadsheets, and programming code Share This eBook More eBooks in Finance 612 9045 4394 Monday - Friday, 9am - 5pm Sydney time copy 2003 - 2017 Booktopia Pty Ltd.
No comments:
Post a Comment