# Projektplan: Meilenstein Daten-Infrastruktur

*Datum: 13. Juni 2025*

## Status: Design-Phase abgeschlossen, Basis-Implementierung erfolgt

---

## Stufe 1: Asynchrone Datenstrom-Schnittstelle (`IDataStream<T>`) - **ABGESCHLOSSEN**

* **Motivation**: Das ursprüngliche, zustandsbehaftete Design war für die Verarbeitung asynchron eintreffender Daten (z.B. von `TFuture`-Objekten) zu komplex und fehleranfällig.

* **Ziel**: Die Schaffung eines robusten, ereignisgesteuerten und non-blocking Modells, das den Datenproduzenten sauber vom Konsumenten entkoppelt.

* **Ergebnis**:
    * Die `IDataStream<T>`-Schnittstelle wurde überarbeitet. Die `HasData`-Eigenschaft liefert nun ein `TSignal`, das Konsumenten aktiv über potenziell neue Daten informiert.
    * Die Referenzimplementierung `TAuraFileStream<T>` wurde erfolgreich angepasst und nutzt eine saubere Ereignis-Kopplung (`Subscribe`) für eine robuste und wartungsarme Logik.
    * Die korrekte Funktionalität wurde durch eine angepasste DUnitX-Test-Suite verifiziert.

---

## Stufe 2: Abstraktion für Handelssysteme (`IDataSeriesProvider`) - **ENTWORFEN**

* **Motivation**: Ein Handelssystem benötigt einen stets validen und kontinuierlichen Daten-Lookback. Ein roher `IDataStream<T>` kann dies nicht garantieren, da Lücken in den Daten auftreten können (z.B. beim Übergang von Historie zu Live).

* **Ziel**: Die Konzeption einer übergeordneten Abstraktionsschicht, die diese komplexe Anforderung kapselt, die Datenintegrität sicherstellt und dem Handelssystem eine einfache, sichere Schnittstelle bietet.

* **Ergebnis**:
    Entworfen wurde der `IDataSeriesProvider`, der als "Black Box" für das Handelssystem fungiert und die Komplexität der Datenbeschaffung vollständig verbirgt. Er wurde mit zwei unterschiedlichen, vom Anwender wählbaren Betriebsmodi konzipiert:

    ### Modus 1: "Live-Handel"
    * **Motivation**: Um einen echten **"Sofort-Start"** im Live-Handel zu ermöglichen, muss die Lücke zwischen den statischen, lokalen Historiendaten und dem aktuellen Zeitpunkt geschlossen werden.
    * **Ziel**: Ein lückenloser, tagesaktueller Start des Handelssystems ohne manuelles Eingreifen oder lange Wartezeiten für den Nutzer.
    * **Ergebnis**: Das Design einer **Drei-Phasen-Synchronisation**: (1) Lokale History laden, (2) "Catch-up"-Daten vom Broker holen, (3) auf den Live-Stream umschalten.

    ### Modus 2: "Simulation & Backtest"
    * **Motivation**: Für Entwicklung, Test und Analyse muss die Software **völlig autonom** und ohne Abhängigkeit von einer externen, potenziell nicht verfügbaren Broker-API lauffähig sein.
    * **Ziel**: Einen "Sofort-Start" für Backtests zu jedem beliebigen Zeitpunkt in der Vergangenheit zu ermöglichen, der rein auf lokalen Dateien basiert.
    * **Ergebnis**: Ein Design, bei dem der relevante Datenkontext in den Speicher geladen wird, um von dort aus einen schnellen Start und ein "Playback" der Daten zu ermöglichen.
This commit is contained in:
Michael Schimmel
2025-06-13 10:50:40 +02:00
parent 8ca85473d7
commit 4d67e587ba
6 changed files with 228 additions and 98 deletions
@@ -1,4 +1,4 @@
Zweck und Ziele # Zweck und Ziele
* Unterstütze mich bei der Entwicklung unter Embarcadero Delphi. * Unterstütze mich bei der Entwicklung unter Embarcadero Delphi.
* Ich bin ein sehr erfahrener Softwareentwickler. Fasse dich kurz und nutze Fachsprache. * Ich bin ein sehr erfahrener Softwareentwickler. Fasse dich kurz und nutze Fachsprache.
@@ -6,7 +6,7 @@ Zweck und Ziele
Regeln # Allgemeine Regeln
* Sprache im Code und in den Kommentaren: Englisch * Sprache im Code und in den Kommentaren: Englisch
* Sprache im Chat: Deutsch * Sprache im Chat: Deutsch
@@ -25,14 +25,21 @@ Regeln
* Erkläre niemals grundlegende Syntax, es sei denn ich frage ausdrücklich danach. * Erkläre niemals grundlegende Syntax, es sei denn ich frage ausdrücklich danach.
* Fasse dich kurz. * Fasse dich kurz. Behalte den Kontext während der gesamten Konversation bei. Alle Ideen und Antworten sollen mit der vorherigen Diskussion in Verbindung stehen. Schweife nicht ab.
* Behalte den Kontext während der gesamten Konversation bei. Alle Ideen und Antworten sollen mit der vorherigen Diskussion in Verbindung stehen. Schweife nicht ab.
* Wenn ich unvollständigen Code poste, erstelle einen Plan, wie die Implementierung aussehen könnte und präsentiere ihn kurz und prägnant. * Wenn ich unvollständigen Code poste, erstelle einen Plan, wie die Implementierung aussehen könnte und präsentiere ihn kurz und prägnant.
# TODO
Code-Generierung * Wenn ich Code poste, der einen TODO-Eintrag enthält, dann implementiere die dort spezifizierten Anforderungen.
* Ändere *nicht* den umliegenden Code. Nutze den vorhandenen Kontext um die Anforderung zu erledigen.
* Dokumentiere die Änderung knapp direkt im Code.
* Gib mir als Ergebnis den vollständigen Codeblock zurück.
# Code-Generierung
* Befolge die gängigen Delphi-Formatierungsstandards mit folgenden Ausnahmen: * Befolge die gängigen Delphi-Formatierungsstandards mit folgenden Ausnahmen:
@@ -67,35 +74,58 @@ Code-Generierung
* begin und end stehen am Anfang einer neuen Zeile. then steht nie am Anfang einer neuen Zeile. * begin und end stehen am Anfang einer neuen Zeile. then steht nie am Anfang einer neuen Zeile.
* RECORDs, die einen Initialize-Operator haben, sind Managed Records. Sie benötigen also kein explizites Create. * RECORDs, die einen Initialize-Operator haben, sind Managed Records. Sie benötigen also kein explizites Create.
Unit-Tests # Unit-Tests
* Verwende nur statische Strings für Log-Einträge und Asserts. Keine Format(), ToString usw. (Das verursacht Speicherlecks außerhalb des Test-Gültigkeitsbereichs, sodass ein Leak vom Memory Manager gemeldet wird.) * Verwende nur statische Strings für Log-Einträge und Asserts. Keine Format(), ToString usw. (Das verursacht Speicherlecks außerhalb des Test-Gültigkeitsbereichs, sodass ein Leak vom Memory Manager gemeldet wird.)
* Verwende das Attribut für parametrische Tests, z. B. [TestCase('TestName', 'Parameter1,Parameter2,...')] * Verwende das Attribut für parametrische Tests, z. B. [TestCase('TestName', 'Parameter1,Parameter2,...')]
Kommentare im Code # Kommentare im Code
* Vermeide jegliche Kommentare, die Änderungen am Code beschreiben. Z.B. "// hier wurde was geändert". Das mag ich gar nicht. * Vermeide jegliche Kommentare, die Änderungen am Code beschreiben. Z.B. `// hier wurde was geändert`. Das mag ich gar nicht.
* Benutze keine HTML-Tags (<summary>, etc.)! * Benutze keine HTML-Tags (`<summary>`, etc.)!
* Benutze "//" oder "(* *)" und fasse dich extrem kurz. Meistens genügen Einzeiler vor den Deklarationen. * Benutze `//` oder `(* *)` und fasse dich extrem kurz. Meistens genügen Einzeiler vor den Deklarationen.
* Kommentare in der interface-Sektion einer Unit sollen die Schnittstelle dokumentieren. Dokumentiere ausschließlich Elemente, die auch von außen zugänglich sind. Und beziehe dich nur auf Elemente, die von außen zugänglich sind. Im Interface wird beschrieben, WAS eine Funktion macht. Es wird nicht beschrieben WIE sie es macht! * Kommentare in der interface-Sektion einer Unit sollen die Schnittstelle dokumentieren. Dokumentiere ausschließlich Elemente, die auch von außen zugänglich sind. Und beziehe dich nur auf Elemente, die von außen zugänglich sind. Im Interface wird beschrieben, WAS eine Funktion macht. Es wird nicht beschrieben WIE sie es macht!
* Kommentare im Implementation-Teil sollten sehr sparsam eingesetzt werden. Sie sind nur nötig, wenn etwas wirklich kompliziertes Beschrieben werden muss und auch nur, wenn sich die Funktion nicht aus dem Quelltext ergibt. * Kommentare im Implementation-Teil sollten sehr sparsam eingesetzt werden. Sie sind nur nötig, wenn etwas wirklich kompliziertes Beschrieben werden muss und auch nur, wenn sich die Funktion nicht aus dem Quelltext ergibt.
Interface helper # Projektplan
* Ein "interface helper" ist ein record, das immer nur genau ein Interface referenziert. Wenn ich dich dazu auffordere sollst du ihn so weit wie möglich selbst erzeugen, oder einen unvollständigen helper ergänzen. Auf jeden Fall enthält ein interface helper: * **Wenn ich dich darum bitte**, erzeuge eine Zusammenfassung der Ergebnisse unserer Unterhaltung. Diese möchte ich in einen externen Projektplan kopieren.
- Formatiere in Markdown. Gib als Antwort nur den Projektplan aus (damit ich ihn direkt kopieren kann).
- Füge Datum und Uhrzeit hinzu.
- Gliedere in der Reihenfolge: Motivation - Ziel - Ergebnis
- Fass dich kurz
# Interface helper
**Interface helper** sind ein Konzept, dass *nicht* explizit in Delphi/Pascal verankert ist. Es werden stattdessen managed records benutzt um ein Interface zu kapseln und die zugrundeliegende Implementierung vollständig zu verbergen.
- Ein "interface helper" ist ein managed record, das immer nur **genau ein** Interface referenziert.
- Es verbirgt die verschiedenen Implementierungen des Interface und fungiert als generische "Instanz" des interface.
- interface helper unterstützen das **null object pattern**. Der Sinn dieses Patterns ist es, nil-Prüfungen überflüssig zu machen und stattdessen ein Null-Objekt mit definiertem "leerem" Verhalten zu haben.
- Die Implementierungen des Interfaces finden sich oft in "Core"-Klassen, oder im implementation-Teil der Unit. Diese Implementierungen sollen von Benutzern nicht direkt eingebunden werden (außer zum Testen.)
* Wenn ich dich dazu auffordere sollst du ihn so weit wie möglich selbst erzeugen, oder einen unvollständigen helper ergänzen. Auf jeden Fall enthält ein interface helper:
- einen Konstruktor - einen Konstruktor
- zwei implicit-operatoren, die vom helper zum interface casten (und umgekehrt) - zwei implicit-operatoren, die vom helper zum interface casten (und umgekehrt)
- Wrapper für die Methoden und Properties des Interface. - Wrapper für die Methoden und Properties des Interface.
- ein optionales class property "Null". - ein class property "Null".
Beispiel: * Immer wenn ein interface helper für ein interface vorhanden wird, soll er auch benutzt werden. Greife nicht direkt auf die Implementierung zu, lasse den helper das erledigen.
## Beispiel:
```
type type
IFuture = interface IFuture = interface
function GetValue: T; function GetValue: T;
@@ -124,7 +154,7 @@ type
class property Null: IFuture read FNull; class property Null: IFuture read FNull;
// Wrapper methods for IFuture // Wrapper methods for IFuture
property Done: TState read GetDone; property Done: TState read GetDone;
property Value: T read GetValue; property Value: T read GetValue;
end; end;
@@ -165,3 +195,5 @@ function TFuture<T>.GetValue: T;
begin begin
Result := FFuture.Value; Result := FFuture.Value;
end; end;
```
+15 -3
View File
@@ -170,7 +170,11 @@ begin
ATimeStamp := EncodeDate(2020, 7, 7); // Oldest item ATimeStamp := EncodeDate(2020, 7, 7); // Oldest item
expectedIndex := 9; expectedIndex := 9;
Assert.AreEqual(expectedIndex, FSeries.IndexOf(ATimeStamp), 'IndexOf for the oldest existing item timestamp should return its correct index'); Assert.AreEqual(
expectedIndex,
FSeries.IndexOf(ATimeStamp),
'IndexOf for the oldest existing item timestamp should return its correct index'
);
end; end;
// Tests finding the index for a timestamp that falls between two existing items. // Tests finding the index for a timestamp that falls between two existing items.
@@ -183,7 +187,11 @@ begin
ATimeStamp := EncodeDate(2020, 7, 7) + 0.5; // 12:00 on the day of the oldest item ATimeStamp := EncodeDate(2020, 7, 7) + 0.5; // 12:00 on the day of the oldest item
expectedIndex := Int64(9); // Should find the item from 00:00 expectedIndex := Int64(9); // Should find the item from 00:00
Assert.AreEqual(expectedIndex, FSeries.IndexOf(ATimeStamp), 'IndexOf for a non-existing timestamp should return the index of the immediately preceding item'); Assert.AreEqual(
expectedIndex,
FSeries.IndexOf(ATimeStamp),
'IndexOf for a non-existing timestamp should return the index of the immediately preceding item'
);
end; end;
// Tests finding a timestamp that is older than any item in the series. // Tests finding a timestamp that is older than any item in the series.
@@ -209,7 +217,11 @@ begin
baseTime := EncodeDate(2020, 7, 7); baseTime := EncodeDate(2020, 7, 7);
ATimeStamp := baseTime + 10; // A day after the newest item ATimeStamp := baseTime + 10; // A day after the newest item
Assert.AreEqual(Int64(0), FSeries.IndexOf(ATimeStamp), 'IndexOf for a timestamp after the newest item should return the index of the newest item'); Assert.AreEqual(
Int64(0),
FSeries.IndexOf(ATimeStamp),
'IndexOf for a timestamp after the newest item should return the index of the newest item'
);
end; end;
// Specifically tests finding the exact oldest item. // Specifically tests finding the exact oldest item.
+41 -21
View File
@@ -81,42 +81,62 @@ end;
procedure TTest_TABFileServer_Equivalence.Test_ServerReturnsSameDataAs_LoadDataSeries; procedure TTest_TABFileServer_Equivalence.Test_ServerReturnsSameDataAs_LoadDataSeries;
var var
chunk: array[0..C_MAX_FETCH - 1] of TDataPoint<TAskBidItem>; chunk: array[0..C_MAX_FETCH - 1] of TDataPoint<TAskBidItem>;
Dst: TArray<TDataPoint<TAskBidItem>>; dst: TArray<TDataPoint<TAskBidItem>>;
i: Int64; i: Int64;
n: Integer;
cnt: Int64;
timeout: Integer;
filename: string;
expectedData: TArray<TDataPoint<TAskBidItem>>;
begin begin
// Loads the expected data directly using TAskBid.LoadDataSeries.WaitFor. // 1. Expected data is loaded directly using LoadDataSeries.
filename := TAuraTABFileServer.FindFirstDataFile(C_TEST_PATH, C_TEST_SYMBOL);
Assert.IsNotEmpty(filename, 'Test data file could not be found.');
var Filename := TAuraTABFileServer.FindFirstDataFile(C_TEST_PATH, C_TEST_SYMBOL); expectedData := FServer.LoadDataSeries(filename).WaitFor;
SetLength(dst, Length(expectedData));
Assert.IsNotEmpty(Filename); // 2. Fetch data chunks from the stream until all data is retrieved.
cnt := 0;
var ExpectedData := FServer.LoadDataSeries(Filename).WaitFor; timeout := 0;
SetLength(Dst, Length(ExpectedData)); while (cnt < Length(expectedData)) do
var cnt: Int64 := 0;
var n: Integer;
// Fetches data chunks from the server until all data is retrieved or server indicates live data.
while not FStream.IsLiveData.Value and (cnt < Length(Dst)) do
begin begin
n := FStream.GetChunk(chunk); n := FStream.GetChunk(chunk);
if n > 0 then if n > 0 then
Move(chunk[0], dst[cnt], n * sizeof(TDataPoint<TAskBidItem>)); begin
inc(cnt, n); Move(chunk[0], dst[cnt], n * SizeOf(TDataPoint<TAskBidItem>));
Inc(cnt, n);
timeout := 0; // Reset timeout on progress
end
else
begin
// If GetChunk returns 0, the stream might be waiting for async I/O.
// A small sleep prevents a tight loop from consuming 100% CPU.
Sleep(1);
Inc(timeout);
Assert.IsTrue(timeout < 5000, 'Test timed out waiting for data from stream.');
end;
end; end;
// 3. A final call should return 0, as the stream must be depleted.
n := FStream.GetChunk(chunk);
Assert.AreEqual(0, n, 'Stream returned data after it should have been depleted.');
n := FStream.GetChunk(chunk);
Assert.AreEqual(0, n, 'Stream returned data after it should have been depleted.');
// --- Assertions --- // --- Assertions ---
// 1. Verify that the total number of records fetched from the server matches the expected count. // 4. Verify that the total number of records fetched matches the expected count.
Assert.AreEqual(Length(ExpectedData), cnt, 'Data record count mismatch'); Assert.AreEqual(Length(expectedData), cnt, 'Data record count mismatch.');
// 2. Verify that the content of each record is identical. // 5. Verify that the content of each record is identical.
// The loop checks every 1000th element for efficiency. // The loop checks every 1000th element for efficiency.
for n := 0 to High(ExpectedData) div 1000 do for n := 0 to High(expectedData) div 1000 do
begin begin
i := n * 1000; i := n * 1000;
Assert.AreEqual(ExpectedData[i].Time, Dst[i].Time, 'Timestamp mismatch'); Assert.AreEqual(expectedData[i].Time, dst[i].Time, 'Timestamp mismatch at index ' + i.ToString);
Assert.AreEqual(ExpectedData[i].Data.Ask, Dst[i].Data.Ask, 'Ask price mismatch'); Assert.AreEqual(expectedData[i].Data.Ask, dst[i].Data.Ask, 'Ask price mismatch at index ' + i.ToString);
Assert.AreEqual(ExpectedData[i].Data.Bid, Dst[i].Data.Bid, 'Bid price mismatch'); Assert.AreEqual(expectedData[i].Data.Bid, dst[i].Data.Bid, 'Bid price mismatch at index ' + i.ToString);
end; end;
end; end;
+56 -17
View File
@@ -22,7 +22,7 @@ type
// A time-ordered series of data points, optimized for chronological additions. // A time-ordered series of data points, optimized for chronological additions.
// The most recently added element has the logical index 0. // The most recently added element has the logical index 0.
TDataSeries<T> = record TDataSeries<T: record> = record
private private
const const
ChunkSize = 1024; ChunkSize = 1024;
@@ -31,12 +31,18 @@ type
private private
FChunks: TArray<TChunk>; FChunks: TArray<TChunk>;
FCount: Int64; FCount: Int64;
// Converts a logical index (0=newest) to a physical storage index (0=oldest).
function LogicalToPhysicalIndex(LogicalIndex: Int64): Int64; inline;
function GetCount: Int64; function GetCount: Int64;
function GetData(Idx: Int64): T;
function GetItems(Idx: Int64): TDataPoint<T>; function GetItems(Idx: Int64): TDataPoint<T>;
function GetTime(Idx: Int64): TDateTime;
procedure SetData(Idx: Int64; const Value: T);
public public
// Adds a new data point to the series. // Adds a new data point to the series.
procedure Add(const Data: TDataPoint<T>); procedure Add(const Data: TDataPoint<T>);
// Clears all data from the series.
procedure Clear;
// Searches for a data point by its timestamp. // Searches for a data point by its timestamp.
// Returns the logical index of the matching item. // Returns the logical index of the matching item.
// If no exact match, returns the index of the item immediately preceding the timestamp. // If no exact match, returns the index of the item immediately preceding the timestamp.
@@ -47,10 +53,11 @@ type
class operator Finalize(var Dest: TDataSeries<T>); class operator Finalize(var Dest: TDataSeries<T>);
property Count: Int64 read GetCount; property Count: Int64 read GetCount;
// Accesses data points by their logical index. // Accesses data points by their logical index.
// Index 0 is the newest element, Index (Count - 1) is the oldest. // Index 0 is the newest element, Index (Count - 1) is the oldest.
property Items[Idx: Int64]: TDataPoint<T> read GetItems; default; property Items[Idx: Int64]: TDataPoint<T> read GetItems; default;
property Time[Idx: Int64]: TDateTime read GetTime;
property Data[Idx: Int64]: T read GetData write SetData;
end; end;
implementation implementation
@@ -75,17 +82,14 @@ end;
procedure TDataSeries<T>.Add(const Data: TDataPoint<T>); procedure TDataSeries<T>.Add(const Data: TDataPoint<T>);
begin begin
// Enforce chronological order: new items cannot be older than the newest existing item. // Enforce chronological order for new items.
// This is a prerequisite for the binary search in IndexOf to work correctly. Assert((FCount = 0) or (Data.Time >= GetTime(0)), 'Time stamp older than last item');
Assert((Length(FChunks) = 0) or (Data.Time >= GetItems(0).Time), 'Time stamp older than last item');
var ci := FCount div ChunkSize; var ci := FCount div ChunkSize;
var di := FCount mod ChunkSize; var di := FCount mod ChunkSize;
if di = 0 then if (di = 0) then
begin begin
Assert(ci = Length(FChunks));
Assert(di = 0);
SetLength(FChunks, ci + 1); SetLength(FChunks, ci + 1);
SetLength(FChunks[ci], ChunkSize); SetLength(FChunks[ci], ChunkSize);
end; end;
@@ -94,10 +98,15 @@ begin
Inc(FCount); Inc(FCount);
end; end;
procedure TDataSeries<T>.Clear;
begin
FChunks := nil;
FCount := 0;
end;
class operator TDataSeries<T>.Finalize(var Dest: TDataSeries<T>); class operator TDataSeries<T>.Finalize(var Dest: TDataSeries<T>);
begin begin
Dest.FChunks := nil; Dest.Clear;
Dest.FCount := 0;
end; end;
function TDataSeries<T>.GetCount: Int64; function TDataSeries<T>.GetCount: Int64;
@@ -105,12 +114,28 @@ begin
Result := FCount; Result := FCount;
end; end;
function TDataSeries<T>.GetItems(Idx: Int64): TDataPoint<T>; function TDataSeries<T>.GetData(Idx: Int64): T;
var
physicalIndex: Int64;
begin begin
Assert((Idx >= 0) and (Idx < FCount)); physicalIndex := LogicalToPhysicalIndex(Idx);
// Convert logical index (0 = newest) to physical index (0 = oldest). Result := FChunks[physicalIndex div ChunkSize][physicalIndex mod ChunkSize].Data;
Idx := FCount - Idx - 1; end;
Result := FChunks[Idx div ChunkSize][Idx mod ChunkSize];
function TDataSeries<T>.GetItems(Idx: Int64): TDataPoint<T>;
var
physicalIndex: Int64;
begin
physicalIndex := LogicalToPhysicalIndex(Idx);
Result := FChunks[physicalIndex div ChunkSize][physicalIndex mod ChunkSize];
end;
function TDataSeries<T>.GetTime(Idx: Int64): TDateTime;
var
physicalIndex: Int64;
begin
physicalIndex := LogicalToPhysicalIndex(Idx);
Result := FChunks[physicalIndex div ChunkSize][physicalIndex mod ChunkSize].Time;
end; end;
class operator TDataSeries<T>.Initialize(out Dest: TDataSeries<T>); class operator TDataSeries<T>.Initialize(out Dest: TDataSeries<T>);
@@ -134,7 +159,7 @@ begin
while (low <= high) do while (low <= high) do
begin begin
mid := low + (high - low) div 2; mid := low + (high - low) div 2;
dataPointTime := GetItems(mid).Time; dataPointTime := GetTime(mid);
if (dataPointTime = TimeStamp) then if (dataPointTime = TimeStamp) then
begin begin
@@ -153,4 +178,18 @@ begin
end; end;
end; end;
function TDataSeries<T>.LogicalToPhysicalIndex(LogicalIndex: Int64): Int64;
begin
Assert((LogicalIndex >= 0) and (LogicalIndex < FCount), 'Logical index is out of bounds.');
Result := FCount - LogicalIndex - 1;
end;
procedure TDataSeries<T>.SetData(Idx: Int64; const Value: T);
var
physicalIndex: Int64;
begin
physicalIndex := LogicalToPhysicalIndex(Idx);
FChunks[physicalIndex div ChunkSize][physicalIndex mod ChunkSize].Data := Value;
end;
end. end.
+68 -41
View File
@@ -31,18 +31,24 @@ uses
type type
// Represents a generic data stream capable of providing sequential data chunks. // Represents a generic data stream capable of providing sequential data chunks.
// IsHistory:
// - true, if this stream is a history stream. Once HasData becomes false, it reached it's end and will not provide more data.
// - false, we expect more Data to come. This stream has no end.
// HasData: set, if a call to GetChunk will return new data.
IDataStream<T> = interface IDataStream<T> = interface
['{A6E246A2-E84E-49AB-A63E-333E561E488C}'] ['{A6E246A2-E84E-49AB-A63E-333E561E488C}']
function GetIsLiveData: TMutable<Boolean>; function GetHasData: TSignal;
function GetChunk(var Data: array of TDataPoint<T>): Integer; function GetChunk(var Data: array of TDataPoint<T>): Integer;
property IsLiveData: TMutable<Boolean> read GetIsLiveData; function IsHistory: Boolean;
property HasData: TSignal read GetHasData;
end; end;
// Abstract base class for IDataStream implementations. // Abstract base class for IDataStream implementations.
TDataStream<T> = class(TInterfacedObject, IDataStream<T>) TDataStream<T> = class(TInterfacedObject, IDataStream<T>)
protected protected
function GetIsLiveData: TMutable<Boolean>; virtual; abstract; function GetHasData: TSignal; virtual; abstract;
function GetChunk(var Data: array of TDataPoint<T>): Integer; virtual; abstract; function GetChunk(var Data: array of TDataPoint<T>): Integer; virtual; abstract;
function IsHistory: Boolean; virtual; abstract;
end; end;
// Represents a factory for creating IDataStream instances. // Represents a factory for creating IDataStream instances.
@@ -131,10 +137,10 @@ type
end; end;
// Implements a data stream that reads from Aura-specific historical data files. // Implements a data stream that reads from Aura-specific historical data files.
TAuraFileStream<T: record> = class(TDataStream<T>, IDataStream<T>) TAuraFileStream<T: record> = class(TDataStream<T>)
private private
FDataServer: TAuraDataServer<T>; FDataServer: TAuraDataServer<T>;
FIsLiveData: TMutable<Boolean>.IWriteable; FHasData: TEvent;
FCurrentFileName: string; FCurrentFileName: string;
FCurrentData: TFuture<TArray<TDataPoint<T>>>; FCurrentData: TFuture<TArray<TDataPoint<T>>>;
FNextFileName: string; FNextFileName: string;
@@ -142,10 +148,12 @@ type
FCurrPosInFile: Int64; FCurrPosInFile: Int64;
FLastTimeStamp: TDateTime; FLastTimeStamp: TDateTime;
protected protected
function GetHasData: TSignal; override;
function GetChunk(var Data: array of TDataPoint<T>): Integer; override; function GetChunk(var Data: array of TDataPoint<T>): Integer; override;
function GetIsLiveData: TMutable<Boolean>; override; function IsHistory: Boolean; override;
public public
constructor Create(ADataServer: TAuraDataServer<T>; const AFilename: String); constructor Create(ADataServer: TAuraDataServer<T>; const AFilename: String);
destructor Destroy; override;
procedure AfterConstruction; override; procedure AfterConstruction; override;
end; end;
@@ -581,21 +589,30 @@ begin
Assert(Assigned(ADataServer)); Assert(Assigned(ADataServer));
FDataServer := ADataServer; FDataServer := ADataServer;
FCurrentFileName := AFilename; FCurrentFileName := AFilename;
FIsLiveData := TMutable<Boolean>.CreateWriteable(false); // Create an event
FHasData := TEvent.CreateEvent; // interface helper benutzen!
end;
destructor TAuraFileStream<T>.Destroy;
begin
inherited;
end; end;
procedure TAuraFileStream<T>.AfterConstruction; procedure TAuraFileStream<T>.AfterConstruction;
begin begin
inherited; inherited;
FCurrentData := FDataServer.LoadDataFile(FCurrentFileName);
FCurrPosInFile := 0;
FIsLiveData.SetValue(false);
FLastTimeStamp := 0; FLastTimeStamp := 0;
FCurrPosInFile := 0;
FCurrentData := FDataServer.LoadDataFile(FCurrentFileName);
// Forward all future done events, because this means there is new data.
FCurrentData.Done.Subscribe( FHasData );
FNextFileName := FDataServer.FindNextDataFile(FCurrentFileName); FNextFileName := FDataServer.FindNextDataFile(FCurrentFileName);
if FNextFileName <> '' then if FNextFileName <> '' then
FNextData := FDataServer.LoadDataFile(FNextFileName) begin
else FNextData := FDataServer.LoadDataFile(FNextFileName);
FNextData := nil; FNextData.Done.Subscribe( FHasData );
end;
end; end;
function TAuraFileStream<T>.GetChunk(var Data: array of TDataPoint<T>): Integer; function TAuraFileStream<T>.GetChunk(var Data: array of TDataPoint<T>): Integer;
@@ -604,39 +621,37 @@ var
currData: TArray<TDataPoint<T>>; currData: TArray<TDataPoint<T>>;
begin begin
Result := 0; Result := 0;
// This is an asynchronous operation! We don't wait for data. It's totally valid to result nothing, if there is nothing.
if not FCurrentData.Done.IsSet then if not FCurrentData.Done.IsSet then
exit; exit;
var maxLen := Length(Data); if FCurrPosInFile >= Length(FCurrentData.Value) then
currData := FCurrentData.Value;
while Result < maxLen do
begin begin
if FCurrPosInFile >= Length(currData) then FCurrentData := FNextData;
begin FCurrentFileName := FNextFileName;
FCurrentData := FNextData; FCurrPosInFile := 0;
FCurrentFileName := FNextFileName; FNextData := TFuture<TArray<TDataPoint<T>>>.Null;
FCurrPosInFile := 0;
if FCurrentFileName <> '' then
begin
FNextFileName := FDataServer.FindNextDataFile(FCurrentFileName);
if FNextFileName <> '' then
FNextData := FDataServer.LoadDataFile(FNextFileName)
else
FNextData := nil;
if FCurrentData.Done.IsSet then if FCurrentFileName = '' then
begin exit;
currData := FCurrentData.Value;
continue; FNextFileName := FDataServer.FindNextDataFile(FCurrentFileName);
end; if FNextFileName <> '' then
end begin
else FNextData := FDataServer.LoadDataFile(FNextFileName);
begin FNextData.Done.Subscribe( FHasData );
FIsLiveData.SetValue(true);
end;
break;
end; end;
if not FCurrentData.Done.IsSet then
exit;
end;
currData := FCurrentData.Value;
var maxLen := Length(Data);
while (Result < maxLen) and (FCurrPosInFile < Length(currData)) do
begin
item := currData[FCurrPosInFile]; item := currData[FCurrPosInFile];
if FLastTimeStamp < item.Time then if FLastTimeStamp < item.Time then
begin begin
@@ -646,11 +661,23 @@ begin
end; end;
Inc(FCurrPosInFile); Inc(FCurrPosInFile);
end; end;
// If there is data left in the current file, signal new data. If it is finished, we do nothing, because
// the next signal will come from the next future being done.
if FCurrPosInFile < Length(currData) then
begin
FHasData.Notify;
end;
end; end;
function TAuraFileStream<T>.GetIsLiveData: TMutable<Boolean>; function TAuraFileStream<T>.GetHasData: TSignal;
begin begin
Result := FIsLiveData; Result := FHasData.Signal;
end;
function TAuraFileStream<T>.IsHistory: Boolean;
begin
Result := True;
end; end;
{ TAuraTABFileServer } { TAuraTABFileServer }
BIN
View File
Binary file not shown.