Taraxa-grundare föreslår ny mätning för att motverka vilseledande påståenden om blockkedjeprestanda

Mätvärden som används för att mäta resultat kan vara missvisande när man utvärderar blockkedjeprestanda. När fler blockkedjenätverk dyker upp behöver allmänheten tydliga, effektivitetsfokuserade mätvärden, snarare än överdrivna påståenden, för att skilja mellan dem.

I en konversation med BeInCrypto förklarade Taraxa medgrundare Steven Pu att det blir allt svårare att jämföra blockkedjeprestanda korrekt eftersom många rapporterade mätvärden bygger på alltför optimistiska antaganden snarare än evidensbaserade resultat. För att motverka denna våg av felaktig representation föreslår Pu ett nytt mätvärde, som han kallar TPS/USD.

Varför saknar branschen pålitliga riktmärken?

Behovet av tydlig differentiering växer med det ökande antalet Layer-1 blockkedjenätverk. När olika utvecklare marknadsför hastigheten och effektiviteten hos sina blockkedjor blir det nödvändigt att förlita sig på mätvärden som skiljer deras prestanda.

Men branschen saknar fortfarande pålitliga riktmärken för verklig effektivitet och förlitar sig istället på sporadiska sentimentala vågor av hype-driven popularitet. Enligt Pu mättas marknaden för närvarande av missvisande prestandasiffror som döljer de verkliga kapaciteterna.

“Det är lätt för opportunister att utnyttja situationen genom att driva upp förenklade och överdrivna berättelser för att gynna sig själva. Varje tänkbar teknisk koncept och mätvärde har vid något tillfälle använts för att hypa upp många projekt som inte riktigt förtjänar det: TPS, finalitetslatens, modularitet, nätverksnodantal, exekveringshastighet, parallellisering, bandbreddsanvändning, EVM-kompatibilitet, EVM-inkompatibilitet, etc.,” berättade Pu för BeInCrypto.

Pu fokuserade på hur vissa projekt utnyttjar TPS-mätvärden och använder dem som marknadsföringstaktik för att få blockkedjeprestanda att låta mer tilltalande än vad den kanske är under verkliga förhållanden.

Undersöker den vilseledande naturen hos TPS

Transaktioner per sekund, mer känt som TPS, är ett mätvärde som hänvisar till det genomsnittliga eller sustained number of transactions som ett blockkedjenätverk kan bearbeta och slutföra per sekund under normala driftsförhållanden.

Men det ger ofta en missvisande bild av projekt och erbjuder en skev syn på den övergripande prestandan.

“Decentraliserade nätverk är komplexa system som behöver betraktas som en helhet och i sammanhanget av deras användningsområden. Men marknaden har denna hemska vana att förenkla och överdriva en specifik mätvärde eller aspekt av ett projekt, medan den ignorerar helheten. Kanske har ett högcentraliserat, hög-TPS-nätverk sina användningar i rätt scenarier med specifika förtroendemodeller, men marknaden har verkligen ingen aptit för sådana nyanserade beskrivningar,” förklarade Pu.

Pu påpekar att blockkedjeprojekt med extrema påståenden om enskilda mätvärden som TPS kan ha kompromissat decentralisering, säkerhet och noggrannhet.

“Ta TPS till exempel. Detta enda mätvärde döljer många andra aspekter av nätverket, till exempel hur uppnåddes TPS? Vad offrades i processen? Om jag har 1 nod, kör en WASM JIT VM, kalla det ett nätverk, får du några hundra tusen TPS direkt. Jag gör sedan 1 000 kopior av den maskinen och kallar det sharding, nu börjar du komma in i hundratals miljoner av ‘TPS’. Lägg till orealistiska antaganden som icke-konflikt, och du antar att du kan parallellisera alla transaktioner, då kan du få ‘TPS’ in i miljarderna. Det är inte så att TPS är ett dåligt mätvärde, du kan bara inte titta på något mätvärde isolerat eftersom det finns så mycket dold information bakom siffrorna,” tillade han.

Taraxas medgrundare avslöjade omfattningen av dessa uppblåsta mätvärden i en nyligen publicerad rapport.

Den stora skillnaden mellan teoretisk och verklig TPS

Pu försökte bevisa sin poäng genom att fastställa skillnaden mellan den maximala historiska TPS som realiserats på en blockkedjas huvudnät och den maximala teoretiska TPS.

Av de 22 tillståndslösa och enkel-shard-nätverken som observerades fann Pu att det i genomsnitt fanns en 20-faldig skillnad mellan teori och verklighet. Med andra ord var det teoretiska mätvärdet 20 gånger högre än den maximala observerade huvudnät-TPS.

“Mätvärdesöverskattningar (som i fallet med TPS) är ett svar på den högt spekulativa och berättelsedrivna kryptomarknaden. Alla vill positionera sina projekt och teknologier i bästa möjliga ljus, så de kommer med teoretiska uppskattningar eller genomför tester med vilt orealistiska antaganden för att nå uppblåsta mätvärden. Det är oärlig reklam. Inget mer, inget mindre,” berättade Pu för BeInCrypto.

För att motverka dessa överdrivna mätvärden utvecklade Pu sitt eget prestandamått.

Introducerar TPS/USD: En mer balanserad mätning?

Pu och hans team utvecklade följande: TPS realiserat på huvudnät / månatlig USD-kostnad för en enda validatornod, eller TPS/USD för kort, för att uppfylla behovet av bättre prestandamätvärden.

Denna mätning bedömer prestanda baserat på verifierbar TPS uppnådd på ett nätverks live-mainnet och tar även hänsyn till hårdvarueffektivitet.

Den betydande 20-faldiga skillnaden mellan teoretisk och faktisk genomströmning övertygade Pu att utesluta mätvärden baserade enbart på antaganden eller labbförhållanden. Han ville också visa hur vissa blockkedjeprojekt blåser upp prestandamätningar genom att förlita sig på dyr infrastruktur.

“Publicerade nätverksprestanda påstås ofta vara uppblåsta av extremt dyr hårdvara. Detta gäller särskilt för nätverk med mycket centraliserade konsensusmekanismer, där flaskhalsen för genomströmning flyttas från nätverkslatens till enskild maskinhårdvaruprestanda. Att kräva extremt dyr hårdvara för validerare förråder inte bara en centraliserad konsensusalgoritm och ineffektiv ingenjörskonst, det hindrar också majoriteten av världen från att delta i konsensus genom att prissätta dem ut,” förklarade Pu. 

Pus team lokaliserade varje nätverks minimikrav för validerarhårdvara för att bestämma kostnaden per validerarnod. De uppskattade senare deras månadskostnad och lade särskild vikt vid deras relativa storlek när de användes för att beräkna TPS per USD-förhållanden. 

“Så TPS/USD-mätvärdet försöker korrigera två av de kanske mest flagranta kategorierna av desinformation, genom att tvinga TPS-prestandan att vara på mainnet och avslöja de inneboende kompromisserna med extremt dyr hårdvara,” tillade Pu.

Pu betonade vikten av att överväga två enkla, identifierbara egenskaper: om ett nätverk är tillståndslöst och enkelshardat.

Permissioned vs. Permissionless-nätverk: Vilket främjar decentralisering?

En blockkedjas säkerhetsnivå kan avslöjas genom om den fungerar under ett tillståndsbaserat eller tillståndslöst nätverk.

Tillståndsbaserade blockkedjor avser slutna nätverk där åtkomst och deltagande är begränsat till en fördefinierad grupp användare, som kräver tillstånd från en central myndighet eller betrodd grupp för att gå med. I tillståndslösa blockkedjor får vem som helst delta.

Enligt Pu står den tidigare modellen i strid med decentraliseringsfilosofin. 

“Ett tillståndsbaserat nätverk, där nätverksvalideringsmedlemskap kontrolleras av en enda enhet, eller om det bara finns en enda enhet (varje Layer-2s), är en annan utmärkt mätning. Detta berättar om nätverket verkligen är decentraliserat. Ett kännetecken för decentralisering är dess förmåga att överbrygga förtroendeklyftor. Ta bort decentraliseringen, då är nätverket inget annat än en molntjänst,” berättade Pu för BeInCrypto. 

Uppmärksamhet på dessa mätvärden kommer att visa sig vara avgörande över tid, eftersom nätverk med centraliserade myndigheter tenderar att vara mer sårbara för vissa svagheter. 

“På lång sikt behöver vi verkligen en uppsättning standardiserade attackvektorer för L1-infrastruktur som kan hjälpa till att avslöja svagheter och kompromisser för varje given arkitektonisk design. Mycket av problemen i dagens mainstream L1 är att de gör orimliga uppoffringar i säkerhet och decentralisering. Dessa egenskaper är osynliga och extremt svåra att observera, tills en katastrof inträffar. Min förhoppning är att när branschen mognar, kommer en sådan uppsättning tester att börja organiskt dyka upp som en branschstandard,” tillade Pu. 

Samtidigt avslöjar förståelsen för om ett nätverk använder state-sharding eller upprätthåller ett enda, shardat tillstånd hur enhetlig dess databehandling är.

State-Sharding vs. Single-State: Förstå Dataenhet

Inom blockkedjeprestanda avser latens tidsfördröjningen mellan att skicka en transaktion till nätverket, bekräfta den och inkludera den i ett block på blockkedjan. Det mäter hur lång tid det tar för en transaktion att bearbetas och bli en permanent del av den distribuerade huvudboken. 

Att identifiera om ett nätverk använder state-sharding eller ett enkelshardat tillstånd kan avslöja mycket om dess latenseffektivitet. 

State-shardade nätverk delar blockkedjans data i flera oberoende delar som kallas shards. Varje shard fungerar något oberoende och har inte direkt, realtidsåtkomst till hela nätverkets tillstånd. 

Å andra sidan har ett icke-state-shardat nätverk ett enda, delat tillstånd över hela nätverket. Alla noder kan i detta fall få tillgång till och bearbeta samma kompletta datamängd. 

Pu noterade att state-shardade nätverk syftar till att öka lagrings- och transaktionskapaciteten. Men de står ofta inför längre finalitetslatens på grund av behovet av att bearbeta transaktioner över flera oberoende shards.

Han tillade att många projekt som antar en sharding-strategi blåser upp genomströmningen genom att helt enkelt replikera sitt nätverk istället för att bygga en verkligt integrerad och skalbar arkitektur. 

“Ett state-shardat nätverk som inte delar tillstånd, gör helt enkelt okopplade kopior av ett nätverk. Om jag tar ett L1-nätverk och bara gör 1 000 kopior av det som körs oberoende, är det uppenbart oärligt att påstå att jag kan lägga ihop all genomströmning över kopiorna tillsammans och representera det som ett enda nätverk. Det finns arkitekturer som faktiskt synkroniserar tillstånden samt blandar validerarna över shards, men oftare än inte, projekt som gör orimliga påståenden om genomströmning gör bara oberoende kopior,” sa Pu.

Baserat på sin forskning om effektiviteten av blockkedjemätvärden, betonade Pu behovet av grundläggande förändringar i hur projekt utvärderas, finansieras och slutligen lyckas.

Vilka grundläggande förändringar behöver blockkedjeutvärdering?

Pus insikter presenterar ett anmärkningsvärt alternativ i en Layer-1 blockkedjevärld där vilseledande prestandamätningar alltmer tävlar om uppmärksamhet. Tillförlitliga och effektiva riktmärken är avgörande för att motverka dessa falska representationer.

“Du vet bara vad du kan mäta, och just nu i krypto ser siffrorna mer ut som hype-berättelser än objektiva mätningar. Att ha standardiserade, transparenta mätningar möjliggör enkla jämförelser mellan produktalternativ så att utvecklare och användare förstår vad de använder och vilka kompromisser de gör. Detta är ett kännetecken för vilken mogen industri som helst, och vi har fortfarande en lång väg att gå i krypto,” avslutade Pu. 

Att använda standardiserade och transparenta riktmärken kommer att främja informerade beslut och driva verklig utveckling bortom enbart reklam påståenden när branschen mognar.