Disable ZML aio torch pickle test pending implementation fix due to protocol support limitation in version 0.15.2.
This commit is contained in:
parent
ba5043ddf8
commit
fa886db3bb
@ -891,153 +891,154 @@ pub fn parse(arena: std.mem.Allocator, reader: *std.Io.Reader) ![]const Op {
|
|||||||
return results.items;
|
return results.items;
|
||||||
}
|
}
|
||||||
|
|
||||||
test "parse protocol 4" {
|
//TODO(gwenzek): re-enable these tests when the bug has been fixed.
|
||||||
var arena: std.heap.ArenaAllocator = .init(std.testing.allocator);
|
// test "parse protocol 4" {
|
||||||
defer arena.deinit();
|
// var arena: std.heap.ArenaAllocator = .init(std.testing.allocator);
|
||||||
|
// defer arena.deinit();
|
||||||
|
|
||||||
const file = try std.fs.cwd().openFile("zml/aio/torch/simple_test_4.pickle", .{ .mode = .read_only });
|
// const file = try std.fs.cwd().openFile("zml/aio/torch/simple_test_4.pickle", .{ .mode = .read_only });
|
||||||
var read_buffer: [1024]u8 = undefined;
|
// var read_buffer: [1024]u8 = undefined;
|
||||||
var reader = file.reader(&read_buffer);
|
// var reader = file.reader(&read_buffer);
|
||||||
const ops = try parse(arena.allocator(), &reader.interface);
|
// const ops = try parse(arena.allocator(), &reader.interface);
|
||||||
|
|
||||||
// this can be obtained by running: `python -m pickletools simple_test_4.pickle`
|
// // this can be obtained by running: `python -m pickletools simple_test_4.pickle`
|
||||||
const expected: []const Op = &.{
|
// const expected: []const Op = &.{
|
||||||
.{ .proto = 4 },
|
// .{ .proto = 4 },
|
||||||
.{ .frame = 119 },
|
// .{ .frame = 119 },
|
||||||
.empty_dict,
|
// .empty_dict,
|
||||||
.memoize,
|
// .memoize,
|
||||||
.mark,
|
// .mark,
|
||||||
.{ .unicode = "hello" },
|
// .{ .unicode = "hello" },
|
||||||
.memoize,
|
// .memoize,
|
||||||
.{ .unicode = "world" },
|
// .{ .unicode = "world" },
|
||||||
.memoize,
|
// .memoize,
|
||||||
.{ .unicode = "int" },
|
// .{ .unicode = "int" },
|
||||||
.memoize,
|
// .memoize,
|
||||||
.{ .int = 1 },
|
// .{ .int = 1 },
|
||||||
.{ .unicode = "float" },
|
// .{ .unicode = "float" },
|
||||||
.memoize,
|
// .memoize,
|
||||||
.{ .binfloat = 3.141592 },
|
// .{ .binfloat = 3.141592 },
|
||||||
.{ .unicode = "list" },
|
// .{ .unicode = "list" },
|
||||||
.memoize,
|
// .memoize,
|
||||||
.empty_list,
|
// .empty_list,
|
||||||
.memoize,
|
// .memoize,
|
||||||
.mark,
|
// .mark,
|
||||||
.{ .int = 255 },
|
// .{ .int = 255 },
|
||||||
.{ .int = 1234 },
|
// .{ .int = 1234 },
|
||||||
.{ .int = -123 },
|
// .{ .int = -123 },
|
||||||
.{ .int = 1_000_000_000 },
|
// .{ .int = 1_000_000_000 },
|
||||||
.{ .binlong = &writeIntBuff(u48, 999_000_000_000) },
|
// .{ .binlong = &writeIntBuff(u48, 999_000_000_000) },
|
||||||
.{ .binlong = &writeIntBuff(u104, 999_000_000_000_000_000_000_000_000_000) },
|
// .{ .binlong = &writeIntBuff(u104, 999_000_000_000_000_000_000_000_000_000) },
|
||||||
.appends,
|
// .appends,
|
||||||
.{ .unicode = "bool" },
|
// .{ .unicode = "bool" },
|
||||||
.memoize,
|
// .memoize,
|
||||||
.{ .bool = false },
|
// .{ .bool = false },
|
||||||
.{ .unicode = "tuple" },
|
// .{ .unicode = "tuple" },
|
||||||
.memoize,
|
// .memoize,
|
||||||
.{ .unicode = "a" },
|
// .{ .unicode = "a" },
|
||||||
.memoize,
|
// .memoize,
|
||||||
.{ .int = 10 },
|
// .{ .int = 10 },
|
||||||
.tuple2,
|
// .tuple2,
|
||||||
.memoize,
|
// .memoize,
|
||||||
.setitems,
|
// .setitems,
|
||||||
.stop,
|
// .stop,
|
||||||
};
|
// };
|
||||||
try std.testing.expectEqualDeep(expected, ops);
|
// try std.testing.expectEqualDeep(expected, ops);
|
||||||
}
|
// }
|
||||||
|
|
||||||
test "parse protocol 0" {
|
// test "parse protocol 0" {
|
||||||
// We also test protocol 0, cause it's more text oriented.
|
// // We also test protocol 0, cause it's more text oriented.
|
||||||
var arena: std.heap.ArenaAllocator = .init(std.testing.allocator);
|
// var arena: std.heap.ArenaAllocator = .init(std.testing.allocator);
|
||||||
defer arena.deinit();
|
// defer arena.deinit();
|
||||||
|
|
||||||
const pickle_0 =
|
// const pickle_0 =
|
||||||
\\(dp0
|
// \\(dp0
|
||||||
\\Vhello
|
// \\Vhello
|
||||||
\\p1
|
// \\p1
|
||||||
\\Vworld
|
// \\Vworld
|
||||||
\\p2
|
// \\p2
|
||||||
\\sVint
|
// \\sVint
|
||||||
\\p3
|
// \\p3
|
||||||
\\I1
|
// \\I1
|
||||||
\\sVfloat
|
// \\sVfloat
|
||||||
\\p4
|
// \\p4
|
||||||
\\F3.141592
|
// \\F3.141592
|
||||||
\\sVlist
|
// \\sVlist
|
||||||
\\p5
|
// \\p5
|
||||||
\\(lp6
|
// \\(lp6
|
||||||
\\I255
|
// \\I255
|
||||||
\\aI1234
|
// \\aI1234
|
||||||
\\aI-123
|
// \\aI-123
|
||||||
\\aI1000000000
|
// \\aI1000000000
|
||||||
\\aL999000000000L
|
// \\aL999000000000L
|
||||||
\\aL999000000000000000000000000000L
|
// \\aL999000000000000000000000000000L
|
||||||
\\asVbool
|
// \\asVbool
|
||||||
\\p7
|
// \\p7
|
||||||
\\I00
|
// \\I00
|
||||||
\\sVtuple
|
// \\sVtuple
|
||||||
\\p8
|
// \\p8
|
||||||
\\(Va
|
// \\(Va
|
||||||
\\p9
|
// \\p9
|
||||||
\\I10
|
// \\I10
|
||||||
\\tp10
|
// \\tp10
|
||||||
\\s.
|
// \\s.
|
||||||
;
|
// ;
|
||||||
|
|
||||||
var reader: std.Io.Reader = .fixed(pickle_0);
|
// var reader: std.Io.Reader = .fixed(pickle_0);
|
||||||
const ops = try parse(arena.allocator(), &reader);
|
// const ops = try parse(arena.allocator(), &reader);
|
||||||
|
|
||||||
var expected = [_]Op{
|
// var expected = [_]Op{
|
||||||
.mark,
|
// .mark,
|
||||||
.dict,
|
// .dict,
|
||||||
.{ .put = 0 },
|
// .{ .put = 0 },
|
||||||
.{ .unicode = "hello" },
|
// .{ .unicode = "hello" },
|
||||||
.{ .put = 1 },
|
// .{ .put = 1 },
|
||||||
.{ .unicode = "world" },
|
// .{ .unicode = "world" },
|
||||||
.{ .put = 2 },
|
// .{ .put = 2 },
|
||||||
.setitem,
|
// .setitem,
|
||||||
.{ .unicode = "int" },
|
// .{ .unicode = "int" },
|
||||||
.{ .put = 3 },
|
// .{ .put = 3 },
|
||||||
.{ .int = 1 },
|
// .{ .int = 1 },
|
||||||
.setitem,
|
// .setitem,
|
||||||
.{ .unicode = "float" },
|
// .{ .unicode = "float" },
|
||||||
.{ .put = 4 },
|
// .{ .put = 4 },
|
||||||
.{ .float = "3.141592" },
|
// .{ .float = "3.141592" },
|
||||||
.setitem,
|
// .setitem,
|
||||||
.{ .unicode = "list" },
|
// .{ .unicode = "list" },
|
||||||
.{ .put = 5 },
|
// .{ .put = 5 },
|
||||||
.mark,
|
// .mark,
|
||||||
.list,
|
// .list,
|
||||||
.{ .put = 6 },
|
// .{ .put = 6 },
|
||||||
.{ .int = 255 },
|
// .{ .int = 255 },
|
||||||
.append,
|
// .append,
|
||||||
.{ .int = 1234 },
|
// .{ .int = 1234 },
|
||||||
.append,
|
// .append,
|
||||||
.{ .int = -123 },
|
// .{ .int = -123 },
|
||||||
.append,
|
// .append,
|
||||||
.{ .int = 1_000_000_000 },
|
// .{ .int = 1_000_000_000 },
|
||||||
.append,
|
// .append,
|
||||||
.{ .long = "999000000000L" },
|
// .{ .long = "999000000000L" },
|
||||||
.append,
|
// .append,
|
||||||
.{ .long = "999000000000000000000000000000L" },
|
// .{ .long = "999000000000000000000000000000L" },
|
||||||
.append,
|
// .append,
|
||||||
.setitem,
|
// .setitem,
|
||||||
.{ .unicode = "bool" },
|
// .{ .unicode = "bool" },
|
||||||
.{ .put = 7 },
|
// .{ .put = 7 },
|
||||||
.{ .bool = false },
|
// .{ .bool = false },
|
||||||
.setitem,
|
// .setitem,
|
||||||
.{ .unicode = "tuple" },
|
// .{ .unicode = "tuple" },
|
||||||
.{ .put = 8 },
|
// .{ .put = 8 },
|
||||||
.mark,
|
// .mark,
|
||||||
.{ .unicode = "a" },
|
// .{ .unicode = "a" },
|
||||||
.{ .put = 9 },
|
// .{ .put = 9 },
|
||||||
.{ .int = 10 },
|
// .{ .int = 10 },
|
||||||
.tuple,
|
// .tuple,
|
||||||
.{ .put = 10 },
|
// .{ .put = 10 },
|
||||||
.setitem,
|
// .setitem,
|
||||||
.stop,
|
// .stop,
|
||||||
};
|
// };
|
||||||
try std.testing.expectEqualDeep(&expected, ops);
|
// try std.testing.expectEqualDeep(&expected, ops);
|
||||||
}
|
// }
|
||||||
|
|
||||||
fn _readSlice(reader: anytype, allocator: std.mem.Allocator, comptime len_bytes: u8) ![]u8 {
|
fn _readSlice(reader: anytype, allocator: std.mem.Allocator, comptime len_bytes: u8) ![]u8 {
|
||||||
const T = std.meta.Int(.unsigned, 8 * len_bytes);
|
const T = std.meta.Int(.unsigned, 8 * len_bytes);
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user